شرکت Stability AI به‌تازگی یک خانواده متن‌باز از مدل‌های زبانی هوش مصنوعی را منتشر کرده است که StableLM نام دارد. این شرکت امیدوار است که با این محصول بتواند اثری شبیه به Stable Diffusion در دنیای مدل‌های متن‌باز تصویری را تکرار کند. StableLM به‌خاطر ماهیت خود می‌تواند برای تولید جانشین‌های ChatGPT استفاده شود.
StableLM درست مثل GPT-4، محصول شرکت OpenAI، با پیش‌بینی واژه بعدی در یک جمله دست به تولید متن می‌زند. این خانواده البته درواقع بیشتر سعی کرده است که با وجود در اختیار داشتن پارامترهای کمتر، عملکردی شبیه به GPT-3 داشته باشد. GPT-3 حدود 175 میلیارد پارامتر دارد.
ساخت StableLM با ملاحظات فراوان صورت گرفته است
این پارامترها متغیرهایی هستند که مدل‌های زبانی از آن‌ها برای آموزش داده‌ها استفاده می‌کنند. استفاده از پارامترهای کمتر می‌تواند به کوچک‌تر و بهینه‌ترشدن مدل‌ها کمک کند، اما اگر بخواهیم عملکردی مشابه با مدل‌های بزرگ‌تر داشته باشیم، باید آن‌ها را با مهارت و دقت بسیار بالا مهندسی کنیم.
Stability AI می‌گوید StableLM را روی مجموعه تازه‌ای از داده‌های آزمایشی بر پایه مجموعه متن‌بازی از داده‌ها موسوم به The Pile آموزش داده است. این شرکت ادعا می‌کند که غنای این داده‌ها عامل اصلی عملکرد شگفت‌انگیز این مدل کوچک بوده است.
وب‌سایت آرس‌تکنیکا می‌گوید در آزمایشی که با مدل 7 میلیارد پارامتری StableLM انجام داده، دریافته است که این مدل عملکردی بهتر از مدل 7 میلیارد پارامتری LLaMA شرکت متا دارد، بااین‌حال مدل GPT-3 احتمالاً توانمندتر و انعطاف‌پذیرتر است.
جزئیات فنی کامل خانواده StableLM قرار است در آینده نزدیک به اشتراک گذاشته شود.
