بونسای: اولین مدل هوش مصنوعی ۲۷ میلیاردی که روی گوشی شما جا می‌شود

مدل‌های هوش مصنوعی به حافظه زیادی نیاز دارند. یک مدل هوش مصنوعی با ۲۷ میلیارد پارامتر، که از نظر استانداردهای صنعتی متوسط محسوب می‌شود، برای اجرا با دقت نیمه‌کامل به حدود ۵۴ گیگابایت حافظه نیاز دارد. اکثر لپ‌تاپ‌ها قادر به تأمین این میزان حافظه نیستند و حتی برخی از کامپیوترهای رومیزی نیز از پس آن برنمی‌آیند.

اوایل این هفته، PrismML مدلی را با حجم ۳.۹ گیگابایت منتشر کرد که به اندازه‌ای کوچک است که روی آیفون قابل اجرا باشد.

پارامترها به تعداد تنظیمات و تغییراتی اشاره دارند که یک مدل می‌تواند مدیریت کند. هرچه پارامترها بیشتر باشند، مدل متراکم‌تر و توانمندتر است.

Bonsai 27B اولین مدل کلاس ۲۷ میلیارد پارامتری است که سقف حافظه گوشی‌های هوشمند مصرفی را پشت سر گذاشته و با سرعت ۱۱ توکن در ثانیه روی آیفون ۱۷ پرو مکس اجرا می‌شود. (توکن‌ها واحد پایه اطلاعاتی هستند که مدل‌های هوش مصنوعی می‌توانند پردازش و تولید کنند.) نسخه سه‌تایی (ternary) این مدل با حجم ۵.۹ گیگابایت، با سرعت حدود ۲۶ توکن در ثانیه روی لپ‌تاپ M5 Pro اجرا می‌شود. هر دو مدل تحت مجوز Apache 2.0 رایگان هستند.

روش فشرده‌سازی که بر اساس مالکیت معنوی کلتک (Caltech) ساخته شده است، وزن هر مدل را از ۱۶ بیت دقت ممیز شناور به یک علامت واحد (مثبت ۱ یا منفی ۱ در نسخه باینری، یا یکی از سه مقدار در نسخه سه‌تایی) کاهش می‌دهد. هر گروه ۱۲۸ وزنی، یک ضریب مقیاس ۱۶ بیتی را به اشتراک می‌گذارد که باعث می‌شود نسخه باینری به ۱.۱۲۵ بیت در هر وزن برسد؛ یعنی ۱۴ برابر کوچکتر از نسخه اصلی با دقت کامل. مدل سه‌تایی یک حالت صفر را برای قدرت بیان کمی بیشتر اضافه می‌کند و به ۱.۷۱ بیت می‌رسد.

به عبارت ساده‌تر، این بدان معناست که یک مدل هوش مصنوعی سه‌تایی تنها از سه تنظیم برای هر مقدار داخلی خود استفاده می‌کند (منفی، صفر، یا مثبت)، در حالی که یک مدل هوش مصنوعی استاندارد می‌تواند از حدود ۶۵ هزار تنظیم مختلف انتخاب کند.

PrismML این کار را بدون از دست دادن قابل توجه کیفیت خروجی انجام داده است.

آنچه این مدل را از مدل‌های متعارف “کم‌بیت” متمایز می‌کند این است که هیچ بخشی از آن دارای “دریچه فرار” با دقت بالاتر نیست: جاسازی‌ها (embeddings)، توجه (attention) و کل بخش سر مدل زبان (language model head) همگی به صورت سرتاسری فشرده شده‌اند. اکثر نسخه‌های کوانتیزه شده (quantized) لایه‌های حساس خاصی را با دقت کامل نگه می‌دارند که در نهایت باعث افزایش حجم آن‌ها به عنوان مبادله‌ای برای کیفیت بهتر می‌شود. Bonsai این بازی را انجام نمی‌دهد.

این دومین انتشار عمده در این خانواده است. در ماه مارس، PrismML مدل Bonsai 8B را منتشر کرد، مدلی با حجم ۱.۱۵ گیگابایت که ثابت کرد معماری ۱ بیتی می‌تواند در ۸ میلیارد پارامتر بدون فروپاشی استدلال خود دوام بیاورد. جهش به ۲۷ میلیارد پارامتر جایی است که ریسک‌ها تغییر می‌کنند؛ در این مقیاس است که استدلال زنجیره‌ای پایدار، استفاده قابل اعتماد از ابزار و رفتار عاملی چند مرحله‌ای به طور مداوم ظهور می‌کنند – چیزهایی که مدل‌های کوچکتر هنوز در آن‌ها دچار مشکل هستند.

در ۱۵ بنچمارک ارزیابی شده در حالت تفکر روی پردازنده‌های گرافیکی NVIDIA H100 – که شامل دانش، ریاضیات، کدنویسی و استفاده از ابزار می‌شود – نسخه سه‌تایی Bonsai 27B به طور متوسط ۸۰.۴۹ یا ۹۴.۶ درصد از مدل با دقت کامل را کسب کرده است. نسخه ۱ بیتی به ۷۶.۱۱ دست یافته است.

در مجموع، در بنچمارک‌ها، این مدل‌ها از نظر پتانسیل ارائه شده نسبت به اندازه خود، بسیار بهتر از Gemma 4 یا Qwen 3.6 عمل می‌کنند.

این مدل‌ها با توجه به آنچه ارائه می‌دهند و با در نظر گرفتن منابع کمی که نیاز دارند، سخت‌افزارهای کوچک (گوشی‌های هوشمند و کامپیوترهای رده پایین) را از نظر قابلیت‌ها به سطح بالاتری می‌برند. در آزمون‌های AIME25 و AIME26 که بر اساس آزمون ورودی ریاضیات آمریکا (American Invitational Mathematics Examination) مدل‌سازی شده‌اند، نسخه سه‌تایی Bonsai 27B به ۹۳.۷ درصد و نسخه بسیار بزرگتر Qwen 3.6B به ۹۵.۳ درصد دست یافته است. Bonsai در کدنویسی امتیاز ۸۶ را در مقابل ۸۸ برای Qwen 3.6 و ۷۷ درصد در دانش عمومی در مقابل ۸۳ برای Qwen 3.6 کسب کرده است.

این مدل همچنین از یک ستون فقرات توجه هیبریدی استفاده می‌کند که در آن تقریباً ۷۵ درصد از لایه‌ها خطی هستند تا توجه کامل درجه دوم (quadratic attention). این معماری همان چیزی است که پنجره زمینه ۲۶۲ هزار توکنی را روی دستگاه عملی می‌کند – چیزی که یک پشته توجه استاندارد آن را در سخت‌افزار تلفن همراه بسیار پرهزینه می‌کرد.

ما خودمان Bonsai 27B را آزمایش کردیم. کدنویسی نیاز به تکرار دارد: درخواست‌های تک‌شات (single-shot prompts) با مدل‌های پیشرفته ابری رقابت نمی‌کنند. اما محلی و رایگان بودن آن، این موضوع را بی‌اهمیت می‌کند. برای بازی Zombie Type ما – یک بازی مرورگر ترسناک تایپ اول شخص – دو دور کدنویسی سریع، تشخیص برخورد تمیز، منطق امتیازدهی مناسب و گرافیک‌هایی را تولید کرد که انسجام داشتند. مدل ساختار را در ابتدا درک می‌کند؛ دور دوم به جای بازسازی، اصلاح می‌کند.

جالب اینجاست که برخی از مدل‌ها (مانند اسکلت‌ها) پیچیده‌تر از مدل‌های GPT 5.6 Sol به نظر می‌رسیدند. این به هیچ وجه به معنای بهتر بودن آن نیست، فقط به این معنی است که در این وظیفه، یک اسکلت بامزه تولید کرد در حالی که پادشاه هوش مصنوعی انتخاب سبکی ضعیف‌تری داشت.

نوشتن خلاقانه داستانی با شرایط کیفی‌تر و معیارهای ذهنی‌تر است.

به طور کلی، اگر یک درخواست صفر-شات (zero-shot prompt) در ذهن داشته باشید، نتایج چندان خلاقانه نیستند.

با این حال، Bonsai داستان‌هایی با منطق داخلی، ضرباهنگ و قوس منسجم تولید می‌کند – بهتر یا هم‌سطح با Claude Haiku یا حتی Sonnet در تلاش کمتر برای درخواست‌های قابل مقایسه. برای مدلی که کاملاً روی سخت‌افزار خودتان بدون هزینه API اجرا می‌شود، این حرف زیادی است.

PrismML همچنین یک لایه رمزگشایی پیش‌بینی‌کننده DSpark را در کنار مدل ارائه می‌دهد – یک پیش‌نویس سبک که بلوک‌هایی از توکن‌های کاندید را پیشنهاد می‌دهد، که مدل اصلی آن‌ها را در یک پاس واحد تأیید می‌کند به جای تولید توکن به توکن.

روی H100 این امر افزایش توان عملیاتی ۱.۳۷ برابری را بدون تغییر در کیفیت خروجی اضافه می‌کند، زیرا تأیید توزیع دقیق خروجی را حفظ می‌کند. روی Apple Silicon هنوز به طور پیش‌فرض فعال نیست، اما برای سرویس‌دهی GPU یک مزیت واقعی است.

علاقه اپل بعد تجاری را اضافه می‌کند. بابک حبیبی، مدیرعامل PrismML، در گفتگو با CNBC تأیید کرد که این شرکت در مراحل اولیه مذاکره با اپل است که در حال ارزیابی فناوری فشرده‌سازی برای استفاده احتمالی روی دستگاه است.

حبیبی گفت که مدل فشرده شده Gemma بعدی در خط لوله خواهد بود و به دنبال آن مدل‌های پیشرفته‌تر بزرگتر؛ Bonsai 27B ۱ بیتی اکنون به صورت رایگان تحت مجوز Apache 2.0 برای دانلود در دسترس است.