محققان هوش مصنوعی را کوچک‌تر و هوشمندتر کردند

تیمی از پژوهشگران نسخه‌ای کوچک‌تر و ارزان‌تر از یک مدل بزرگ هوش مصنوعی ساخته‌اند که به طرز شگفت‌انگیزی هوشمندتر از نسخه اصلی از آب درآمده است. این اتفاق که به نظر غیرممکن می‌رسد، مانند این است که همزمان هم عضلات خود را از دست بدهید و هم قوی‌تر شوید. اما گروهی در Multiverse Computing ادعا می‌کنند که به این مهم دست یافته‌اند و دلیل آن نشان می‌دهد که ما در فرآیند کوچک‌سازی مدل‌های هوش مصنوعی رویکردی اشتباه داشته‌ایم.

رویکرد جدید در کوچک‌سازی مدل‌های هوش مصنوعی

پژوهشگران در مقاله‌ای که روز جمعه منتشر شد، نوشتند: «پیام عملی برای فعالان این حوزه این است که در یک خط لوله بهبود مبتنی بر تقطیر، مرحله کوانتیزاسیون (کاهش دقت پارامترها) نه تنها هزینه‌ای برای حداقل‌سازی نیست، بلکه فرصتی اضافی برای نظارت معلم (مدل بزرگتر) است که منجر به مدلی می‌شود که همزمان ارزان‌تر برای سرویس‌دهی، سبک‌تر در حافظه و حداقل به اندازه همتای با دقت کامل خود دقیق است.»

پارامترهای مدل هوش مصنوعی: پیچیدگی و هزینه

پارامترهای یک مدل هوش مصنوعی را می‌توان به دیواری عظیم از دکمه‌ها تشبیه کرد؛ اعدادی که تمام آموخته‌های مدل را در خود نگه می‌دارند. هرچه تعداد این دکمه‌ها بیشتر باشد، مدل هوشمندتر است، اما اجرای آن نیز سنگین‌تر می‌شود. مدل GPT-OSS 120B شرکت OpenAI دارای ۱۲۰ میلیارد از این پارامترها است که هر کدام نیازمند حافظه و انرژی هستند.

فشرده‌سازی مدل‌ها: مصالحه‌ای اجتناب‌ناپذیر؟

برای عرضه ارزان‌تر هوش مصنوعی، شرکت‌ها پارامترها را حذف کرده و بازماندگان را فشرده می‌کنند. این فرآیند شبیه فشرده‌سازی عکس است؛ فایل کوچک‌تر می‌شود، اما فشرده‌سازی بیش از حد باعث تاری تصویر می‌شود (مانند تبدیل کیفیت 4K به 720p). کوچک‌سازی بیش از حد یک مدل نیز باعث کاهش هوشمندی آن می‌شود. این مصالحه تا پیش از این پذیرفته شده بود.

نوآوری در “کوانتیزاسیون-آگاه از بهبود”

این پژوهشگران پا را فراتر گذاشته و GPT-OSS را به ۶۰ میلیارد پارامتر کاهش دادند و هر کدام را در یک فضای کوچک ۴ بیتی فشرده کردند؛ معادل دیجیتالی فشرده‌سازی شدید. در حالت عادی، این کار مدل را به شدت تضعیف می‌کرد، اما این پژوهشگران راهی یافتند که در واقع آن را بهبود بخشند.

در تقریباً تمام معیارهای مورد استفاده برای مقایسه، مدل کوچک‌تر عملکرد بهتری نسبت به مدلی داشت که با دقت کامل ساخته شده بود.

درس گرفتن از استاد، نه از کپی ناقص

هنگامی که یک مدل کوچک می‌شود، معمولاً اشتباهات آن با مقایسه با نسخه “نیمه‌فشرده” – مدلی با ۶۰ میلیارد پارامتر و دقت بالاتر – اصلاح می‌شود. مشکل اینجاست که مدل نیمه‌فشرده خود یک کپی تار از نسخه اصلی است. بنابراین، مدل کوچک‌تر در حال یادگیری تقلید از یک دوقلوی ناقص است و هرگز نمی‌تواند از آن دوقلو پیشی بگیرد.

رویکردی که این پژوهشگران آن را “کوانتیزاسیون-آگاه از بهبود” (Quantization-Aware Healing) می‌نامند، هدف را تغییر می‌دهد. این رویکرد، مدل کوچک را به سمت نسخه اصلی و فشرده‌نشده هدایت کرده و می‌گوید: پاسخ‌های این مدل را کپی کن. مدل کوچک از استاد یاد می‌گیرد، نه از میانه راهِ گنگ. در ۷ مورد از ۹ آزمون، مدل ۶۰ میلیارد پارامتری ۴ بیتی، دوقلوی ۶۰ میلیارد پارامتری را که قرار بود نسخه بهتر آن باشد، شکست داد. مدل اصلی ۱۲۰ میلیارد پارامتری همچنان در اکثر موارد پیروز است – اندازه هنوز کاملاً حذف نشده – اما نسخه “رژیمی” معیاری را پشت سر گذاشت که هیچ‌کس انتظارش را نداشت.

پیامدهای کوچک‌تر و هوشمندتر

کوچک‌تر و هوشمندتر بودن یک دستاورد بزرگ است زیرا هوش مصنوعی به شدت به سخت‌افزار نیاز دارد. مدل بهبودیافته تقریباً یک چهارم حافظه و نصف پارامترهای نسخه اصلی را نیاز دارد. این تفاوت، شکاف بین هوش مصنوعی که در مراکز داده زندگی می‌کند و هوش مصنوعی که روی یک دسکتاپ مناسب یا حتی تلفن همراه شما جا می‌گیرد، را پر می‌کند.

بنابراین، مدلی که می‌تواند نتایج بهتری تولید کند و در عین حال نصف انرژی را مصرف کند، برای آزمایشگاه‌های کوچک و توسعه‌دهندگان محلی اهمیت زیادی دارد.

دسترسی آزاد و رایگان

این مدل همچنین رایگان است. تیم سازنده، مدل بهبودیافته Hypernova-60B را به صورت وزن‌های باز (open weights) در Hugging Face منتشر کرده است، بنابراین هر کسی می‌تواند آن را دانلود و اجرا کند. این اقدام در راستای روند رو به رشد مدل‌های باز است که دستاوردهای شگفت‌انگیزی دارند: اخیراً یک مدل رایگان مرموز به نام Ox Alpha، سیستمی به نام Claude را که سازنده ناشناخته‌ای داشت، شکست داد. همچنین، هیجان پیرامون مدل Qwen 3.8 Flash Next از Alibaba و موجی از مدل‌های تنظیم‌شده (finetunes) که مدل‌های کوچک را با استفاده از ردپاهای استدلالی LLMهای بزرگتر مانند Fable یا Claude Opus بهبود می‌بخشند، قابل توجه است.

محدودیت‌ها و آینده

البته نباید بیش از حد هیجان‌زده شد. ابزار کوچک‌سازی که برای ساخت دانش‌آموز ۶۰ میلیاردی استفاده شده، اختصاصی است، بنابراین دستورالعمل آن هنوز کاملاً باز نیست و تیم سازنده فقط GPT-OSS را آزمایش کرده است – نه خانواده‌های Llama، Qwen یا Mistral.