مطالعه متا و کارنگی ملون: مدل ۸ میلیاردی آموزش‌دیده با یادگیری تقویتی، لاما-۴-ماوریک را در انتخاب ابزار شکست داد

یک مدل زبانی با ۸ میلیارد پارامتر، مدلی را که حدوداً پنجاه برابر بزرگتر بود، پشت سر گذاشت. وظیفه مورد نظر، انتخاب ابزار نرم‌افزاری مناسب برای یک کار بود.

محققان شرکت متا (Meta) و دانشگاه کارنگی ملون (Carnegie Mellon University) گزارش داده‌اند که یک مدل کوچک Qwen3-8B که با یادگیری تقویتی پس از آموزش دیده بود، در معیار ToolBench G3 توانست در ۴۱.۵ درصد موارد ابزار صحیح را انتخاب کند. در همین حال، مدل Llama-4-Maverick متعلق به خود متا، با حدود ۴۰۲ میلیارد پارامتر، در شرایط مشابه به امتیاز ۳۰.۶ درصد دست یافت.

این تحقیق در مقاله‌ای در arXiv با عنوان «آموزش مدل‌های زبانی کوچک برای انتخاب ابزار قابل انتقال» (Training Small Language Models for Transferable Tool Selection) با شناسه arXiv:2610.31483 منتشر شده است. این مقاله در تاریخ ۲۲ اکتبر ۲۰۲۶ ارسال شده است.

مسئله‌ای که این تحقیق به آن می‌پردازد، یک چالش عملی برای عامل‌های هوش مصنوعی (AI agents) است. عامل‌ها مدل‌هایی هستند که به جای تولید صرف متن، اقداماتی را انجام می‌دهند، مانند فراخوانی یک API یا پرس‌وجو از یک پایگاه داده. برای انجام این کار، آن‌ها باید ابزار مناسب را از میان ابزارهای موجود انتخاب کنند.

این مطالعه بر سناریوهایی تمرکز دارد که در آن‌ها مجموعه ابزارها از ۱۰,۰۰۰ ابزار فراتر می‌رود. به جای استفاده از سیستم‌های اختصاصی مانند Claude یا ChatGPT، این تیم با مدل‌های کوچک Qwen3 در بازه ۱.۷ تا ۸ میلیارد پارامتر کار کرده است. آن‌ها این مدل‌ها را با یک رویکرد سه مرحله‌ای به نام «برنامه‌ریزی-بازیابی-انتخاب» (Plan-Retrieve-Select) ترکیب کردند.

این مدل ابتدا مشخص می‌کند که چه کاری باید انجام دهد، سپس فهرستی کوتاه از ابزارهای کاندید را بازیابی کرده و در نهایت ابزاری را که مناسب‌تر است، انتخاب می‌کند.

مدل‌ها دو مرحله پس از آموزش را طی کردند. ابتدا «تنظیم دقیق نظارت شده» (Supervised Fine-Tuning – SFT) انجام شد، که در آن مدل با تقلید از مثال‌های برچسب‌گذاری شده از رفتار صحیح، آموزش می‌بیند.

سپس «یادگیری تقویتی» (Reinforcement Learning) صورت گرفت. در مرحله یادگیری تقویتی، محققان از روشی به نام GRPO برای ساختاربندی پاداش‌ها استفاده کردند. آموزش بر اساس حدود ۲۱,۰۰۰ دستورالعمل ToolBench G3 انجام شد.

نتایج در اندازه‌های مختلف مدل‌ها نیز پایدار بود. واریانت ۱.۷ میلیارد پارامتری Qwen3 به نرخ موفقیت ۳۷.۶ درصد و واریانت ۴ میلیارد پارامتری به نرخ ۴۰.۳ درصد دست یافت. هر دو از امتیاز ۳۰.۶ درصد تعیین شده توسط Llama-4-Maverick پیشی گرفتند.

در اینجا خلاصه‌ای از امتیازات گزارش شده در ToolBench G3 آورده شده است:

• Qwen3-8B (آموزش دیده با RL): ۴۱.۵ درصد
• Qwen3-4B (آموزش دیده با RL): ۴۰.۳ درصد
• Qwen3-1.7B (آموزش دیده با RL): ۳۷.۶ درصد
• Llama-4-Maverick (~۴۰۲B): ۳۰.۶ درصد

Llama-4-Maverick مدل «ترکیبی از متخصصان» (Mixture of Experts) متا با حدود ۴۰۰ میلیارد پارامتر است که در سال ۲۰۲۵ منتشر شد. طراحی «ترکیبی از متخصصان» مدل را به زیرشبکه‌های تخصصی تقسیم می‌کند و تنها برخی از آن‌ها را برای هر درخواست فعال می‌کند.

مهم‌ترین پیامد فوری این یافته، هزینه است. اجرای یک مدل ۴۰۲ میلیارد پارامتری برای هر فراخوانی ابزار، حتی با معماری «ترکیبی از متخصصان» که بار فعال را کاهش می‌دهد، پرهزینه است. یک مدل ۸ میلیارد پارامتری برای میزبانی بسیار ارزان‌تر و برای پرس‌وجو بسیار سریع‌تر است.

چند نکته احتیاطی نیز شایان ذکر است. این نتایج از یک معیار واحد، یعنی ToolBench G3، به دست آمده‌اند و داده‌های آموزشی نیز از همین خانواده معیار استخراج شده‌اند. اعداد مطلق نیز نیازمند چشم‌انداز هستند. نرخ موفقیت ۴۱.۵ درصد یک پیروزی واضح نسبت به ۳۰.۶ درصد است، اما همچنان به این معنی است که بهترین مدل بیشتر اوقات اشتباه کرده است تا درست. انتخاب ابزار در مقیاس بیش از ۱۰,۰۰۰ ابزار همچنان با راه‌حل کامل فاصله زیادی دارد.