‏انودیا، نموترون ۳ را رها کرد؛ شرط‌بندی ۲۶ میلیارد دلاری بر هوش مصنوعی متن‌باز. پاسخ آمریکا به کوِن؟

معرفی Nemotron 3 Super انویدیا

انویدیا به تازگی Nemotron 3 Super را عرضه کرده است، یک مدل با وزن باز ۱۲۰ میلیارد پارامتری که برای یک هدف مشخص ساخته شده است: اجرای عوامل هوش مصنوعی خودکار بدون تحمیل هزینه‌های سنگین محاسباتی.

این یک مشکل کوچک نیست. سیستم‌های چند عاملی نسبت به یک چت معمولی، توکن‌های بسیار بیشتری تولید می‌کنند—هر فراخوانی ابزار، گام استدلال و بخش کوچکی از متن دوباره از ابتدا ارسال می‌شود. در نتیجه، هزینه‌ها سر به فلک می‌کشند، مدل‌ها تمایل به انحراف دارند و عوامل به آرامی فراموش می‌کنند که قرار بود چه کاری انجام دهند… یا حداقل دقت‌شان کاهش می‌یابد.

Nemotron 3 Super پاسخ انویدیا به همه این مشکلات است. این مدل از ۱۲ میلیارد پارامتر فعال از مجموع ۱۲۰ میلیارد پارامتر استفاده می‌کند، با استفاده از طراحی «مخلوطی از متخصصان» (MoE) که استنتاج را ارزان نگه می‌دارد و در عین حال عمق استدلال مورد نیاز برای گردش کارهای پیچیده را حفظ می‌کند. این مدل دارای یک پنجره متنی ۱ میلیون توکنی است، بنابراین عوامل می‌توانند کل یک پایگاه کد یا تقریباً ۷۵۰ هزار کلمه را در حافظه خود نگه دارند.

برای ساخت این مدل، انویدیا سه مؤلفه را ترکیب کرد که به ندرت در یک معماری واحد ظاهر می‌شوند: لایه‌های فضای حالت Mamba-2—یک جایگزین سریع‌تر و کم‌مصرف‌تر برای توجه برای رسیدگی به جریان‌های طولانی توکن—همراه با لایه‌های توجه ترانسفورمر برای یادآوری دقیق، و یک طراحی جدید “Latent MoE” که جاسازی‌های توکن را قبل از مسیریابی آنها به متخصصان فشرده می‌کند. این به مدل اجازه می‌دهد تا چهار برابر بیشتر از متخصصان را با همان هزینه محاسباتی فعال کند.

معرفی NVIDIA Nemotron 3 Super 🎉

مدل MoE هیبریدی Mamba-Transformer با ۱۲۰ میلیارد پارامتر (۱۲ میلیارد فعال)
متن بومی ۱ میلیون توکنی
ساخته شده برای برنامه‌های چند عاملی با دقت بالا و کارآمد از نظر محاسباتی
به علاوه، وزن‌ها، مجموعه‌داده‌ها و دستورالعمل‌های کاملاً باز برای سفارشی‌سازی آسان و…

این مدل همچنین به طور بومی در NVFP4، فرمت ممیز شناور ۴ بیتی انویدیا، از قبل آموزش داده شده است. در عمل، این بدان معناست که سیستم از همان اولین به‌روزرسانی گرادیان، یاد گرفت که با محاسبات ۴ بیتی به طور دقیق کار کند، به جای اینکه با دقت بالا آموزش داده شود و بعداً فشرده شود، که اغلب باعث می‌شود مدل‌ها دقت خود را از دست بدهند.

برای درک بهتر، دقت یک مدل بر حسب بیت اندازه‌گیری می‌شود. دقت کامل، که به عنوان FP32 شناخته می‌شود، استاندارد طلایی است—اما اجرای آن در مقیاس بزرگ نیز بسیار گران است. توسعه‌دهندگان اغلب دقت را کاهش می‌دهند تا در محاسبات صرفه‌جویی کنند و در عین حال سعی می‌کنند عملکرد مفیدی را حفظ کنند.

آن را مانند کوچک کردن یک تصویر 4K به 1080p در نظر بگیرید: تصویر در نگاه اول همچنان یکسان به نظر می‌رسد، فقط با جزئیات کمتر. به طور معمول، کاهش از دقت ۳۲ بیتی تا ۴ بیت، توانایی استدلال یک مدل را فلج می‌کند. Nemotron با یادگیری عملکرد با دقت پایین از ابتدا، به جای فشرده شدن به آن در مراحل بعدی، از این مشکل جلوگیری می‌کند.

در مقایسه با مدل قبلی خود، Nemotron 3 Super بیش از پنج برابر توان عملیاتی بیشتری ارائه می‌دهد. در برابر رقبای خارجی، ۲.۲ برابر سریع‌تر از GPT-OSS 120B اوپن‌ای‌آی و ۷.۵ برابر سریع‌تر از Qwen3.5-122B علی‌بابا است.

ما آزمایش سریع خودمان را انجام دادیم. استدلال به خوبی حفظ شد، از جمله در مورد درخواست‌هایی که عمداً مبهم، بد بیان شده یا بر اساس اطلاعات نادرست بودند. این مدل خطاهای کوچک را در متن بدون درخواست تشخیص داد، مشکلات ریاضی و منطقی را به درستی حل کرد و زمانی که خود سؤال کمی اشتباه بود، از هم نپاشید.

کل خط لوله آموزش عمومی است: وزن‌ها در Hugging Face، ۱۰ تریلیون توکن از پیش آموزش داده شده که در طول آموزش بیش از ۲۵ تریلیون توکن دیده شده است، ۴۰ میلیون نمونه پس از آموزش و دستورالعمل‌های یادگیری تقویتی در ۲۱ پیکربندی محیط. Perplexity، Palantir، Cadence و Siemens در حال حاضر این مدل را در گردش کارهای خود ادغام می‌کنند.

این مدل ممکن است یک قطعه از یک استراتژی بزرگتر باشد. پرونده‌های مالی ۲۰۲۵ نشان می‌دهد که انویدیا قصد دارد ۲۶ میلیارد دلار طی پنج سال آینده برای ساخت مدل‌های هوش مصنوعی با وزن باز هزینه کند. مدیران نیز این موضوع را تأیید کردند.

برایان کاتانزارو، معاون تحقیقات یادگیری عمیق کاربردی، به Wired گفت که این شرکت اخیراً آموزش یک مدل با ۵۵۰ میلیارد پارامتر را به پایان رسانده است. انویدیا اولین مدل Nemotron خود را در نوامبر ۲۰۲۳ منتشر کرد، اما این پرونده نشان می‌دهد که این دیگر یک پروژه جانبی نیست.

این سرمایه‌گذاری استراتژیک است، با توجه به اینکه تراشه‌های انویدیا همچنان زیرساخت پیش‌فرض برای آموزش و اجرای مدل‌های پیشرو هستند. مدل‌هایی که برای سخت‌افزار آن تنظیم شده‌اند، به مشتریان دلیلی داخلی برای ماندن در انویدیا می‌دهند، علیرغم تلاش‌های رقبا برای استفاده از سخت‌افزارهای دیگر. اما فشار فوری‌تری در پشت این حرکت وجود دارد: آمریکا در حال از دست دادن مسابقه هوش مصنوعی منبع باز است و به سرعت آن را از دست می‌دهد.

مدل‌های باز چینی از اواخر سال ۲۰۲۴ از ۱.۲ درصد از استفاده جهانی از مدل‌های باز به حدود ۳۰ درصد تا پایان سال ۲۰۲۵ رسیده‌اند، طبق تحقیقات OpenRouter و Andreessen Horowitz. Qwen علی‌بابا از Llama متا به عنوان پرکاربردترین مدل منبع باز خود میزبانی شده پیشی گرفت، طبق Runpod. شرکت‌های آمریکایی از جمله Airbnb آن را برای خدمات مشتریان اتخاذ کردند. استارت‌آپ‌ها در سراسر جهان در حال ساخت بر روی آن هستند. فراتر از سهم بازار، این نوع پذیرش وابستگی‌های زیرساختی ایجاد می‌کند که معکوس کردن آنها دشوار است.

در حالی که غول‌های آمریکایی مانند OpenAI، Anthropic و Google بهترین مدل‌های خود را پشت APIها قفل نگه می‌دارند، آزمایشگاه‌های چینی از DeepSeek تا علی‌بابا اکوسیستم باز را پر کرده‌اند. متا تنها بازیگر اصلی آمریکایی بود که با Llama در منبع باز رقابت می‌کرد، اما زاکربرگ اخیراً نشان داد که این شرکت ممکن است مدل‌های آینده را کاملاً باز نکند.

شکاف بین “بهترین مدل اختصاصی” و “بهترین مدل باز” قبلاً بسیار زیاد بود—و به نفع آمریکا. این شکاف اکنون بسیار کوچک است و سمت باز دفتر کل به طور فزاینده‌ای چینی است.

نمودار باورنکردنی. در عرض یک سال، چین به طور کامل از آمریکا در مدل‌های هوش مصنوعی رایگان پیشی گرفت.

امروز حتی یک مدل آمریکایی در بین ۵ مدل برتر وجود ندارد، در حالی که سال گذشته ۳ مدل برتر همگی آمریکایی بودند.

همچنین یک تهدید سخت‌افزاری در زیر همه اینها وجود دارد. انتظار می‌رود به زودی یک مدل DeepSeek جدید منتشر شود و شایعه شده است که کاملاً بر روی تراشه‌های ساخت هواوی—یک شرکت چینی تحریم شده—آموزش داده شده است. اگر این موضوع تأیید شود، به توسعه‌دهندگان در سراسر جهان، به ویژه در چین، دلیلی مشخص برای شروع آزمایش سخت‌افزار هواوی می‌دهد. Ziphu AI چین در حال حاضر این کار را انجام می‌دهد.

این سناریویی است که انویدیا بیشتر از همه باید از آن جلوگیری کند: مدل‌های باز چینی و تراشه‌های چینی در حال ساخت اکوسیستمی هستند که اصلاً به انویدیا نیازی ندارد.