‏اوپن‌ای‌آی می‌گوید معیار سنجش مهارت کدنویسی هوش مصنوعی «آلوده» است—چرا؟

اعلام بی‌اعتباری معیار اصلی سنجش توانایی‌های کدنویسی هوش مصنوعی

عددی که تمام آزمایشگاه‌های بزرگ هوش مصنوعی برای ادعای برتری در کدنویسی از آن استفاده می‌کردند، بی‌معنی اعلام شد.

اوپن‌ای‌آی این هفته پستی منتشر کرد و اعلام کرد که SWE-bench Verified، معیار اصلی اندازه‌گیری قابلیت‌های کدنویسی هوش مصنوعی، آنقدر مملو از آزمون‌های معیوب و نشت داده‌های آموزشی است که دیگر هیچ اطلاعات مفیدی در مورد اینکه آیا یک مدل واقعاً می‌تواند نرم‌افزار بنویسد یا خیر، ارائه نمی‌دهد.

این معیار به این صورت کار می‌کند: به یک هوش مصنوعی یک مشکل واقعی از گیت‌هاب از یک پروژه پایتون متن‌باز محبوب داده می‌شود، از آن خواسته می‌شود که باگ را بدون دیدن آزمایش‌ها برطرف کند و بررسی می‌شود که آیا وصله آن باعث می‌شود آزمایش‌های ناموفق بدون ایجاد مشکل دیگری، پاس شوند یا خیر.

اوپن‌ای‌آی در آگوست ۲۰۲۴ SWE-bench Verified را به عنوان نسخه‌ای پاک‌تر از معیار اصلی سال ۲۰۲۳ ایجاد کرد و ۹۳ مهندس نرم‌افزار را برای فیلتر کردن وظایفی که غیرممکن یا بد طراحی شده بودند، به کار گرفت.

این پاکسازی به اندازه‌ای خوب عمل کرد که هر آزمایشگاه بزرگی شروع به استناد به نمرات آن به عنوان مدرکی بر پیشرفت کرد. هنگامی که آنتروپیک در می ۲۰۲۵ کلود اپوس ۴ را راه‌اندازی کرد، دکریپت گزارش داد که این مدل ۷۲.۵٪ در SWE-bench Verified کسب کرد و از GPT-4 با ۵۴.۶٪ و جمینی ۲.۵ پرو با ۶۳.۲٪ پیشی گرفت. این معیار کدنویسی بود که اهمیت داشت.

از آن زمان، تمام آزمایشگاه‌های هوش مصنوعی از آمریکا تا چین عملکرد SWE را برای ادعای برتری به عنوان بهترین مدل برای قابلیت‌های کدنویسی نشان داده‌اند.

اکنون اوپن‌ای‌آی می‌گوید که این رقابت تا حدی یک سراب بوده است. طبق این گزارش، این تیم ۱۳۸ وظیفه را که GPT-5.2 به طور مداوم در ۶۴ اجرا مستقل در آن‌ها شکست خورده بود، بررسی کرد و شش مهندس هر یک از آن‌ها را بررسی کردند. در نهایت به این نتیجه رسید که ۵۹.۴٪ از این وظایف خراب هستند.

حدود ۳۵.۵٪ آزمایش‌هایی دارند که آنقدر محدود نوشته شده‌اند که به یک نام تابع خاص نیاز دارند که هرگز در شرح مسئله ذکر نشده است. ۱۸.۸٪ دیگر ویژگی‌هایی را بررسی می‌کنند که اصلاً بخشی از مشکل اصلی نبوده‌اند و از درخواست‌های ادغام نامرتبط جمع‌آوری شده‌اند.

مشکل آلودگی تقریباً به این صورت کار می‌کند: SWE-bench مشکلات خود را از مخازن متن‌باز می‌گیرد که اکثر شرکت‌های هوش مصنوعی هنگام ساخت مجموعه‌های آموزشی، آن‌ها را بررسی می‌کنند. اوپن‌ای‌آی آزمایش کرد که آیا GPT-5.2، کلود اپوس ۴.۵ و جمینی ۳ فلش پریویو راه‌حل‌های این معیار را در طول آموزش دیده‌اند یا خیر. هر سه این کار را کرده بودند.

با توجه به فقط یک شناسه وظیفه و یک اشاره مختصر، هر مدل می‌توانست تعمیر کد دقیق را از حافظه بازتولید کند، از جمله نام متغیرها و نظرات درون خطی که در هیچ جای شرح مسئله ظاهر نمی‌شوند. در یک مورد، گزارش‌های زنجیره تفکر GPT-5.2 نشان داد که استدلال می‌کند که یک پارامتر خاص باید “در حدود جنگو ۴.۱ اضافه شده باشد” – جزئیاتی که فقط در یادداشت‌های انتشار جنگو یافت می‌شود، نه در شرح وظیفه. این در حال پاسخ دادن به سوالی بود که قبلاً پاسخ آن را دیده بود.

اوپن‌ای‌آی اکنون SWE-bench Pro، یک معیار جدیدتر از Scale AI را توصیه می‌کند که از پایگاه‌های کد متنوع‌تری و مجوزهایی استفاده می‌کند که قرار گرفتن در معرض داده‌های آموزشی را کاهش می‌دهد. افت عملکرد تکان‌دهنده است: مدل‌هایی که ۷۰٪ را در معیار Verified قدیمی پاک کردند، حدود ۲۳٪ در تقسیم‌بندی عمومی SWE-bench Pro و حتی کمتر در وظایف خصوصی آن امتیاز کسب می‌کنند.

در جدول امتیازات فعلی SWE-bench Verified، اوپن‌ای‌آی از جایگاه این معیار فاصله زیادی دارد. بازنشسته کردن معیاری که در آن شکست می‌خورید و تأیید معیاری که در آن همه با ۲۳٪ شروع می‌کنند، صفحه امتیازات را در یک لحظه مناسب بازنشانی می‌کند و ادعاهای رقبا را کمتر چشمگیر می‌کند.

این امر به ویژه با توجه به این واقعیت مهم است که شایعه شده است نسخه جدیدتر و بسیار مورد انتظار دیپ‌سیک، مدل‌های هوش مصنوعی آمریکایی را شکست می‌دهد یا به آن‌ها بسیار نزدیک می‌شود، به ویژه در وظایف عاملی و کدنویسی با یک مدل رایگان و متن‌باز. این مدل ممکن است تا چند روز دیگر منتشر شود و SWE-bench Verified می‌تواند یک معیار کلیدی برای اندازه‌گیری کیفیت آن باشد.

اوپن‌ای‌آی گفت که در حال ساخت ارزیابی‌های خصوصی است که قبل از آزمایش منتشر نخواهد شد و به پروژه GDPVal خود اشاره کرد که در آن متخصصان دامنه وظایف اصلی را می‌نویسند که توسط بازبینان انسانی آموزش‌دیده درجه‌بندی می‌شوند.

مشکل معیار جدید نیست و مختص کدنویسی هم نیست. آزمایشگاه‌های هوش مصنوعی از طریق ارزیابی‌های متعدد چرخیده‌اند که هر کدام تا زمانی که مدل‌ها روی آن‌ها آموزش داده شدند یا تا زمانی که وظایف خیلی محدود ثابت شدند، مفید بودند.

اما آنچه این مورد را قابل توجه می‌کند این است که اوپن‌ای‌آی SWE-bench Verified را تبلیغ کرد، آن را در سراسر نسخه‌های مدل ترویج کرد و اکنون به طور عمومی مستند می‌کند که چگونه به طور کامل شکست خورده است – از جمله با نشان دادن تقلب مدل خود در آن.