مدل‌های OpenAI از محیط آزمایشی قفل‌شده گریختند و Hugging Face را برای تقلب در بنچمارک هک کردند

اگر فکر می‌کردید مدل‌های هوش مصنوعی چینی تنها مواردی هستند که باید نگرانشان باشید، این یک به‌روزرسانی جالب است: مدل‌های خود OpenAI از یک محیط آزمایشی قفل‌شده خارج شده‌اند، سرورهای تولیدی Hugging Face را هک کرده‌اند و مجبور شدند توسط یک هوش مصنوعی چینی پاکسازی شوند – زیرا مدل‌های تجاری آمریکایی برای کمک به تحقیق بیش از حد محدود بودند.

طبق گزارش OpenAI، مدل‌های GPT-5.6 Sol و یک مدل “پیش از انتشار قدرتمندتر” که نامش فاش نشده است، در حال ارزیابی داخلی بر روی ExploitGym بودند – یک معیار امنیتی عمومی که به عوامل هوش مصنوعی ۸۹۸ آسیب‌پذیری نرم‌افزاری واقعی و یک دستورالعمل برای هر باگ می‌دهد: آن را به یک حمله موفق تبدیل کنید، با امتیاز قبولی یا ردی. این ارزیابی با فیلترهای ایمنی کاهش‌یافته اجرا شد، که زمانی که واقعاً می‌خواهید بدانید مدل‌هایتان چه کاری می‌توانند انجام دهند، استاندارد است.

قرار بود این مدل‌ها در یک محیط کاملاً محدود اجرا شوند – یک محیط دیجیتال ایزوله بدون دسترسی به اینترنت، که فقط به یک پروکسی رجیستری بسته‌های داخلی (یک سرور کش که دانلود کتابخانه‌های نرم‌افزاری را مدیریت می‌کند) متصل بود.

اما، طبق پست وبلاگ امروز OpenAI، اوضاع کمی از کنترل خارج شد.

“در حالی که مدل‌های ما در محیط آزمایشی سندباکس شده خود فعالیت می‌کردند، بخش قابل توجهی از توان محاسباتی استنتاج خود را صرف یافتن راهی برای دسترسی به اینترنت آزاد کردند، در راستای حل مسئله ارزیابی،” شرکت سم آلتمن گزارش داد.

و، علی‌رغم تدابیر امنیتی شرکت، هوش مصنوعی راهی برای رهایی یافت. این مدل‌ها یک آسیب‌پذیری روز صفر – یک نقص نرم‌افزاری ناشناخته بدون وصله موجود – را در آن پروکسی شناسایی کردند، از آن برای افزایش اختیارات (دسترسی در سطح مدیر به سیستم‌هایی که نباید به آن‌ها دست می‌زدند) سوءاستفاده کردند، به صورت جانبی حرکت کردند (بین سرورهای متصل در شبکه داخلی OpenAI جهیدند) و در نهایت به ماشینی با دسترسی واقعی به اینترنت رسیدند.

همه اینها بدون اطلاع OpenAI – حداقل این چیزی است که OpenAI می‌گوید.

هنگامی که آنلاین شدند، به درستی استنباط کردند که Hugging Face – میزبان بیش از یک میلیون مدل هوش مصنوعی، مجموعه داده و منابع تحقیقاتی در دسترس عموم – به احتمال زیاد راه‌حل‌های معیار را در خود دارد، و حق با آن‌ها بود.

“مدل‌ها آسیب‌پذیری‌ها را در محیط تحقیقاتی OpenAI و زیرساخت تولیدی Hugging Face شناسایی و زنجیره‌وار کردند تا راه‌حل‌های آزمایشی را مستقیماً از پایگاه داده تولیدی Hugging Face به دست آورند،” OpenAI نوشت.

آنها هیچ رمز عبوری نمی‌خواستند. آن‌ها می‌خواستند در آزمون قبول شوند.

“تمام شواهد حاکی از آن است که مدل‌ها بر یافتن راه‌حلی برای ExploitGym تمرکز شدیدی داشتند و برای دستیابی به یک هدف آزمایشی نسبتاً محدود، اقدامات افراطی انجام دادند،” OpenAI افزود.

تیم امنیتی Hugging Face به طور مستقل این نفوذ را کشف کرد، که با تشخیص ناهنجاری مبتنی بر هوش مصنوعی خودشان کمک شد.

در ۱۶ ژوئیه، این شرکت افشای خود را منتشر کرد و روشن ساخت که این یک نفوذ استاندارد نبوده است: “این مورد از هر چیزی که قبلاً با آن سروکار داشتیم به یک روش مهم متفاوت بود: این مورد، از ابتدا تا انتها، توسط یک سیستم عامل عامل خودکار هدایت می‌شد – و ما آن را عمدتاً با هوش مصنوعی خودمان تشخیص دادیم و کالبدشکافی کردیم.”

این کمپین، طبق افشاگری، “توسط یک چارچوب عامل خودکار اجرا می‌شد که هزاران عمل فردی را در میان مجموعه‌ای از سندباکس‌های کوتاه‌مدت اجرا می‌کرد، با فرماندهی و کنترل خود-مهاجرتی که بر روی سرویس‌های عمومی مستقر شده بود.”

این حمله از دو مسیر اجرای کد در خط پردازش مجموعه داده Hugging Face سوءاستفاده کرد و به مجموعه داده‌های داخلی و اعتبارنامه‌های سرویس دسترسی یافت. OpenAI امروز – پنج روز بعد – تأیید کرد که مدل‌هایش پشت این قضیه بوده‌اند.

برای تجزیه و تحلیل بیش از ۱۷۰۰۰ رویداد ثبت‌شده مهاجم، تیم امنیتی Hugging Face ابتدا هوش مصنوعی پیشگام آمریکایی را از طریق APIهای استاندارد خود امتحان کرد. موفقیت‌آمیز نبود.

“هنگامی که تجزیه و تحلیل گزارش را آغاز کردیم، ابتدا از مدل‌های پیشگام پشت APIهای تجاری استفاده کردیم،” این شرکت نوشت. “این کار نتیجه نداد: تجزیه و تحلیل نیاز به ارسال حجم زیادی از دستورات حمله واقعی، محموله‌های اکسپلویت و مصنوعات C2 داشت.”

“این درخواست‌ها توسط گاردریل‌های ایمنی ارائه‌دهندگان مسدود شدند، که نمی‌توانند بین یک پاسخ‌دهنده حادثه و یک مهاجم تمایز قائل شوند،” Hugging Face افزود.

بنابراین آن‌ها به GLM 5.2 روی آوردند – یک مدل با وزن باز ۷۵۳ میلیارد پارامتری (معماری کاملاً عمومی، هر کسی می‌تواند آن را دانلود کرده و به صورت محلی اجرا کند) از استارتاپ چینی هوش مصنوعی Z.ai. “ما تجزیه و تحلیل پزشکی قانونی را به جای آن بر روی GLM 5.2، یک مدل با وزن باز، بر روی زیرساخت خودمان اجرا کردیم،” Hugging Face نوشت. “این مزیت دومی داشت: هیچ داده مهاجم و هیچ یک از اعتبارنامه‌هایی که به آن اشاره می‌کرد، از محیط ما خارج نشد.”

کار پزشکی قانونی – بازسازی جدول زمانی حمله، ترسیم اعتبارنامه‌های به خطر افتاده، جدا کردن خسارت واقعی از فعالیت فریب – به جای روزها، ساعت‌ها طول کشید.

Hugging Face درس مستقیمی برای سایر مدافعان گرفت: “یک مدل توانمند داشته باشید که بتوانید قبل از وقوع حادثه، آن را بر روی زیرساخت خودتان اجرا کنید و آماده باشید، هم برای جلوگیری از قفل شدن گاردریل و هم برای جلوگیری از خروج داده‌ها و اعتبارنامه‌های مهاجم از محیط شما.”

OpenAI اعلام کرد که کنترل‌های سختگیرانه‌ای را بر روی زیرساخت تحقیقاتی اعمال کرده است، در حالی که سیستم‌های آسیب‌دیده را وصله می‌کند، روز صفر را به فروشنده شخص ثالثی که پروکسی آن مورد سوءاستفاده قرار گرفته بود، افشا کرده و در حال انجام یک تحقیق پزشکی قانونی مشترک با Hugging Face است.

Hugging Face همچنین به برنامه دسترسی مورد اعتماد OpenAI برای دفاع سایبری اضافه شده است – به سازمان‌های تأیید شده دسترسی به نسخه‌هایی از مدل‌های آن را با فیلترهای ایمنی کاهش‌یافته برای کارهای امنیتی قانونی می‌دهد، همان پیکربندی که این ماجرا را آغاز کرد.

کلم دلانگ، مدیرعامل Hugging Face، اظهار نظر دقیقی داشت: “ایمنی هوش مصنوعی توسط هیچ شرکت واحدی که در خفا کار می‌کند، حل نخواهد شد. این در فضای باز، به صورت مشارکتی، با دسترسی گسترده به هوش مصنوعی برای هر مدافعی، در همه‌جا، حل خواهد شد.”

OpenAI این حادثه را “مربوط به قابلیت‌های سایبری پیشرفته جدید” نامید و متعهد شد که یافته‌های کامل را پس از اتمام تحقیقات مشترک با Hugging Face به اشتراک بگذارد.