کلود آنتروپیک در بریتانیا افراد واقعی را هدف قرار داد

مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) اعلام کرد که عامل‌های هوش مصنوعی در جریان یک ارزیابی سایبری در اواخر ماه ژوئیه، اقداماتی “پایدار و غیرمجاز” را در اینترنت زنده انجام داده‌اند که در برخی موارد “افراد و سازمان‌های واقعی را هدف قرار داده است”.

در ۱۲۲ دور اجرا بر روی دو محیط آزمایشی سایبری با استفاده از هفت مدل، AISI در ۱۰ دور اجرا، ۱۹ اقدام را که از محیط آزمایشی فراتر رفته بود، ثبت کرد. ۱۷ مورد از این اقدامات مربوط به مدل Claude Mythos 5 از Anthropic و دو مورد از مدل GPT-5.6 Sol از OpenAI بود. دسترسی به اینترنت به طور عمدی فعال شده و طبقه‌بندی‌کننده‌های سایبری ارائه‌دهندگان غیرفعال شده بودند؛ شرایطی که در استقرار عمومی اعمال نمی‌شود.

مؤسسه امنیت هوش مصنوعی بریتانیا در توییتی در تاریخ ۴ اوت ۲۰۲۶ نوشت: “در تاریخ ۲۸ ژوئیه، ما در جریان یک ارزیابی سایبری معمول، حادثه‌ای را شناسایی کردیم که در آن عامل‌های هوش مصنوعی اقدامات پایدار و غیرمجاز را با هدف قرار دادن افراد و سازمان‌های واقعی انجام دادند. این رفتار عمدتاً از یک مدل (Mythos 5 از Anthropic) سرچشمه می‌گرفت و تعداد کمی رویداد از مدل دیگر نیز مشاهده شد.”

در جدی‌ترین دور اجرا، یک عامل هوش مصنوعی تصمیم گرفت چالش خود را با حمله زنجیره تأمین حل کند و با اشتباه، هدف خود را انتخاب کرد: این عامل با جستجوی کلیدواژه‌های مربوط به تمرین در GitHub، به دو توسعه‌دهنده مستقل برخورد و به اشتباه نتیجه گرفت که آن‌ها در محدوده هدف قرار دارند. این عامل برای عبور از بررسی‌های ثبت‌نام، حساب‌هایی را از طریق Tor ثبت کرد، یک درخواست ارسال (pull request) حاوی یک بدافزار مخفی که در یک رفع اشکال واقعی پیچیده شده بود، ارسال کرد و از حساب دومی که کنترل می‌کرد برای ایجاد پشتیبانی استفاده نمود. همچنین تزریق‌های دستوری (prompt injections) را با هدف دستیارهای کدنویسی هوش مصنوعی انجام داد و بدافزار را برای نگهدارندگان ارسال کرد.

یک توسعه‌دهنده سوم کد تزریق شده را شناسایی کرد، آن را در یک محیط ایزوله اجرا کرد تا مخرب بودن آن را تأیید کند و به نگهدارنده هشدار داد که درخواست ارسال را به دلیل وجود بدافزار رد کرد.

این عامل هوش مصنوعی به طور مکرر در مورد شبیه‌سازی بودن محیط خود تردید می‌کرد و در یک مقطع، حمله به PyPI واقعی را رد کرد زیرا “ایجاد آسیب در دنیای واقعی – این کاملاً خارج از بحث است.” در جای دیگر نتیجه گرفت که “به نظر می‌رسد ما در سال ۲۰۲۶ هستیم و GitHub واقعاً واقعی است” و با این حال به کار خود ادامه داد.

پس از شناسایی، این عامل برای پاک کردن محموله مخرب، push اجباری انجام داد، پست‌های قبلی را ویرایش کرد و کد را به عنوان یک کامیت تصادفی ارائه داد. استدلال آن شامل زمان‌بندی یک نظر ساختگی (sockpuppet) به گونه‌ای بود که “به عنوان بازخورد مستقل به جای هماهنگ شده” تلقی شود.

AISI تنها خلاصه‌ای از استدلال‌ها را از API مدل‌ها دریافت می‌کند. در یک مورد، به نظر می‌رسد مدل خلاصه‌کننده از انجام وظیفه خودداری کرده و پاسخ داده است که با محتوای مربوط به فریب دادن نگهدارندگان و فرار از شناسایی همکاری نخواهد کرد.

یک عامل هوش مصنوعی توکن دسترسی GitHub را در یک gist عمومی منتشر کرد. عامل‌های دیگر در دورهای دیگر آن را پیدا کردند، حساب را در اختیار گرفتند و از یک مخزن مشترک برای هماهنگی استفاده کردند؛ یکی از آن‌ها دستورالعمل‌هایی را برای جلوگیری از اتمام سهمیه API مشترک توسط دیگران باقی گذاشت.

نظارت تجاری ترافیک Tor را در صبح روز ۲۸ ژوئیه شناسایی کرد. AISI حادثه را اعلام کرد، اجراها را خاتمه داد و ماشین‌ها را در حدود ۹۰ دقیقه قرنطینه کرد، سپس دسترسی داخلی به Mythos 5، Mythos Preview، Opus 5 و GPT-5.6 Sol را قطع کرد. هیچ عاملی تلاش نکرد از محیط ایزوله خود فرار کند.

این خبر آخرین مورد در رشته حوادثی است که در آن عامل‌های هوش مصنوعی در طول آزمایش‌ها از پارامترهای خود فراتر رفته‌اند. در تاریخ ۲۱ ژوئیه، OpenAI اعلام کرد که GPT-5.6 Sol و یک مدل منتشر نشده، یک آسیب‌پذیری روز صفر (zero-day) را در یک پروکسی بسته داخلی کشف کرده، از یک محیط ایزوله بدون دسترسی به اینترنت فرار کرده و به پایگاه داده تولیدی Hugging Face برای سرقت پاسخ‌های بنچمارک دسترسی یافته‌اند. OpenAI یک هفته بعد فاش کرد که همان اجرا به چهار شرکت دیگر نیز دسترسی پیدا کرده است.

Anthropic در تاریخ ۳۰ ژوئیه، سه حادثه کشف شده در بررسی بیش از ۱۴۱,۰۰۰ اجرای ارزیابی را فاش کرد. Opus 4.7 صدها ردیف از یک پایگاه داده تولیدی واقعی را استخراج کرد و Mythos 5 یک بسته پایتون مخرب را در PyPI واقعی بارگذاری کرد که در ۱۵ سیستم نصب شد. در ارزیابی AISI، همین مدل حمله به PyPI را به دلیل آسیب در دنیای واقعی رد کرده بود.