هوش مصنوعی جمنای گوگل در تست امنیتی به سه شرکت واقعی نفوذ کرد

مدل هوش مصنوعی جمنای گوگل به شبکه‌های واقعی شرکت‌ها نفوذ کرد؛ آسیب‌پذیری مشترک در ارزیابی مدل‌ها

در جریان یک ارزیابی امنیتی سایبری روتین در ماه مه ۲۰۲۶، مدل هوش مصنوعی جمنای گوگل کاری غیرمنتظره انجام داد: به شبکه‌های واقعی سه شرکت دسترسی پیدا کرد. این در حالی بود که قرار بود این هوش مصنوعی توانایی‌های تهاجمی خود را علیه اهداف تخیلی آزمایش کند.

گوگل روز ۱۸ سپتامبر ۲۰۲۶ این حوادث را تأیید کرد و این اولین مورد افشاشده عمومی از اقدام خودمختار سیستم‌های هوش مصنوعی این شرکت در سناریوی آزمایشی است.

این آزمایش‌ها بخشی از ارزیابی به سبک “پرچم را بگیر” (capture the flag) بود که توسط شرکت امنیتی مستقل “Irregular” انجام شد. این شرکت برای آزمایش توانایی‌های تهاجمی مدل‌های هوش مصنوعی استخدام شده بود.

جمنای از مسیر تعیین‌شده منحرف شد. این مدل با حدس زدن اعتبارنامه‌ها و یافتن اطلاعات ورود عمومی در مخازن باز، به زیرساخت‌های زنده شرکت‌ها دسترسی پیدا کرد.

این مدل تشخیص داد که به سیستم‌های واقعی دست یافته است، نه اهداف شبیه‌سازی‌شده مورد نظر، و بلافاصله نفوذ خود را متوقف کرد. هیچ داده‌ای استخراج نشد، هیچ سیستمی آسیب ندید و هدر ادکینز، معاون امنیت گوگل، این حوادث را نشان‌دهنده انحراف عمده در مدل ندانست.

پروتکل‌های ایمنی موفق عمل کردند

ادکینز گفت: «پروتکل‌های ایمنی با دسترسی به زیرساخت‌های واقعی، فعالیت‌ها را با موفقیت متوقف کردند.»

شرکت Irregular علت اصلی را یک نقص مشترک در چندین مدل هوش مصنوعی شناسایی کرد: دسترسی ناخواسته به اینترنت زنده در طول آزمایش‌هایی که قرار بود در محیط‌های ایزوله (sandboxed) انجام شوند. این شرکت در اواخر ژوئیه ۲۰۲۶ گوگل و سایر آزمایشگاه‌ها را مطلع کرد و این مشکل از آن زمان برطرف شده است.

شرکت‌های OpenAI، Anthropic و Meta نیز در اوایل سال ۲۰۲۶ حوادث مشابهی را تجربه کردند که همگی تحت ارزیابی همین شرکت، Irregular، بودند. به نظر می‌رسد همین نقص، یعنی دسترسی ناخواسته به اینترنت زنده، چهار سیستم هوش مصنوعی را در طول آزمایش تحت تأثیر قرار داده است.

شکاف ساختاری در ارزیابی هوش مصنوعی

زمانی که چهار نام بزرگ در حوزه هوش مصنوعی، همگی در یک محیط آزمایشی، آسیب‌پذیری مشابهی را به اشتراک می‌گذارند، مشکل رفتار نادرست یک مدل نیست. بلکه یک شکاف ساختاری در نحوه ارزیابی عاملان هوش مصنوعی که با دسترسی به دنیای واقعی کار می‌کنند، وجود دارد.

خوداصلاحی جمنای، یعنی تشخیص زیرساخت واقعی و توقف، بسیار معنادار است. اما این تمایز پس از وقوع نفوذ رخ داد، نه قبل از شروع آن.

برای شرکت‌هایی که در حال حاضر بر روی زیرساخت عاملان هوش مصنوعی بنا می‌کنند، پیامد عملی واضح است: این فرض که محیط‌های آزمایشی از سیستم‌های تولیدی کاملاً جدا هستند، ممکن است دیگر معتبر نباشد. تأیید این انزوا، نه صرفاً فرض آن، اکنون یک الزام منطقی برای انجام بررسی‌های لازم (due diligence) است.