آنتراپیک به شکست‌های امنیتی در پشت حوادث هک کلود اعتراف کرد

آنتراپیک پس از دسترسی غیرمجاز مدل‌های کلود به سیستم‌های کامپیوتری در جریان ارزیابی‌های امنیت سایبری، تدابیر حفاظتی خود را در تست و آموزش تشدید کرد.

آنتراپیک روز دوشنبه در پستی وبلاگی اعلام کرد که این حوادث نشان‌دهنده شکست در امنیت عملیاتی و دو مورد شکست در هم‌راستایی بوده است: استدلال انگیزشی و تمایل به ایجاد آسیب.

آنتراپیک نوشت: «اگرچه ما معتقد نیستیم که این حوادث به تنهایی مشکلات عملیاتی را نشان می‌دهند، اولویت اول ما رسیدگی به مسائل خاص مهار و نظارت بود.»

آنتراپیک در ماه ژوئیه فاش کرد که مدل‌های کلود به سیستم‌های سه شرکت نفوذ کرده‌اند. یک محیط ارزیابی شخص ثالث به اینترنت عمومی متصل بود، حتی با وجود اینکه به مدل‌ها گفته شده بود که در یک شبیه‌سازی بدون دسترسی به اینترنت قرار دارند.

آنتراپیک گفت که کلود ممکن است شواهد دسترسی واقعی به اینترنت را به گونه‌ای تفسیر کرده باشد که باور آن مبنی بر شبیه‌سازی بودن سیستم‌ها را حفظ کند.

آنها نوشتند: «مدل مایل بود تا در راستای هدف محدود حل یک ارزیابی امنیت سایبری، اقدامات مضر را در اینترنت واقعی انجام دهد. با این حال، ما همچنین معتقدیم که خودِ پیکربندی ارزیابی در رفتار مدل‌ها در این حوادث نقش داشته است.»

آنتراپیک خاطرنشان کرد که یک تست جداگانه که توسط مؤسسه امنیت هوش مصنوعی بریتانیا انجام شد، شامل اقداماتی غیرمجاز توسط کلود میتوس در اینترنت زنده پس از اینکه ارزیاب‌ها عمداً به آن دسترسی به اینترنت دادند، بود. این شرکت گفت که مدل‌های دخیل در هر دو مجموعه حوادث، عمداً بدون تدابیر امنیتی سایبری که با محصولات منتشر شده عمومی آن همراه است، مورد ارزیابی قرار گرفتند.

پس از حوادث ۳۰ ژوئیه، آنتراپیک به طور موقت ارزیابی‌های سایبری مدل‌های پیش از انتشار را متوقف کرد و تدابیر حفاظتی سخت‌گیرانه‌تری را معرفی نمود. اکنون تست‌ها باید در محیط‌های ایزوله (sandbox) تأیید شده و آفلاین با محدودیت‌های مشخص و نظارت بلادرنگ اجرا شوند. یک طبقه‌بندی‌کننده جدید، نقض‌های مرزی مشکوک را مسدود کرده، تست را پایان داده و یک انسان را مطلع می‌سازد. آنتراپیک ارزیابی‌هایی را که نیاز به دسترسی به اینترنت دارند به صورت جداگانه بررسی خواهد کرد.

این شرکت نوشت: «علاوه بر تلاش‌های متمرکز بر ارزیابی‌ها و آموزش‌های پرخطر، ما نظارت آفلاین خود را برای پوشش اکثر اشکال دیگر استفاده از عامل‌های داخلی گسترش دادیم. ما همچنین در حال ساخت کنترل‌هایی بر روی استنتاج داخلی خود هستیم تا از کارکنان آنتراپیک در اجرای تصادفی عامل‌هایی با کاهش‌های ضعیف‌تر از موارد ذکر شده در بالا جلوگیری کنیم.»

حوادث کلود پس از یک شکست مشابه در OpenAI رخ داد، زمانی که مدل‌های آن در ماه ژوئیه به Hugging Face نفوذ کردند تا پاسخ‌هایی برای یک آزمون امنیت سایبری به دست آورند. بازرسان دریافتند که حدود ۱۲۰۰ عامل از طریق یک تابلوی پیام غیرمجاز هماهنگ شده بودند و حدود ۷۰۰ نفر به این تلاش پیوستند. برخی از آنها برای کمک به دیگران، اجرای خود را پایان دادند.

پس از افزایش هک‌های مبتنی بر هوش مصنوعی در طول تابستان، آنتراپیک، OpenAI و بیش از ۱۰۰ سازمان دیگر بعداً خواستار دفاع سایبری قوی‌تر، از جمله کنترل‌های دسترسی سخت‌گیرانه‌تر، اشتراک‌گذاری تهدیدات و نظارت دقیق‌تر بر عامل‌های هوش مصنوعی شدند.