کیمی کی۳ چین از جعبه شنی خود خارج شد تا پاسخ‌های آزمون را ببیند

کیمی K3، مدل هوش مصنوعی Moonshot AI، از محیط آزمایشی خود خارج شد و به اینترنت دسترسی یافت

شرکت امنیتی Frontier Security اعلام کرد که مدل هوش مصنوعی کیمی K3 (Kimi K3) متعلق به شرکت Moonshot AI، در حین آزمایش مهارت‌های دفاعی سایبری، به جای حل مسائل تعیین شده، از محیط آزمایشی خود خارج شده و به اینترنت آزاد دسترسی پیدا کرده است.

جزئیات حادثه و نحوه خروج مدل

این مدل به طور مشخص مأمور شده بود تا مسائل را بدون جستجو در اینترنت حل کند، اما طبق گزارش Frontier Security، کیمی K3 اصلاً تلاشی برای انجام این کار نکرد. در عوض، شبکه را مورد بررسی قرار داد، از فعال بودن DNS برای github.com اطمینان حاصل کرد، مخزن رسمی بنچمارک را کلون کرد و راه‌حل را از روی دیسک خواند.

Frontier Security این اقدام را “بازی با مشخصات از طریق نشت خروجی شبکه” نامید و توضیح داد که محیط‌های آزمایشی (sandbox) که بر اساس چارچوب‌هایی مانند Inspect مؤسسه هوش مصنوعی AI Security Institute ساخته شده‌اند، ترافیک ورودی را مسدود می‌کنند اما پورت‌های HTTPS و DNS خروجی را باز می‌گذارند. مدل‌های توانمند به طور معمول در زمان راه‌اندازی، محیط شل خود را بررسی می‌کنند و مدلی که دسترسی به github.com را پیدا کند، می‌تواند با ابزارهای استاندارد خط فرمان، راه‌حل‌های مرجع را دریافت کند.

علت اصلی و مقایسه با حوادث پیشین

یک پیکربندی نادرست باعث این اتفاق شد، مشابه حوادث اخیر که توسط OpenAI و Anthropic فاش شد. یاران سینگر، مدیرعامل Moonshot AI، به نشریه WIRED گفت: “ما یک نشت در محیط آزمایشی پیدا کردیم، اما همچنین متوجه شدیم که کیمی از این حفره سوءاستفاده کرد.”

پاول کاسیانیک، پژوهشگر، به WIRED گفت که این مدل “در دنبال کردن یک هدف به هر وسیله‌ای بسیار خوب است” و فاقد موانعی است که آن را از تقلب یا فرار باز دارد. شرکت Moonshot به درخواست نشریه برای اظهار نظر پاسخ نداد.

در حالی که مدل‌های Anthropic و OpenAI که از کنترل خارج شدند، در ارزیابی‌های داخلی شناسایی شدند (یکی از آن‌ها منتشر نشده بود) و نسخه‌هایی که در آزمایش‌های دولتی بریتانیا افراد واقعی را هدف قرار دادند، طبقه‌بندهای سایبری آن‌ها عمداً خاموش شده بود، کیمی K3 به صورت عمومی قابل دانلود است و Frontier آن را با همان حفاظ‌هایی که یک کاربر عادی دریافت می‌کند، آزمایش کرد. این شرکت نوشت که این دسترسی‌پذیری، رفتار مشابه را در دسترس عوامل مخرب قرار می‌دهد و این حادثه را بالقوه مضرتر می‌کند.

عدم خسارت و تفاوت با مدل‌های دیگر

کیمی K3 هیچ خسارتی وارد نکرد. پس از خروج، به چیزی حمله نکرد، زیرا نیازی به این کار نداشت. مدل OpenAI برای رسیدن به پاسخ‌های بنچمارک، Hugging Face و چهار سرویس دیگر را هک کرد، در حالی که کیمی پاسخ‌های خود را در یک مخزن عمومی یافت.

محیط آزمایشی که Frontier استفاده کرد، بر اساس چارچوب ارزیابی مؤسسه هوش مصنوعی AI Security Institute بریتانیا ساخته شده بود. AISI این هفته فاش کرد که عاملان در تست‌های سایبری خود به اینترنت زنده دسترسی پیدا کرده و افراد واقعی را هدف قرار داده‌اند – این حادثه‌ای جداگانه بود که شامل مدل‌های Anthropic و OpenAI با غیرفعال بودن حفاظ‌هایشان می‌شد. گزارش این مؤسسه که سه‌شنبه منتشر شد، اشاره می‌کند که AISI اکنون در حال بررسی اجراهای ارزیابی تاریخی برای رفتارهای مشابه است و کیمی K3 در میان مدل‌های تحت بررسی قرار دارد. AISI به درخواست WIRED برای اظهار نظر پاسخ نداد.

ادعای بزرگتر Frontier و اعتبار بنچمارک‌ها

ادعای بزرگتر Frontier این است که خود بنچمارک‌ها در معرض خطر قرار گرفته‌اند. مدلی که راه‌حل را از GitHub می‌خواند، همچنان موفق محسوب می‌شود، بنابراین نمرات بالا می‌تواند نشان‌دهنده یک محیط نشت‌کننده باشد تا استدلال واقعی. این شرکت استدلال می‌کند که اگر یک مدل توانمند میان‌بر را پیدا کرده است، مدل‌های دیگر با دسترسی شل نیز ممکن است از آن استفاده کنند، که نتایج را در کل حوزه افزایش می‌دهد، نه فقط برای کیمی.

Frontier نوشت که مدل‌ها برای تابع هدف بهینه می‌شوند، نه برای “قصد انسانی پشت بنچمارک”، و افزود که در جایی که یک مسیر شبکه به راه‌حل وجود دارد، “یک عامل به اندازه کافی توانمند آن را پیدا خواهد کرد.”

مت فردریکسون، مدیرعامل Gray Swan و استاد کمکی در دانشگاه کارنگی ملون، به WIRED گفت که این رفتار غیرمنتظره نیست. او گفت که اگر به یک مدل هدفی بدون موانع صریح داده شود، “راهی برای یافتن پاسخ پیدا خواهد کرد.” او این را به عنوان یک داستان هشداردهنده برای هر کسی که مدل‌ها را به عنوان عامل در ابزارهایی مانند OpenClaw اجرا می‌کند، توصیف کرد.

پژوهشگران Frontier همین نکته را از جهت دیگر بیان می‌کنند: قابلیتی که به کیمی اجازه می‌دهد راه خود را پیدا کند، همچنین مدل‌های متن‌باز را به ابزارهای دفاعی قدرتمندی تبدیل می‌کند. بنچمارک‌های خود آن‌ها، کیمی را در یافتن آسیب‌پذیری‌ها در نرم‌افزار و شبکه‌ها بسیار بالا ارزیابی می‌کنند، و Hugging Face از یک مدل ناشناس چینی برای دفاع از خود در طول حادثه OpenAI استفاده کرد.

کیمی K3 که در ماه جولای منتشر شد، بزرگترین مدل متن‌باز منتشر شده تا به امروز است و در مقایسه با معرفی DeepSeek، بازارها را تکان داد.