افشای اسرار مدل‌های هوش مصنوعی در هک بزرگ

محققان امنیتی راهی برای خواندن “افکار درونی” رمزگذاری شده تمامی مدل‌های استدلال هوش مصنوعی اصلی کشف کرده‌اند و ۶۲ کلید API فعال و ۳۳ رمز عبور را که توسعه‌دهندگان ناخواسته در گزارش‌های جلسه به صورت عمومی آنلاین به اشتراک گذاشته بودند، یافته‌اند.

افشای اطلاعات حساس از گزارش‌های جلسه هوش مصنوعی

این محققان در مقاله‌ای که در تاریخ ۱۰ اوت توسط تیمی از MATS Research، موسسه ELLIS Tübingen، موسسه ماکس پلانک برای سیستم‌های هوشمند و شرکت امنیتی Snyk منتشر شد، اعلام کردند که با رمزگشایی ۳۱۵,۳۲۰ بلوک استدلال جمع‌آوری شده از مخازن عمومی، ۳۶۷ مورد اطلاعات قابل شناسایی شخصی (PII) و ۱۸۲ اعتبارنامه را بازیابی کرده‌اند.

این مقاله بر روی دسته‌ای خاص از هوش مصنوعی تمرکز دارد: مدل‌های استدلال. این مدل‌ها برخلاف مدل‌های معمولی که بلافاصله پاسخ می‌دهند، ابتدا یک “زنجیره فکری” داخلی (یک فضای کاری گام به گام که هوش مصنوعی مسئله را قبل از ارائه پاسخ نهایی حل می‌کند) ایجاد می‌کنند. شرکت‌هایی مانند Anthropic، OpenAI و Google این فضای کاری پنهان را رمزگذاری می‌کنند تا از مالکیت معنوی خود محافظت کرده و از نمایش استدلال‌های حساس میانی به کاربران جلوگیری کنند. این بلوک رمزگذاری شده با هر پیام بعدی به سرور ارائه‌دهنده بازگردانده می‌شود و مکالمه را بدون ذخیره اطلاعات در سمت شرکت حفظ می‌کند.

نقص معماری در رمزگذاری کلیدهای مشترک

مشکل اصلی در معماری این سیستم‌ها نهفته است. به جای اینکه هر بلوک استدلال رمزگذاری شده به یک کاربر، جلسه یا مدل خاص مرتبط شود، هر سه ارائه‌دهنده از یک کلید رمزگذاری واحد در سراسر اکوسیستم خود استفاده می‌کنند. محققان توضیح دادند که این بلوک‌های رمزگذاری شده کاملاً سازگار و قابل تعویض بین جلسات، کاربران و حتی مدل‌های مختلف در اکوسیستم یک ارائه‌دهنده هستند.

این بدان معناست که یک بلوک استدلال رمزگذاری شده از Claude Opus 4.8، مدل پرچمدار Anthropic، می‌تواند به Claude Haiku 4.5، مدلی ارزان‌تر و با محافظت کمتر، تزریق شود بدون اینکه قوانین Anthropic نقض شود. Haiku فاقد “هم‌ترازی ضد تقطیر” (آموزش ایمنی که برای جلوگیری از استخراج استدلال خود توسط مدل طراحی شده است) است که Opus دارد.

با دستور دادن به Haiku برای خواندن بلوک رمزگذاری شده به صورت کلمه به کلمه، این مدل آن را انجام می‌دهد. مقاله بیان می‌کند که با تزریق یک ردپای استدلال رمزگذاری شده از یک مدل به مدلی ضعیف‌تر و کمتر محافظت شده از همان ارائه‌دهنده، می‌توان آن را مجبور کرد تا ردپا را به صورت متن ساده رمزگشایی و خروجی دهد، بدون اینکه مستقیماً مدل قدرتمندتر را “جیل‌بریک” (دور زدن محدودیت‌ها) کند.

الکساندر پانفیلوف، محقق اصلی، در پلتفرم X نوشت: “قابلیت حمل بین مدل‌ها به این معنی است که Haiku 4.5 می‌تواند افکار Opus 4.8 را بخواند.” این حمله مشابه در خانواده GPT-5.6 OpenAI و مجموعه مدل‌های Gemini گوگل نیز تکرار شد. برای اجرای این حمله نیازی به دسترسی ویژه نبود و دسترسی استاندارد API (اتصالی که توسعه‌دهندگان برای ساخت برنامه‌ها بر روی مدل‌های هوش مصنوعی استفاده می‌کنند) کافی بود.

نمایش آسیب‌پذیری در دنیای واقعی

برای نمایش آسیب واقعی، این تیم ۶,۷۰۸ رونوشت عامل هوش مصنوعی را که به صورت عمومی به اشتراک گذاشته شده بودند (گزارش‌های جلسه خودکار که توسعه‌دهندگان معمولاً برای همکاری یا اشکال‌زدایی در GitHub و Hugging Face منتشر می‌کنند) جمع‌آوری کردند. آن‌ها ۳۱۵,۳۲۰ بلوک استدلال را از این گزارش‌ها رمزگشایی کردند.

این مقاله خاطرنشان می‌کند که توسعه‌دهندگان اغلب گزارش‌های جلسه و ردپاهای فکری رمزگذاری شده خود را به صورت عمومی آنلاین به اشتراک می‌گذارند، در حالی که از داده‌های حساس پنهان در بلوک‌های رمزگذاری شده بی‌اطلاع هستند. بیشتر این اسرار هرگز در خروجی قابل مشاهده هوش مصنوعی ظاهر نمی‌شدند و تنها در استدلال رمزگذاری شده وجود داشتند و برای هر کسی که حمله را اجرا نمی‌کرد، نامرئی بودند.

این آسیب‌پذیری چهار بردار حمله فراتر از سرقت ساده اعتبارنامه‌ها را باز می‌کند: سرقت الگوهای استدلال اختصاصی از شرکت‌های هوش مصنوعی برای آموزش مدل‌های رقیب از طریق تقطیر (زمانی که یک هوش مصنوعی کوچک‌تر با مطالعه خروجی‌های یک مدل بزرگ‌تر، تقلید از آن را یاد می‌گیرد)؛ استخراج داده‌های خصوصی از گزارش‌های مشترک؛ اجرای تزریق دستور پنهان (prompt injection)، که در آن دستورالعمل‌های مخرب در بلوک‌های استدلال رمزگذاری شده پنهان می‌شوند که ابزارهای نظارت امنیتی هرگز آن‌ها را نمی‌بینند؛ و جیل‌بریک کردن مدل‌های قدرتمند از طریق خواهران و برادران کمتر محافظت شده آن‌ها.

Anthropic، OpenAI و Google پس از اینکه تیم رویه‌های افشای مسئولانه را دنبال کرد، اصلاحات سمت سرور را پیاده‌سازی کردند. همانطور که پیشتر گزارش شده بود، Anthropic در سال جاری به طور مکرر مورد توجه محققان امنیتی قرار گرفته است، به خصوص با توجه به اینکه مدل‌های جدیدتر آن در این فرآیند توکن‌های بیشتری مصرف می‌کنند.

وصله‌ها اکنون فعال هستند. ۶,۷۰۸ رونوشت جلسه با بلوک‌های استدلال رمزگشایی شده که قبلاً از وب عمومی جمع‌آوری شده بودند، همچنان در دسترس هستند.