اوپن‌ای‌آی با تیم قرمز هوش مصنوعی، جی‌پی‌تی ۵.۶ را در برابر حملات تزریق دستور تقویت کرد.

اوپن‌ای‌آی از معرفی GPT-Red خبر داد؛ سیستمی خودکار مبتنی بر هوش مصنوعی که برای شناسایی آسیب‌پذیری‌های امنیتی در مدل‌های زبانی این شرکت طراحی شده است.

GPT-Red نام خود را از مفهوم “تیم قرمز” (red teaming) در حوزه امنیت سایبری گرفته است؛ روشی که در آن با هدف شناسایی نقاط ضعف یک سیستم پیش از آنکه مهاجمان بتوانند از آن‌ها سوءاستفاده کنند، تلاش‌های عمدی برای نفوذ به آن صورت می‌گیرد.

اوپن‌ای‌آی روز چهارشنبه در پستی اعلام کرد که این ابزار به افزایش مقاومت مدل GPT-5.6 در برابر حملات تزریق دستور (prompt injection) پیش از عرضه کمک کرده است.

این شرکت در پلتفرم X نوشت: «با رشد قابلیت‌های مدل، ایمنی و همسویی (alignment) نیز باید با آن‌ها مقیاس‌پذیر شود. تیم قرمز کردن (Red-teaming) ضروری است، اما رویکردهای کنونی مقیاس‌پذیر نیستند و یک گلوگاه حیاتی ایجاد می‌کنند. GPT-Red یکی از راه‌هایی است که ما برای رفع این مشکل در پیش گرفته‌ایم.»

طبق گفته اوپن‌ای‌آی، GPT-Red از طریق یادگیری تقویتی مبتنی بر بازی خودکار (self-play reinforcement learning) آموزش دیده است؛ به این صورت که حملات تزریق دستور را به تدریج قدرتمندتر کرده و مدل‌های مدافع نیز برای مقاومت در برابر آن‌ها آموزش دیده‌اند. این شرکت اعلام کرد که این حملات در فرآیند آموزش GPT-5.6 گنجانده شده‌اند و در ارزیابی‌های داخلی، GPT-Red در ۸۴ درصد سناریوها موفق بوده است، در حالی که این رقم برای تیم‌های قرمز انسانی در همان تست‌ها ۱۳ درصد بوده است.

اوپن‌ای‌آی توضیح داد: «GPT-Red از طریق بازی خودکار خصمانه یاد می‌گیرد، جایی که هدف آن تزریق دستور به انواع مدل‌های مدافع چالش‌برانگیز است. هر حمله موفقی که GPT-Red کشف می‌کند، برای بهبود این مدافعان به کار می‌رود و GPT-Red را وادار می‌کند تا به طور مداوم شکست‌های گسترده‌تر و پیچیده‌تری را شناسایی کند.»

در یکی از مطالعات موردی، اوپن‌ای‌آی گزارش داد که این سیستم یک عامل خودکار دستگاه فروش خودکار را دستکاری کرده تا قیمت‌ها را کاهش دهد، موجودی تخفیف‌خورده سفارش دهد و سفارش مشتری دیگری را پیش از افشا و رفع آسیب‌پذیری‌ها لغو کند.

GPT-Red در ادامه تلاش‌های سال‌ها اوپن‌ای‌آی در حوزه امنیت سایبری پس از عرضه عمومی ChatGPT صورت می‌گیرد.

در سال ۲۰۲۳، این شرکت شبکه تیم قرمز اوپن‌ای‌آی (OpenAI Red Teaming Network) را راه‌اندازی کرد و محققان امنیت سایبری خارجی و کارشناسان حوزه را برای بررسی ChatGPT و سایر مدل‌ها از نظر نقص‌های امنیتی پیش از انتشار، جذب نمود. GPT-Red با خودکارسازی بخش زیادی از این فرآیند، با استفاده از یک مدل هوش مصنوعی برای تولید حملات تزریق دستور و سایر تست‌های خصمانه در مقیاسی که برای محققان انسانی به تنهایی دشوار است، این تلاش را گسترش می‌دهد.

اعلامیه اوپن‌ای‌آی نشان‌دهنده یک تغییر رویکرد گسترده‌تر به سمت استفاده از هوش مصنوعی برای ایمن‌سازی هوش مصنوعی است.

اوایل ماه جاری، بنیاد اتریوم اعلام کرد که عامل‌های هوش مصنوعی را برای تیم قرمز کردن زیرساخت‌های حیاتی شبکه مستقر کرده و یک آسیب‌پذیری در نرم‌افزار مورد استفاده توسط کلاینت‌های اجماع اتریوم کشف کرده است. محققان گفته‌اند که عامل‌های هوش مصنوعی می‌توانند پایگاه‌های کد بزرگ‌تری را نسبت به انسان‌ها جستجو کنند، اما چالش از یافتن باگ‌های بالقوه به اثبات قابل بهره‌برداری بودن آن‌ها تغییر یافته است.

طبق گفته اوپن‌ای‌آی، GPT-Red به دلیل داشتن قابلیت‌های تهاجمی توسعه‌یافته عمدی، به عنوان یک ابزار داخلی باقی خواهد ماند.

این شرکت افزود: «ما معتقدیم با GPT-Red، شروع به باز کردن یک چرخه‌ی مشابه برای ایمنی کرده‌ایم؛ جایی که مدل‌های امروزی می‌توانند برای قوی‌تر، همسوتر و قابل اعتمادتر کردن مدل‌های فردا به کار روند.»