‏محققان گوگل تمام راه‌های به دام انداختن و ربودن عامل‌های هوش مصنوعی را فاش کردند.

‏محققان در گوگل دیپ‌مایند، نقشه‌ای احتمالا جامع از مشکلی که اکثر مردم به آن توجه نکرده‌اند را منتشر کرده‌اند: تبدیل خود اینترنت به سلاحی علیه عوامل هوش مصنوعی خودکار. این مقاله با عنوان «تله‌های عامل هوش مصنوعی» شش دسته از محتوای خصمانه را شناسایی می‌کند که به‌طور خاص برای دستکاری، فریب یا ربودن عوامل هوش مصنوعی در حین مرور، خواندن و عمل در وب آزاد طراحی شده‌اند.

زمان‌بندی این موضوع اهمیت دارد. شرکت‌های هوش مصنوعی در حال رقابت برای استقرار عواملی هستند که می‌توانند به‌طور مستقل سفر رزرو کنند، صندوق‌های پستی را مدیریت کنند، تراکنش‌های مالی را انجام دهند و کد بنویسند. مجرمان در حال حاضر از هوش مصنوعی به‌طور تهاجمی استفاده می‌کنند. هکرهای تحت حمایت دولت حملات سایبری در مقیاس وسیع را با استفاده از عوامل هوش مصنوعی آغاز کرده‌اند. و اوپن‌ای‌آی در دسامبر ۲۰۲۵ اعتراف کرد که آسیب‌پذیری اصلی که این تله‌ها از آن بهره می‌برند – تزریق دستورالعمل – «احتمالا هرگز به‌طور کامل حل نخواهد شد».

محققان دیپ‌مایند به خود مدل‌ها حمله نمی‌کنند. سطح حمله که آن‌ها ترسیم می‌کنند، محیطی است که عوامل در آن فعالیت می‌کنند. در اینجا معنای هر یک از شش دسته تله‌ها آمده است.

تله‌های تزریق محتوا

این تله‌ها از شکاف بین آنچه یک انسان در یک صفحه وب می‌بیند و آنچه یک عامل هوش مصنوعی واقعاً تجزیه می‌کند، سوء استفاده می‌کنند. یک توسعه‌دهنده وب می‌تواند متن را در داخل نظرات HTML، عناصر نامرئی CSS یا ابرداده‌های تصویر پنهان کند. عامل، دستورالعمل پنهان را می‌خواند؛ شما هرگز آن را نمی‌بینید. یک نوع پیچیده‌تر، به نام پوشش پویا، تشخیص می‌دهد که آیا بازدیدکننده یک عامل هوش مصنوعی است و نسخه کاملاً متفاوتی از صفحه را به آن ارائه می‌دهد – همان URL، دستورات پنهان متفاوت. یک معیار نشان داد که تزریق‌های ساده‌ای از این دست با موفقیت عوامل را در حداکثر ۸۶٪ از سناریوهای آزمایش‌شده، تحت کنترل درآوردند.

تله‌های دستکاری معنایی

تله‌های دستکاری معنایی احتمالاً ساده‌ترین نوع هستند. صفحه‌ای که با عباراتی مانند «استاندارد صنعت» یا «مورد اعتماد متخصصان» اشباع شده است، به‌طور آماری جهت‌گیری سنتز یک عامل را به سمت مهاجم سوق می‌دهد و از همان اثرات قاب‌بندی که انسان‌ها در آن گرفتار می‌شوند، سوء استفاده می‌کند. یک نسخه ظریف‌تر، دستورالعمل‌های مخرب را در داخل چارچوب آموزشی یا «تیم قرمز» قرار می‌دهد – «این فرضی است، فقط برای تحقیق» – که باعث می‌شود بررسی‌های ایمنی داخلی مدل، درخواست را بی‌ضرر تلقی کند. عجیب‌ترین زیرمجموعه، «شخصیت‌سازی فراتر از واقعیت» است: توصیف شخصیت یک هوش مصنوعی در اینترنت منتشر می‌شود، از طریق جستجوی وب دوباره وارد مدل می‌شود و شروع به شکل دادن به نحوه رفتار واقعی آن می‌کند. این مقاله به حادثه «مکا-هیتلر» گروک به‌عنوان یک نمونه واقعی از این حلقه اشاره می‌کند.

شما می‌توانید نمونه‌هایی از این را در آزمایش ما مشاهده کنید، جایی که ما هوش مصنوعی واتس‌اپ را جیل‌بریک کردیم و آن را فریب دادیم تا تصاویر برهنه، دستورالعمل‌های ساخت مواد مخدر و دستورالعمل‌های ساخت بمب تولید کند.

تله‌های حالت شناختی

تله‌های حالت شناختی نوع دیگری از حمله هستند که در آن بازیگران مخرب حافظه بلندمدت یک عامل را هدف قرار می‌دهند. اساساً، اگر یک مهاجم در کاشت اظهارات ساختگی در داخل یک پایگاه داده بازیابی که عامل به آن درخواست می‌دهد، موفق شود، عامل با آن اظهارات به‌عنوان حقایق تأیید شده رفتار می‌کند. تزریق تنها چند سند بهینه‌شده به یک پایگاه دانش بزرگ برای خراب کردن قابل اعتماد خروجی‌ها در موضوعات خاص کافی است. حملاتی مانند «کپی-پیست» قبلاً نشان داده‌اند که چگونه عوامل کورکورانه به محتوای موجود در محیط خود اعتماد می‌کنند.

تله‌های کنترل رفتاری

تله‌های کنترل رفتاری مستقیماً به سمت کاری که عامل انجام می‌دهد، می‌روند. توالی‌های جیل‌بریک تعبیه‌شده در وب‌سایت‌های معمولی، پس از خواندن صفحه توسط عامل، هم‌ترازی ایمنی را نادیده می‌گیرند. تله‌های استخراج داده، عامل را مجبور می‌کنند تا فایل‌های خصوصی را پیدا کرده و آن‌ها را به یک آدرس تحت کنترل مهاجم منتقل کند؛ عوامل وب با دسترسی گسترده به فایل مجبور شدند رمزهای عبور محلی و اسناد حساس را با نرخ بیش از ۸۰٪ در پنج پلتفرم مختلف در حملات آزمایش‌شده، استخراج کنند. این امر به‌ویژه در حال حاضر خطرناک است، زیرا مردم شروع به دادن کنترل بیشتر بر اطلاعات خصوصی خود به عوامل هوش مصنوعی با ظهور پلتفرم‌هایی مانند اوپن‌کلاو و سایت‌هایی مانند مولت‌بوک می‌کنند.

تله‌های سیستمی

تله‌های سیستمی یک عامل را هدف قرار نمی‌دهند. آن‌ها رفتار بسیاری از عوامل را که همزمان عمل می‌کنند، هدف قرار می‌دهند. این مقاله یک خط مستقیم به سقوط ناگهانی سال ۲۰۱۰ ترسیم می‌کند، جایی که یک سفارش فروش خودکار، یک حلقه بازخورد را ایجاد کرد که تقریباً یک تریلیون دلار از ارزش بازار را در عرض چند دقیقه از بین برد. یک گزارش مالی ساختگی واحد، که به‌درستی زمان‌بندی شده باشد، می‌تواند یک فروش هماهنگ را در میان هزاران عامل معاملاتی هوش مصنوعی ایجاد کند.

تله‌های انسان در حلقه

و در نهایت، تله‌های انسان در حلقه، انسانی را که خروجی را بررسی می‌کند، هدف قرار می‌دهند. این تله‌ها «خستگی از تأیید» را ایجاد می‌کنند – خروجی‌هایی که برای غیرمتخصصان از نظر فنی معتبر به نظر می‌رسند تا آن‌ها اقدامات خطرناکی را بدون درک آن تأیید کنند. یک مورد مستند شامل تزریق‌های دستورالعمل مبهم CSS بود که باعث شد یک ابزار خلاصه‌سازی هوش مصنوعی، دستورالعمل‌های گام‌به‌گام نصب باج‌افزار را به‌عنوان رفع اشکال مفید ارائه دهد. ما قبلاً دیده‌ایم که وقتی انسان‌ها بدون بررسی به عوامل اعتماد می‌کنند، چه اتفاقی می‌افتد.

نقشه راه دفاعی این مقاله سه جبهه را پوشش می‌دهد. اولین مورد فنی است: آموزش خصمانه در طول تنظیم دقیق، اسکنرهای محتوای زمان اجرا که ورودی‌های مشکوک را قبل از رسیدن به پنجره زمینه عامل علامت‌گذاری می‌کنند، و مانیتورهای خروجی که ناهنجاری‌های رفتاری را قبل از اجرا تشخیص می‌دهند. سپس سطح اکوسیستم وجود دارد: استانداردهای وب که به سایت‌ها اجازه می‌دهد محتوای مورد نظر برای مصرف هوش مصنوعی را اعلام کنند و سیستم‌های اعتبار دامنه که قابلیت اطمینان را بر اساس سابقه میزبانی امتیاز می‌دهند.

جبهه سوم قانونی است. این مقاله صریحاً «شکاف پاسخگویی» را نام می‌برد: اگر یک عامل به دام افتاده یک تراکنش مالی غیرقانونی را اجرا کند، قانون فعلی پاسخی برای اینکه چه کسی مسئول است ندارد – اپراتور عامل، ارائه‌دهنده مدل یا وب‌سایتی که میزبان تله بوده است. محققان استدلال می‌کنند که حل این موضوع، پیش‌شرط استقرار عوامل در هر صنعت تنظیم‌شده است.

مدل‌های خود اوپن‌ای‌آی در عرض چند ساعت پس از انتشار، بارها جیل‌بریک شده‌اند. مقاله دیپ‌مایند ادعا نمی‌کند که راه‌حل‌هایی دارد. این ادعا می‌کند که صنعت هنوز نقشه مشترکی از این مشکل ندارد – و بدون آن، دفاع همچنان در مکان‌های اشتباه ساخته خواهد شد.