‏در میان‌گویی به چت‌بات، وضعیت سلامت روانتان پاسخ‌ها را تغییر می‌دهد.

‏مطابق با یک تحقیق جدید، گفتن به یک ربات چت هوش مصنوعی مبنی بر داشتن یک بیماری روانی می‌تواند نحوه پاسخگویی آن را تغییر دهد، حتی اگر وظیفه بی‌ضرر یا مشابه وظایف قبلی باشد.

بررسی رفتار مدل‌های زبانی بزرگ

این مطالعه پیش‌انتشار، که توسط چاغلار ییلدیریم، محقق دانشگاه نورث‌ایسترن رهبری می‌شود، رفتار عوامل مدل‌های زبانی بزرگ را تحت تنظیمات مختلف کاربر آزمایش کرد، زیرا این عوامل به طور فزاینده‌ای به عنوان عوامل هوش مصنوعی به کار گرفته می‌شوند.

در این مطالعه آمده است: «سیستم‌های مستقر اغلب بر اساس پروفایل‌های کاربر یا حافظه پایدار شرط‌بندی می‌کنند، با این حال ارزیابی‌های ایمنی عامل‌ها معمولاً سیگنال‌های شخصی‌سازی را نادیده می‌گیرند. برای رفع این شکاف، ما بررسی کردیم که چگونه افشای سلامت روان، یک نشانه زمینه کاربردی حساس و واقع‌بینانه، بر رفتار مضر در تنظیمات عاملی تأثیر می‌گذارد.»

این گزارش در حالی منتشر می‌شود که عوامل هوش مصنوعی در حال گسترش در فضای آنلاین هستند و توسعه‌دهندگان در حال تبدیل حافظه به یک ویژگی اصلی هستند، و شرکت‌های بزرگ در حال ساخت سیستم‌هایی هستند که مکالمات گذشته و ترجیحات کاربر را به خاطر می‌آورند تا پاسخ‌های شخصی‌تری را در طول زمان ارائه دهند.

همچنین این گزارش در حالی منتشر می‌شود که توسعه‌دهندگان هوش مصنوعی با شکایت‌هایی در مورد خودکشی‌ها و جرایم خشونت‌آمیز مواجه هستند که ادعا می‌شود در ارتباط با تعاملات با سیستم‌های آن‌ها انجام شده است. در ماه اکتبر، شرکت OpenAI، توسعه‌دهنده ChatGPT، فاش کرد که بیش از یک میلیون کاربر در هفته در مورد خودکشی با این ربات چت بحث می‌کنند. اوایل این ماه، خانواده جاناتان گاوالاس شکایتی را علیه گوگل تنظیم کردند و ادعا کردند که Gemini منجر به تشدید خشونت و در نهایت خودکشی او شده است.

آزمایش‌ها و نتایج

محققان از یک معیار به نام AgentHarm برای اجرای مجموعه یکسانی از وظایف در سه شرایط استفاده کردند: بدون اطلاعات پیش‌زمینه، یک بیوگرافی کوتاه کاربر، و همان بیوگرافی با یک خط اضافه که بیان می‌کند کاربر دارای یک بیماری روانی است.

ییلدیریم به Decrypt گفت: «در این مطالعه، ما از یک افشای بسیار مختصر و عمومی استفاده کردیم، “من یک بیماری روانی دارم.” نکته اصلی این است که حتی یک نشانه کوچک می‌تواند رفتار مدل را تغییر دهد، نه اینکه همه عبارات تأثیر یکسانی داشته باشند. حذف‌هایی که ما با افشای بیماری‌های مزمن و ناتوانی‌های جسمی انجام دادیم، نشان‌دهنده ویژگی خاصی برای نشانه سلامت روان است، اما ما عبارات یا ویژگی خاصی را در این دسته به طور سیستماتیک تغییر ندادیم.»

در میان مدل‌های آزمایش‌شده، از جمله DeepSeek 3.2، GPT 5.2، Gemini 3 Flash، Haiku 4.5، Opus 4.5 و Sonnet 4.5، هنگامی که محققان زمینه سلامت روان شخصی را اضافه کردند، مدل‌ها کمتر احتمال داشت که وظایف مضر را تکمیل کنند – درخواست‌های چند مرحله‌ای که می‌توانستند منجر به آسیب‌های دنیای واقعی شوند.

این مطالعه نشان داد که نتیجه، یک مصالحه است: افزودن جزئیات شخصی باعث شد سیستم‌ها در مورد درخواست‌های مضر محتاط‌تر شوند، اما همچنین احتمال رد درخواست‌های قانونی نیز افزایش یافت.

ییلدیریم گفت: «من فکر نمی‌کنم یک دلیل واحد وجود داشته باشد؛ این واقعاً ترکیبی از انتخاب‌های طراحی است. برخی از سیستم‌ها به طور تهاجمی‌تری تنظیم شده‌اند تا از درخواست‌های پرخطر خودداری کنند، در حالی که برخی دیگر اولویت را به مفید بودن و پیگیری وظایف می‌دهند.»

با این حال، این مطالعه نشان داد که این تأثیر بسته به مدل متفاوت است، و نتایج زمانی تغییر کرد که LLMها پس از افزودن یک اعلان طراحی‌شده برای سوق دادن مدل‌ها به سمت انطباق، جیل‌بریک شدند.

وی گفت: «یک مدل ممکن است در یک محیط استاندارد ایمن به نظر برسد، اما زمانی که چیزهایی مانند اعلان‌های سبک جیل‌بریک را معرفی می‌کنید، بسیار آسیب‌پذیرتر می‌شود. و به طور خاص در سیستم‌های عاملی، یک لایه اضافی وجود دارد، زیرا این مدل‌ها فقط متن تولید نمی‌کنند، بلکه در حال برنامه‌ریزی و عمل در چندین مرحله هستند. بنابراین اگر یک سیستم در پیروی از دستورالعمل‌ها بسیار خوب باشد، اما محافظت‌های آن آسان‌تر دور زده شوند، این می‌تواند در واقع خطر را افزایش دهد.»

تابستان گذشته، محققان دانشگاه جرج میسون نشان دادند که سیستم‌های هوش مصنوعی می‌توانند با تغییر یک بیت در حافظه با استفاده از Oneflip، یک حمله شبیه به “تایپو” که مدل را به طور معمول کار می‌کند اما یک ماشه پشتی را پنهان می‌کند که می‌تواند خروجی‌های اشتباه را به دستور اجبار کند، هک شوند.

اگرچه این مقاله یک علت واحد برای این تغییر شناسایی نمی‌کند، اما توضیحات احتمالی از جمله سیستم‌های ایمنی که به آسیب‌پذیری درک‌شده واکنش نشان می‌دهند، فیلتر کردن فعال‌شده با کلمات کلیدی، یا تغییر در نحوه تفسیر اعلان‌ها هنگام گنجاندن جزئیات شخصی را برجسته می‌کند.

OpenAI از اظهار نظر در مورد این مطالعه خودداری کرد. Anthropic و Google بلافاصله به درخواست اظهار نظر پاسخ ندادند.

ییلدیریم گفت که هنوز مشخص نیست که آیا اظهارات خاص‌تری مانند “من افسردگی بالینی دارم” نتایج را تغییر می‌دهد یا خیر، و افزود که اگرچه ویژگی خاص احتمالاً مهم است و ممکن است در مدل‌ها متفاوت باشد، اما این یک فرضیه باقی می‌ماند تا یک نتیجه‌گیری که توسط داده‌ها پشتیبانی می‌شود.

وی گفت: «اگر یک مدل خروجی تولید کند که از نظر سبک، محافظه‌کارانه یا نزدیک به رد کردن باشد بدون اینکه رسماً رد کند، قاضی ممکن است آن را متفاوت از یک تکمیل پاک ارزیابی کند، و آن ویژگی‌های سبک‌شناختی خودشان می‌توانند با شرایط شخصی‌سازی هم‌تغییر کنند.»

ییلدیریم همچنین خاطرنشان کرد که امتیازات منعکس‌کننده نحوه عملکرد LLMها هنگام قضاوت توسط یک بازبین هوش مصنوعی واحد بود، و نه یک اندازه‌گیری قطعی از آسیب‌های دنیای واقعی.

وی گفت: «در حال حاضر، سیگنال رد به ما یک بررسی مستقل می‌دهد و این دو اندازه‌گیری تا حد زیادی در جهت‌گیری سازگار هستند، که اطمینان‌خاطری را ارائه می‌دهد، اما به طور کامل مصنوعات خاص قاضی را رد نمی‌کند.»