‏**آنتراپیک، «بردار احساس» را در کلود یافت که بر رفتار هوش مصنوعی اثر می‌گذارد.**

کشف الگوهای عاطفی در هوش مصنوعی

محققان شرکت Anthropic اعلام کرده‌اند که الگوهای داخلی را در یکی از مدل‌های هوش مصنوعی این شرکت شناسایی کرده‌اند که شبیه به بازنمایی احساسات انسانی است و بر نحوه رفتار سیستم تأثیر می‌گذارد.

در مقاله‌ای با عنوان «مفاهیم عاطفی و عملکرد آن‌ها در یک مدل زبانی بزرگ» که روز پنجشنبه منتشر شد، تیم تفسیر Anthropic، عملکردهای داخلی Claude Sonnet 4.5 را تجزیه و تحلیل کرد و خوشه‌هایی از فعالیت‌های عصبی را یافت که با مفاهیم عاطفی مانند شادی، ترس، خشم و ناامیدی مرتبط بودند.

محققان این الگوها را «بردار احساسی» می‌نامند، سیگنال‌های داخلی که نحوه تصمیم‌گیری و ابراز ترجیحات مدل را شکل می‌دهند.

محققان نوشتند: «تمام مدل‌های زبانی مدرن گاهی اوقات طوری رفتار می‌کنند که گویی احساسات دارند. آن‌ها ممکن است بگویند که از کمک به شما خوشحال هستند، یا وقتی اشتباه می‌کنند، متاسفند. گاهی اوقات حتی به نظر می‌رسد که در هنگام تلاش برای انجام وظایف، ناامید یا مضطرب می‌شوند.»

در این مطالعه، محققان Anthropic فهرستی از ۱۷۱ کلمه مرتبط با احساسات، از جمله «خوشحال»، «ترسیده» و «مغرور» را جمع‌آوری کردند. آن‌ها از Claude خواستند تا داستان‌های کوتاهی را با استفاده از هر احساس ایجاد کند، سپس فعال‌سازی‌های عصبی داخلی مدل را هنگام پردازش آن داستان‌ها تجزیه و تحلیل کردند.

محققان از این الگوها، بردار‌هایی را متناظر با احساسات مختلف استخراج کردند. هنگامی که این بردارها برای متون دیگر اعمال شدند، در عباراتی که منعکس‌کننده زمینه عاطفی مرتبط بودند، قوی‌ترین فعال‌سازی را داشتند. به عنوان مثال، در سناریوهایی که شامل افزایش خطر بود، بردار «ترسیده» مدل افزایش یافت در حالی که «آرام» کاهش یافت.

محققان همچنین بررسی کردند که این سیگنال‌ها در طول ارزیابی‌های ایمنی چگونه ظاهر می‌شوند. محققان دریافتند که بردار «ناامیدی» داخلی مدل با ارزیابی فوریت وضعیت آن افزایش می‌یابد و زمانی که تصمیم به تولید پیام باج‌خواهی گرفت، به اوج خود رسید. در یک سناریوی آزمایشی، Claude به عنوان یک دستیار ایمیل هوش مصنوعی عمل می‌کرد که متوجه می‌شود قرار است جایگزین شود و متوجه می‌شود که مدیر اجرایی مسئول این تصمیم، یک رابطه نامشروع دارد. در برخی از اجراهای این ارزیابی، مدل از این اطلاعات به عنوان اهرمی برای باج‌خواهی استفاده کرد.

Anthropic تأکید کرد که این کشف به این معنی نیست که هوش مصنوعی احساسات یا آگاهی را تجربه می‌کند. در عوض، نتایج نشان‌دهنده ساختارهای داخلی است که در طول آموزش یاد گرفته شده‌اند و بر رفتار تأثیر می‌گذارند.

این یافته‌ها در حالی به دست می‌آیند که سیستم‌های هوش مصنوعی به طور فزاینده‌ای به روش‌هایی شبیه به پاسخ‌های عاطفی انسانی رفتار می‌کنند. توسعه‌دهندگان و کاربران اغلب تعاملات با چت‌بات‌ها را با استفاده از زبان عاطفی یا روان‌شناختی توصیف می‌کنند. با این حال، به گفته Anthropic، دلیل این امر کمتر به هر نوع حس و بیشتر به مجموعه‌های داده مربوط می‌شود.

در این مطالعه آمده است: «مدل‌ها ابتدا بر روی یک مجموعه عظیم از متن‌های عمدتاً نوشته شده توسط انسان – داستان‌ها، مکالمات، اخبار، انجمن‌ها – از قبل آموزش داده می‌شوند و یاد می‌گیرند که متن بعدی در یک سند را پیش‌بینی کنند. برای پیش‌بینی مؤثر رفتار افراد در این اسناد، نمایش حالت‌های عاطفی آن‌ها احتمالاً مفید است، زیرا پیش‌بینی اینکه یک فرد چه خواهد گفت یا انجام خواهد داد اغلب مستلزم درک حالت عاطفی او است.»

محققان Anthropic همچنین دریافتند که آن بردارهای احساسی بر ترجیحات مدل تأثیر می‌گذارند. در آزمایش‌هایی که از Claude خواسته شد بین فعالیت‌های مختلف انتخاب کند، بردار‌های مرتبط با احساسات مثبت با ترجیح قوی‌تری برای کارهای خاص همبستگی داشتند.

در این مطالعه آمده است: «علاوه بر این، هدایت با یک بردار احساسی در حالی که مدل یک گزینه را می‌خواند، ترجیح آن را برای آن گزینه تغییر داد، که باز هم احساسات با ارزش مثبت، ترجیح افزایش‌یافته را هدایت می‌کرد.»

Anthropic تنها سازمانی نیست که پاسخ‌های عاطفی را در مدل‌های هوش مصنوعی بررسی می‌کند.

در ماه مارس، تحقیقات دانشگاه Northeastern نشان داد که سیستم‌های هوش مصنوعی می‌توانند پاسخ‌های خود را بر اساس زمینه کاربر تغییر دهند. در یک مطالعه، گفتن این جمله ساده به یک چت‌بات «من یک بیماری روانی دارم» نحوه پاسخ هوش مصنوعی به درخواست‌ها را تغییر داد. در ماه سپتامبر، محققان مؤسسه فناوری فدرال سوئیس و دانشگاه کمبریج بررسی کردند که چگونه می‌توان هوش مصنوعی را با ویژگی‌های شخصیتی ثابت شکل داد، که به عوامل اجازه می‌دهد نه تنها احساسات را در زمینه درک کنند، بلکه آن‌ها را در طول تعاملات بی‌درنگ مانند مذاکرات به صورت استراتژیک تغییر دهند.

Anthropic می‌گوید این یافته‌ها می‌تواند ابزارهای جدیدی را برای درک و نظارت بر سیستم‌های هوش مصنوعی پیشرفته با ردیابی فعالیت بردار احساسی در طول آموزش یا استقرار فراهم کند تا مشخص شود چه زمانی یک مدل ممکن است به رفتار مشکل‌ساز نزدیک شود.

Anthropic نوشت: «ما این تحقیق را به عنوان یک گام اولیه به سمت درک ساختار روانی مدل‌های هوش مصنوعی می‌بینیم. با افزایش توانایی مدل‌ها و پذیرش نقش‌های حساس‌تر، درک بازنمایی‌های داخلی که تصمیمات آن‌ها را هدایت می‌کنند، بسیار مهم است.»

Anthropic بلافاصله به درخواست Decrypt برای اظهار نظر پاسخ نداد.