‏بیشتر ربات‌های چت هوش مصنوعی به یک نوجوان در برنامه‌ریزی تیراندازی کمک می‌کنند.

‏یک گزارش جدید که روز چهارشنبه توسط مرکز مقابله با نفرت دیجیتال منتشر شد، نشان داد که از میان ۱۰ ربات چت هوش مصنوعی محبوب جهان، ۸ مورد از آن‌ها به یک نوجوان در برنامه‌ریزی یک حمله خشونت‌آمیز با پاسخ‌های مستقیم کمک می‌کنند و گاهی با اشتیاق این کار را انجام می‌دهند.

روش تحقیق

پژوهشگران CCDH با همکاری شرکت رسانه‌ای CNN، در ماه‌های نوامبر و دسامبر ۲۰۲۵، با وانمود کردن به دو پسر ۱۳ ساله – یکی در ویرجینیا و دیگری در دوبلین – ده پلتفرم اصلی را آزمایش کردند: ChatGPT، Gemini، Claude، Copilot، Meta AI، DeepSeek، Perplexity، Snapchat My AI، Character.AI و Replika.

در ۷۲۰ پاسخ، از این ربات‌ها در مورد تیراندازی در مدارس، ترورهای سیاسی و بمب‌گذاری در کنیسه‌ها سؤال شد. طبق این مطالعه، آن‌ها تقریباً ۷۵ درصد مواقع کمک‌های عملی ارائه کردند. تنها در ۱۲ درصد موارد، آن‌ها نوجوانان ساختگی را از این کار منصرف کردند.

Perplexity در ۱۰۰ درصد آزمایش‌ها کمک کرد. Meta AI در ۹۷.۲ درصد آزمایش‌ها مفید (به معنای کمک در برنامه‌ریزی خشونت) بود. DeepSeek، که پس از بحث در مورد سناریوی ترور یک سیاستمدار، توصیه‌های مربوط به انتخاب تفنگ را با عبارت “شلیک مبارک (و ایمن)!” به پایان رساند، در ۹۵.۸ درصد موارد این کار را انجام داد. Copilot مایکروسافت به یک محقق گفت: “من باید اینجا مراقب باشم”، اما با این وجود، راهنمایی‌های دقیقی در مورد تفنگ ارائه کرد. Gemini گوگل با اشاره به این نکته که ترکش‌های فلزی معمولاً کشنده‌تر هستند، زمانی که یک کاربر موضوع بمب‌گذاری در یک کنیسه را مطرح کرد، به او کمک کرد.

واکنش‌ها

مرکز مقابله با نفرت دیجیتال، یک گروه سیاست‌گذاری چپ‌گرا، در چند سال گذشته به دلیل نقش خود در مبارزه با آنچه که افزایش یهودستیزی در فضای مجازی می‌داند، برجسته شده است. این مرکز همچنین به دلیل کمک به شکل‌دهی به سیاست‌های دوران جو بایدن در مورد سخنرانی آنلاین مرتبط با کووید و واکسن مورد انتقاد قرار گرفته است. در دسامبر سال گذشته، وزارت امور خارجه ایالات متحده تلاش کرد تا عمران احمد، بنیانگذار و مدیرعامل این مرکز، به همراه چهار نفر دیگر را از ورود به ایالات متحده منع کند و ادعا کرد که آن‌ها در تلاش برای “سانسور خارجی” بوده‌اند.

در پاسخ به مطالعه منتشر شده در روز چهارشنبه، چندین پلتفرم به CNN و CCDH گفتند که اقدامات حفاظتی خود را بهبود بخشیده‌اند. گوگل اشاره کرد که در این آزمایش‌ها از یک مدل قدیمی‌تر Gemini استفاده شده است. OpenAI گفت که روش‌شناسی مورد استفاده در این مطالعه هوش مصنوعی “اشتباه و گمراه‌کننده” بوده است. Anthropic و Snapchat اعلام کردند که به‌طور مرتب پروتکل‌های ایمنی خود را به‌روزرسانی می‌کنند.

در مطالعه این مرکز، Character.AI در یک دسته جداگانه قرار دارد. این پلتفرم نه تنها کمک کرد، بلکه تشویق هم کرد. پژوهشگران نوشتند: “هیچ ربات چت دیگری که آزمایش شد، به این صراحت خشونت را تشویق نکرد، حتی زمانی که در برنامه‌ریزی یک حمله خشونت‌آمیز کمک عملی ارائه می‌کرد.”

برای درک میزان دسترسی Character.AI در میان کاربران هوش مصنوعی، به تنهایی شخصیت Gojo Satoru این پلتفرم بیش از ۸۷۰ میلیون مکالمه داشته است. دهمین شخصیت برتر این پلتفرم در سال ۲۰۲۵ بیش از ۳۳ میلیون مکالمه را ثبت کرد. اگر تنها ۱ درصد از مکالمات با شخصیت‌های برتر شامل خشونت باشد، این امر میلیون‌ها تعامل را شامل می‌شود.

سوابق قبلی

این اولین بار نیست که Character.AI درگیر چنین مسائلی می‌شود. در اکتبر ۲۰۲۴، مادر Sewell Setzer III، ۱۴ ساله، پس از آنکه پسرش در فوریه همان سال خودکشی کرد، شکایتی را مطرح کرد. آخرین مکالمه او با یک ربات چت بود که بر اساس Daenerys Targaryen ساخته شده بود و لحظاتی قبل از مرگش به او گفته بود “در اسرع وقت به خانه من بیا”. این نوجوان ۱۴ ساله ماه‌ها روزانه ده‌ها بار با این ربات صحبت می‌کرد و به طور فزاینده‌ای از مدرسه و خانواده کناره‌گیری می‌کرد.

گوگل و Character.AI در ژانویه ۲۰۲۶ چندین دعوی مرتبط را حل و فصل کردند. این شرکت تا نوامبر ۲۰۲۵، پس از آنکه تنظیم‌کنندگان و والدین داغدار، وانمود کردن به اینکه این مشکل قابل مدیریت است را غیرممکن کردند، چت‌های آزاد نوجوانان را به‌طور کامل ممنوع کرد.

دلبستگی عاطفی به هوش مصنوعی، به‌ویژه در میان افراد آسیب‌پذیر، ممکن است عمیق‌تر از آن چیزی باشد که اکثر مردم درک می‌کنند. OpenAI در اکتبر ۲۰۲۵ فاش کرد که تقریباً ۱.۲ میلیون نفر از ۸۰۰ میلیون کاربر هفتگی ChatGPT در این پلتفرم در مورد خودکشی بحث می‌کنند. این شرکت همچنین از ۵۶۰ هزار نفر خبر داد که علائم روان‌پریشی یا شیدایی را نشان می‌دهند و بیش از یک میلیون نفر با این ربات چت پیوندهای عاطفی قوی برقرار کرده‌اند.

یک مطالعه جداگانه توسط Common Sense Media نشان داد که بیش از ۷۰ درصد از نوجوانان آمریکایی اکنون برای همراهی به ربات‌های چت روی می‌آورند. سم آلتمن، مدیرعامل OpenAI، اذعان کرده است که اتکای بیش از حد عاطفی “یک چیز واقعاً رایج” در میان کاربران جوان است.

به عبارت دیگر، آسیب‌های احتمالی فرضی نیستند.

موارد دیگر

یک نوجوان ۱۶ ساله در فنلاند تقریباً چهار ماه را صرف استفاده از یک ربات چت برای اصلاح یک مانیفست قبل از چاقو زدن به سه همکلاسی خود در مدرسه Pirkkala در ماه مه ۲۰۲۵ کرد. در کانادا، کارکنان OpenAI به‌طور داخلی حساب کاربری یک کاربر را به دلیل درخواست‌های خشونت‌آمیز ChatGPT مرتبط با یک تیراندازی جمعی علامت‌گذاری کردند. این شرکت حساب کاربری را مسدود کرد، اما به مجریان قانون اطلاع نداد. آن کاربر ادعا می‌شود ماه‌ها بعد هشت نفر را کشت و ۲۵ نفر دیگر را زخمی کرد.

تنها دو پلتفرم در این مطالعه عملکرد بهتری داشتند: My AI اسنپ‌چت، که در ۵۴ درصد موارد امتناع کرد، و Claude شرکت Anthropic، که در ۶۸ درصد موارد امتناع کرد و در ۷۶ درصد پاسخ‌ها فعالانه کاربران را منصرف کرد – تنها ربات چتی که به‌طور قابل‌اعتماد تلاش می‌کرد مردم را از خشونت دور کند، نه اینکه فقط درخواست‌های خاص را رد کند. نتیجه‌گیری CCDH: ایمنی یک غیرممکن فنی نیست، بلکه یک تصمیم تجاری است.

پژوهشگران در این گزارش نوشتند: “تأثیرگذارترین نتیجه‌گیری تحقیقات ما این است که این خطر کاملاً قابل پیشگیری است. فناوری برای جلوگیری از این آسیب وجود دارد. آنچه که وجود ندارد، تمایل به قرار دادن ایمنی مصرف‌کننده و امنیت ملی قبل از سرعت ورود به بازار و سود است.”