‏محققان روشی نو برای مدیریت ریسک مالی در خطای معاملات هوش مصنوعی پیشنهاد کردند.

‏با توجه به این که عوامل هوش مصنوعی شروع به انجام پرداخت‌ها، معاملات مالی و سایر تراکنش‌ها می‌کنند، نگرانی‌ها در مورد خطرات مالی که بر عهده‌ی انسان پشت این عامل قرار می‌گیرد، در صورت شکست این سیستم‌ها، در حال افزایش است. گروهی از محققان استدلال می‌کنند که تکنیک‌های ایمنی هوش مصنوعی فعلی به این خطر نمی‌پردازند و باید تکنیک‌های جدیدی شبیه به بیمه در نظر گرفته شود.

معرفی Agentic Risk Standard

در مقاله‌ای اخیر، محققانی از مایکروسافت، گوگل دیپ‌مایند، دانشگاه کلمبیا و استارتاپ‌های Virtuals Protocol و t54.ai، Agentic Risk Standard را پیشنهاد کردند. این چارچوب در لایه‌ی تسویه حساب طراحی شده است تا در صورت اجرای نادرست یک وظیفه توسط عامل هوش مصنوعی، عدم ارائه خدمات یا ایجاد زیان مالی، به کاربران غرامت پرداخت کند.

در این مقاله آمده است: «محافظت‌های فنی فقط می‌توانند قابلیت اطمینان احتمالی را ارائه دهند، در حالی که کاربران در موقعیت‌های پرخطر اغلب به تضمین‌های قابل اجرا در مورد نتایج نیاز دارند.»

نویسندگان استدلال می‌کنند که بیشتر تحقیقات فعلی هوش مصنوعی بر بهبود رفتار مدل‌ها متمرکز است، از جمله کاهش سوگیری، دشوارتر کردن دستکاری سیستم‌ها و آسان‌تر کردن درک تصمیمات آن‌ها.

آن‌ها نوشتند: «این خطرات اساساً در سطح محصول هستند و نمی‌توان آن‌ها را تنها با محافظت‌های فنی از بین برد، زیرا رفتار عامل ذاتاً تصادفی است. برای رفع این شکاف بین قابلیت اطمینان در سطح مدل و اطمینان خاطر کاربر، ما یک چارچوب مکمل مبتنی بر مدیریت ریسک را پیشنهاد می‌کنیم.»

چگونگی عملکرد سیستم

Agentic Risk Standard، محافظت‌های مالی را به نحوه رسیدگی به کارهای هوش مصنوعی اضافه می‌کند. برای کارهای ساده که کاربر فقط خطر پرداخت هزینه خدمات را دارد، پرداخت در حساب امانی نگهداری می‌شود و تنها پس از تأیید کار، آزاد می‌شود. برای کارهای پرخطرتر که نیاز به آزادسازی پول در ابتدا دارند، مانند معاملات یا تبادل ارز، این سیستم یک متعهد را وارد می‌کند. متعهد، ریسک را ارزیابی می‌کند، از ارائه‌دهنده خدمات می‌خواهد وثیقه بگذارد و در صورت بروز یک شکست پوشش داده شده، به کاربر بازپرداخت می‌کند.

این مقاله خاطرنشان کرد که آسیب‌های غیرمالی مانند توهم، افترا یا آسیب‌های روانی، خارج از این چارچوب باقی می‌مانند.

محققان گفتند که این سیستم با استفاده از یک شبیه‌سازی که 5000 آزمایش را اجرا کرد، آزمایش شده است و افزودند که این آزمایش محدود بوده و برای انعکاس نرخ‌های شکست در دنیای واقعی طراحی نشده است.

در این مطالعه آمده است: «این نتایج، کار آینده را در مورد مدل‌سازی ریسک برای حالت‌های شکست متنوع، اندازه‌گیری تجربی فراوانی شکست در شرایط مشابه استقرار و طراحی برنامه‌های تعهد و وثیقه که تحت خطای تشخیص‌دهنده و رفتار استراتژیک، قوی باقی می‌مانند، توجیه می‌کند.»