‏هوش مصنوعی‌های برتر هنوز در ریاضی مشکل دارند.

‏هوش مصنوعی عمومی، یا AGI، اغلب به عنوان سیستمی توصیف می‌شود که می‌تواند در حوزه‌های مختلف به روشی مشابه انسان‌ها عمل کند. نتایج منتشر شده این هفته از آزمون معیار MATHVISTA نشان می‌دهد که مدل‌های فعلی هنوز از رسیدن به این هدف فاصله دارند.

بررسی توانایی‌های هوش مصنوعی

پژوهشگرانی از مایکروسافت ریسرچ، صحرا ای‌آی و دانشگاه اموری، توانایی‌های اساسی هوش عمومی، یعنی استدلال ریاضی مبتنی بر اطلاعات بصری، از جمله نمودارها، گراف‌ها و دیاگرام‌ها را مورد آزمایش قرار دادند.

در میان ۱۲ مدل پایه آزمایش شده، از جمله ChatGPT، Gemini و Claude، GPT-4 Vision با کسب ۴۹.۹ درصد بالاترین امتیاز را به دست آورد. شرکت‌کنندگان انسانی به طور متوسط ۶۰.۳ درصد کسب کردند که این امر شکاف بین سیستم‌های هوش مصنوعی فعلی و توانایی استدلال گسترده‌تر که اغلب با AGI مرتبط است را برجسته می‌کند.

هاو چنگ، پژوهشگر اصلی در مایکروسافت ریسرچ، به دکریپت گفت: «ما می‌خواهیم ماشین کارهایی را انجام دهد که یک فرد عادی و متوسط می‌تواند برای کارهای روزمره خود انجام دهد. این اساساً همان چیزی است که همه به دنبال آن برای AGI هستند.»

با قرار دادن مسائل در تصاویر، دیاگرام‌ها و نمودارها، این پروژه آزمایش می‌کند که آیا مدل‌ها می‌توانند اطلاعات بصری را به درستی تفسیر کرده و مسائل ریاضی و منطقی چند مرحله‌ای را حل کنند – مهارت‌هایی که فراتر از تطبیق الگو در متن به تنهایی است.

چالش‌های پیش رو

مدل‌ها هنوز در انجام این وظایف مشکل دارند و اندازه‌گیری این محدودیت دشوار است.

هنگامی که تیم چنگ مجموعه‌های داده ارزیابی موجود را بررسی کرد، بسیاری از آن‌ها شامل مسائلی بودند که نیازی به استدلال بصری نداشتند. مدل‌ها اغلب با تکیه صرف بر متن به پاسخ‌های صحیح می‌رسیدند.

چنگ گفت: «این ایده‌آل نیست.»

MathVista که در گیت‌هاب و هاگینگ فیس در دسترس است، در اکتبر ۲۰۲۳ راه‌اندازی شد. به گفته مایکروسافت ریسرچ، از آن زمان تاکنون بیش از ۲۷۵۰۰۰ بار دانلود شده است، که شامل بیش از ۱۳۰۰۰ دانلود در ماه گذشته می‌شود.

با این حال، ایجاد این مجموعه داده نیازمند بیش از برچسب‌گذاری داده‌های استاندارد بود. مایکروسافت ریسرچ به مفسرانی نیاز داشت که بتوانند مسائل را در سراسر حساب، جبر، هندسه و آمار بررسی کنند، در حالی که استدلال ریاضی عمیق‌تر، مانند تفسیر نمودارها یا حل معادلات، را از وظایف ساده‌تر مانند شمارش اشیاء یا خواندن اعداد متمایز کنند.

پس از یک فاز آزمایشی، مایکروسافت، صحرا ای‌آی را برای پشتیبانی از این تلاش انتخاب کرد. این شرکت مفسران آموزش‌دیده، گردش‌های کاری سفارشی و بررسی‌های کیفیت چند مرحله‌ای را برای تولید بیش از ۶۰۰۰ نمونه چندوجهی مورد استفاده در این معیار ارائه کرد.

اهمیت معیارهای قابل اعتماد

به گفته شان رن، مدیرعامل صحرا ای‌آی و دانشیار علوم کامپیوتر در دانشگاه کالیفرنیای جنوبی، بدون معیارهای قابل اعتماد، اندازه‌گیری پیشرفت به سمت هوش ماشینی گسترده‌تر دشوار می‌شود.

رن به دکریپت گفت: «این ظرافت آلودگی داده‌ها وجود دارد، جایی که وقتی شروع به استفاده از این مجموعه داده برای آزمایش می‌کنیم، آن نتایج در نسخه بعدی جذب می‌شوند. بنابراین شما واقعاً نمی‌دانید که آیا آن‌ها فقط یک مجموعه داده را حل می‌کنند یا توانایی آن را دارند.»

اگر پاسخ‌های معیار در داده‌های آموزشی یک مدل ظاهر شوند، نمرات بالا می‌توانند منعکس‌کننده حفظ کردن باشند تا استدلال. این امر تعیین اینکه آیا سیستم‌های هوش مصنوعی واقعاً در حال بهبود هستند را دشوارتر می‌کند.

پژوهشگران همچنین به محدودیت‌های داده‌های آموزشی اشاره می‌کنند. بخش زیادی از اینترنت که به صورت عمومی در دسترس است، قبلاً در مجموعه‌های داده مدل گنجانده شده است.

چنگ گفت: «شما قطعاً باید راهی برای تزریق برخی از دانش جدید به این فرآیند داشته باشید. من فکر می‌کنم این نوع چیزها باید از داده‌های باکیفیت ناشی شود تا بتوانیم این مرز دانش را بشکنیم.»

راه‌حل‌های پیشنهادی

یک مسیر پیشنهادی شامل محیط‌های شبیه‌سازی‌شده است که در آن مدل‌ها می‌توانند تعامل داشته باشند، از تجربه یاد بگیرند و از طریق بازخورد بهبود یابند.

چنگ گفت: «شما یک دنیای دوقلو یا یک آینه از دنیای واقعی را در داخل یک جعبه شنی ایجاد می‌کنید تا مدل بتواند بازی کند و کارهای زیادی را انجام دهد که انسان‌ها در زندگی واقعی انجام می‌دهند، بنابراین می‌تواند اساساً مرز اینترنت را بشکند.»

رن گفت که انسان‌ها هنوز هم می‌توانند نقش مهمی در بهبود سیستم‌های هوش مصنوعی ایفا کنند. در حالی که مدل‌ها می‌توانند محتوا را به سرعت تولید کنند، انسان‌ها همچنان در ارزیابی آن بهتر هستند.

وی گفت: «این نوع شکاف بین انسان و هوش مصنوعی، جایی که آن‌ها در آن خوب هستند، جایی که خوب نیستند، می‌تواند برای بهبود واقعی هوش مصنوعی در آینده مورد استفاده قرار گیرد.»