‏هوش مصنوعی هنوز هم نمی‌تواند مهندس شیفت را شکست دهد: چرا؟

رقابت هوش مصنوعی و مهندسان در تشخیص مشکلات سیستمی

شرکت‌های فعال در حوزه هوش مصنوعی همچنان در حال ارائه راه‌حل‌هایی برای جایگزینی مهندسان با عوامل خودکار مهندسی قابلیت اطمینان سایت (SRE) هستند؛ یعنی هوش مصنوعی که به جای انسان، حوادث تولید را بررسی می‌کند.

اما، Datadog یک معیار واقعی را بر روی قطعی‌های واقعی اجرا کرد و نشان داد که بهترین مدل‌های هوش مصنوعی هنوز نمی‌توانند مهندسانی را که قرار است جایگزین آن‌ها شوند، شکست دهند.

ARFBench: آزمونی برای هوش مصنوعی

این معیار، ARFBench (معیار چارچوب استدلال ناهنجاری) نام دارد که یک پروژه مشترک از Datadog و Carnegie Mellon است. این معیار از 63 حادثه تولید واقعی که از طریق مکالمات مهندسان در Slack در طول شرایط اضطراری زنده استخراج شده، ساخته شده است. این آزمون شامل 750 سوال چند گزینه‌ای است که 142 معیار نظارتی و 5.38 میلیون نقطه داده را پوشش می‌دهد و هر سوال به صورت دستی تأیید شده است. این آزمون هیچ داده مصنوعی یا سناریوهای کتاب درسی را شامل نمی‌شود.

محققان می‌نویسند: «سالانه تریلیون‌ها دلار به دلیل قطعی سیستم‌ها از دست می‌رود». این معیار بررسی می‌کند که آیا هوش مصنوعی واقعاً می‌تواند به تغییر این وضعیت کمک کند یا خیر.

در این مقاله آمده است: «با وجود نقش محوری چنین تحلیل‌های مبتنی بر سوال در پاسخ به حوادث، هنوز مشخص نیست که آیا مدل‌های بنیادین مدرن می‌توانند به طور قابل اعتمادی به انواع سوالات سری زمانی که مهندسان در عمل می‌پرسند، پاسخ دهند».

سوالات در سه سطح ارائه می‌شوند. سطح I: آیا یک ناهنجاری در این نمودار وجود دارد؟ سطح II: چه زمانی شروع شد، چقدر شدید است، چه نوعی است؟

سطح III – که سخت‌ترین سطح است – به استدلال بین معیاری نیاز دارد: آیا این نمودار باعث ایجاد مشکل در نمودار دیگر می‌شود؟ اینجاست که هوش مصنوعی شکست می‌خورد. GPT-5 تنها 47.5٪ F1 را در سوالات سطح III کسب می‌کند، معیاری که مدل‌ها را به دلیل تقلب در پاسخ‌ها با انتخاب رایج‌ترین کلاس، جریمه می‌کند.

محققان می‌نویسند: «با وجود نقش محوری چنین تحلیل‌های مبتنی بر سوال در پاسخ به حوادث، هنوز مشخص نیست که آیا مدل‌های بنیادین مدرن می‌توانند به طور قابل اعتمادی به انواع سوالات سری زمانی که مهندسان در عمل می‌پرسند، پاسخ دهند».

نتایج آزمون

GPT-5 با 62.7٪ دقت، در میان تمام مدل‌های موجود پیشتاز بود – در آزمونی که در آن حدس زدن تصادفی 24.5٪ نتیجه داشت. Gemini 3 Pro امتیاز 58.1٪ را کسب کرد. Claude Opus 4.6: 54.8٪. Claude Sonnet 4.5: 47.2٪.

متخصصان حوزه 72.7٪ دقت داشتند. کارشناسان غیرحرفه‌ای – محققان سری زمانی در Datadog که تجربه گسترده‌ای در زمینه مشاهده‌پذیری نداشتند – همچنان 69.7٪ را به دست آوردند.

هیچ مدل هوش مصنوعی نتوانست از هر دو خط پایه انسانی پیشی بگیرد.

مدلی که در واقع در صدر جدول قرار گرفت، مدل ترکیبی خود Datadog بود: Toto – مدل پیش‌بینی سری زمانی داخلی آن‌ها – همراه با Qwen3-VL 32B. Toto-1.0-QA-Experimental با 63.9٪ دقت، از GPT-5 پیشی گرفت و در عین حال از بخش کوچکی از پارامترهای آن استفاده کرد. به طور خاص در شناسایی ناهنجاری، این مدل با حداقل 8.8 درصد در F1 از هر مدل دیگری بهتر عمل کرد.

نتیجه مورد انتظار این است که یک مدل تخصصی که برای یک حوزه خاص طراحی شده و بر روی داده‌های مشاهده‌پذیری آموزش داده شده است، در این کار خاص از یک سیستم عمومی پیشرفته بهتر عمل کند. این نکته اصلی است.

همکاری انسان و هوش مصنوعی

مهم‌ترین یافته این نیست که کدام مدل بالاترین امتیاز را کسب کرد.

محققان می‌نویسند: «ما پروفایل‌های خطای بسیار متفاوتی را بین مدل‌های پیشرو و کارشناسان انسانی مشاهده می‌کنیم، که نشان می‌دهد نقاط قوت آن‌ها مکمل یکدیگر هستند». مدل‌ها دچار توهم می‌شوند، ابرداده‌ها را از دست می‌دهند و زمینه حوزه را از دست می‌دهند. انسان‌ها برچسب‌های زمانی دقیق را اشتباه می‌خوانند و گاهی در دستورالعمل‌های پیچیده شکست می‌خورند. اشتباهات به ندرت همپوشانی دارند.

یک «Model-Expert Oracle» نظری – یک قاضی کامل که همیشه پاسخ صحیح را بین هوش مصنوعی و انسان انتخاب می‌کند – را در نظر بگیرید و 87.2٪ دقت و 82.8٪ F1 به دست می‌آورید. بسیار بالاتر از هر کدام به تنهایی.

این یک محصول نیست. این یک هدف مستند – ساخته شده از شرایط اضطراری واقعی، نه مجموعه‌داده‌های تنظیم‌شده – است که دقیقاً نشان می‌دهد همکاری انسان و هوش مصنوعی چقدر می‌تواند بهتر عمل کند. جدول رده‌بندی در Hugging Face در دسترس است. GPT-5 در 62.7٪ قرار دارد. سقف 87.2٪ است.