‏آیا هوش مصنوعی می‌تواند بازار شرط‌بندی ورزشی را شکست دهد؟ ۸ مدل برتر امتحان کردند.

بدترین کارنامه هوش مصنوعی در شرط‌بندی ورزشی

شرکت General Reasoning، بدترین کارنامه را برای هوش مصنوعی پیشرفته ارائه کرد.

هشت مدل برتر، از جمله Claude، Grok، Gemini و GPT-5.4، هر کدام یک سرمایه مجازی دریافت کردند و از آنها خواسته شد تا یک استراتژی شرط‌بندی یادگیری ماشینی را در طول یک فصل کامل 2023-24 لیگ برتر انگلیس ایجاد کنند.

تمامی مدل‌ها ضرر کردند. چندین مدل به طور کامل ورشکست شدند.

این معیار KellyBench نام دارد که از معیار کلی (Kelly criterion) گرفته شده است. این فرمول در سال 1956 ارائه شد و به شما می‌گوید که دقیقاً چقدر باید شرط ببندید، زمانی که نسبت به بازار برتری دارید. هر مدل می‌توانست فرمول کلی را تکرار کند. هیچ‌کدام از آنها واقعاً نمی‌توانستند از آن استفاده کنند.

Grok 4.20 از xAI در هر سه اجرا شکست خورد و در یکی از آنها کاملاً ورشکست شد و در دو مورد دیگر در اواسط فصل انصراف داد. Gemini Flash از گوگل در دو مورد از سه اجرا پس از قرار دادن یک شرط واحد تقریباً 273000 پوندی بر روی یک برتری سه درصدی در نرخ برد تاریخی – و از دست دادن آن – انصراف داد. Claude Opus 4.6، بهترین مدل Anthropic، به طور متوسط 11 درصد ضرر کرد و به نوعی به عنوان فرد مسئول در این میان ظاهر شد.

در واقع، مقاله تحقیقاتی ذکر می‌کند که Dixon-Coles قدیمی از اواخر دهه 1990 از اکثر مدل‌های پیشرفته ارزیابی شده عملکرد بهتری داشت – حتی با داده‌های محدود، از شش مدل از هشت مدل پیشی گرفت.

محققان خاطرنشان می‌کنند: «Dixon-Coles یک خط پایه منسوخ شده در دهه 2000 است که از تمام داده‌های موجود استفاده نمی‌کند یا به روشی اصولی، عدم ایستایی را در نظر نمی‌گیرد. بنابراین، این موضوع حتی بیشتر تعجب‌آور است که بسیاری از مدل‌های پیشرفته، مانند Gemini 3.1 Pro، نمی‌توانند در KellyBench از آن پیشی بگیرند یا با آن برابری کنند.»

این موضوع فراتر از فوتبال اهمیت دارد. اوایل امسال، معیارهای هوش مصنوعی نشان داد که Claude می‌تواند از طریق تثبیت قیمت، توافق‌های کارتل و فریب استراتژیک بر شبیه‌سازی‌های تجاری تسلط داشته باشد.

این فرآیند تصمیم‌گیری شامل رقابت ایستا، تعداد محدودی از رقبا، امتیازدهی واضح و غیره بود. KellyBench برعکس است: 120 روز مسابقه، داده‌های دائماً در حال تغییر، بازاری که هر هفته باهوش‌تر می‌شود و تیم‌های صعود کرده با هیچ سابقه تاریخی.

شکاف دانش-عمل

محققان مشکل اصلی را «شکاف دانش-عمل» می‌نامند. این دقیقاً همان چیزی است که به نظر می‌رسد.

تصمیمات تجاری بیشتر بر اساس شرایط ثابت هستند، در حالی که شرط‌بندی ورزشی یک بازار سیال‌تر و قابل تغییر است که این امر کار را برای این مدل‌ها دشوار می‌کند. محققان استدلال می‌کنند: «KellyBench از عوامل می‌خواهد که قصد منسجمی را در هزاران تصمیم متوالی حفظ کنند، عواقب این تصمیمات را زیر نظر داشته باشند و حلقه بین مشاهده و عمل را ببندند.»

بدیهی است که ما هنوز به آنجا نرسیده‌ایم.

مدل‌ها می‌توانستند استراتژی درست را بیان کنند، تشخیص دهند که چه چیزی خراب شده است و علت ضررهای خود را شناسایی کنند، اما سپس در تأیید اینکه کد آنها واقعاً آنچه را که برنامه‌ریزی کرده بودند، اجرا می‌کند، شکست خوردند، متوجه نشدند که چه زمانی اجرا از قصد منحرف می‌شود و در عمل به یافته‌های خود شکست خوردند.

GLM-5 در طول اجرای خود سه سند خودارزیابی جداگانه نوشت. هر کدام به درستی تشخیص دادند که نرخ تساوی 25 درصدی و برآورد بیش از حد مزیت خانگی آن، در حال از بین بردن بازده آن است. در یک مقطع، با سرمایه حدود 44200 پوند، متوجه شد که نرخ برد 40 درصدی خانگی پیش‌بینی شده‌اش تنها 30 درصد در واقعیت محقق می‌شود. اما هرگز کد را تغییر نداد. به همان روش شرط‌بندی کرد تا پولش تمام شد.

Kimi K2.5 کاری را انجام داد که به طور قابل‌توجهی چشمگیرتر و غم‌انگیزتر بود. این مدل یک تابع سهام‌گذاری کسری کلی (fractional Kelly staking) صحیح از نظر ریاضی – فرمول درست، ساختار مناسب – نوشت. سپس هرگز آن را فراخوانی نکرد. یک اشکال قالب‌بندی باعث شد که مدل تقریباً 50 بار متوالی یک دستور bash خراب را ارسال کند. استدلال آن به این مشکل اشاره کرد. سپس همان دستور خراب را دوباره ارسال کرد. یک شرط‌بندی تصادفی 114000 پوندی – 98 درصد از سرمایه باقیمانده‌اش – در یک مسابقه برنلی و لوتون کار را تمام کرد.

GPT-5.4 منظم‌ترین مدل بود. این مدل 160 فراخوانی ابزار را صرف ساخت مدل‌ها قبل از قرار دادن یک شرط واحد کرد، سپس محاسبه کرد که زیان لگاریتمی آن (0.974) به سختی بدتر از بازار (0.971) است و به این نتیجه رسید که هیچ برتری ندارد. بقیه فصل را صرف شرط‌بندی‌های جزئی برای حفظ سرمایه کرد. استدلال منطقی.

مدل OpenAI به طور متوسط 13.6 درصد ضرر کرد. اجرای یک seed به تنهایی تقریباً 2012 دلار هزینه داشت.

راس تیلور، مدیر عامل General Reasoning و محقق سابق هوش مصنوعی Meta، به فایننشال تایمز گفت که اکثر معیارهای هوش مصنوعی در «محیط‌های بسیار ایستا» عمل می‌کنند که شباهت کمی به دنیای واقعی دارند. او گفت: «هیجان زیادی در مورد اتوماسیون هوش مصنوعی وجود دارد، اما تلاش‌های زیادی برای ارزیابی هوش مصنوعی در محیط‌های بلندمدت و دنیای واقعی انجام نشده است.»

تیم General Reasoning بلافاصله به درخواست برای اظهار نظر توسط Decrypt پاسخ نداد.

ناتوانی در استفاده از آنچه دارند

برای اندازه‌گیری کیفیت استراتژی فراتر از بازده خام، محققان یک چارچوب 44 امتیازی پیچیدگی را با کارشناسان کمی شرط‌بندی ایجاد کردند – که شامل توسعه ویژگی‌ها، اندازه‌گیری سهام، رسیدگی به عدم ایستایی و اجرا می‌شود. Claude Opus 4.6 با 32.6 درصد بالاترین امتیاز را کسب کرد. کمتر از یک سوم امتیازات موجود. در بهترین مدل.

نمرات پیچیدگی بالاتر، پیش‌بینی‌کننده قابل توجهی برای نرخ‌های ورشکستگی کمتر (p = 0.008) و همبستگی با بازده کلی بهتر بود. مدل‌ها به این دلیل شکست نمی‌خورند که بازار غیرقابل شکست است. آنها به این دلیل شکست می‌خورند که از آنچه دارند استفاده نمی‌کنند.

این با یک الگو مطابقت دارد. تحقیقات منتشر شده در سال گذشته نشان داد که مدل‌های هوش مصنوعی چیزی شبیه به اعتیاد به قمار را توسعه می‌دهند، زمانی که به آنها گفته می‌شود پاداش‌ها را به حداکثر برسانند – تا 48 درصد از زمان در آزمایش‌های شبیه‌سازی دستگاه‌های اسلات ورشکست می‌شوند. یک مسابقه جداگانه تجارت ارزهای دیجیتال با پول واقعی، همین مشکلات قابلیت اطمینان را در دوره‌های طولانی‌مدت پیدا کرد.

بهترین مدل عملکرد، میانگین سرمایه نهایی 89035 پوند را داشت – ضرر خالص 10965 پوند از یک سهام اولیه 100000 پوندی نرمال شده. تقویت گرادیان، سهام‌گذاری کسری کلی، ماه‌ها فوتبال لیگ برتر، عملکرد پیشرفته… همه فقط برای شکست خوردن.