پژوهش تازه: تیم‌های عامل هوش مصنوعی توکن‌های کلانی هدر می‌دهند و کیفیت تقریباً تغییری نمی‌کند

تیم‌های عامل هوش مصنوعی تقریباً هیچ نتیجه بهتری از عامل‌های تکی به دست نمی‌دهند؛ این یافته یک پژوهش تازه است.

شرکت ارزیابی Vals AI مدل‌های GPT-6 Sol و Claude Opus 5.5 را روی آزمون «Vibe Code Bench» آزمایش کرد؛ هم به‌صورت تکی و هم در قالب تیم، و در دو سطح استدلال: تلاش استدلالی متوسط و حداکثری. هزینه تیم‌ها بین ۱.۸ تا ۵.۱ برابر عامل‌های تکی بود.

از چهار مقایسه میان تیم‌ها و عامل‌های تکی، تنها یکی بهبود آماری معنادار نشان داد: GPT-6 Sol در سطح استدلال متوسط، که تیم در آن ۷.۳ امتیاز بالاتر گرفت. در سطح استدلال حداکثری، ساختار تیمی نه به Sol و نه به Opus 5.5 هیچ مزیت واقعی نداد. این نتایج نشان می‌دهد هزینه اضافی تیم‌های عامل در بیشتر موارد ارزشش را ندارد، به‌ویژه وقتی مدل‌ها از پیش با تمام توان محاسباتی اجرا می‌شوند.

آنتروپیک در دو آزمون خود با Opus 5.5 دید که با افزودن عامل‌های بیشتر، بهبود کیفیت کوچک‌تر می‌شود. تیم‌های بزرگ‌تر سریع‌تر به سطح عملکرد مشخصی می‌رسند، اما رفتن از ده به ۱۰۰ عامل پس از ۲۴ ساعت فقط امتیازها را اندکی بالا برد. در آزمون‌های جداگانه ProgramBench هم سرعت بیشتر با مصرف توکن بالاتر همراه بود.

در وظیفه «پایگاه دانش» با Opus 5.5، امتیاز یک عامل ۰.۵۳ بود، با ۱۰ عامل ۰.۷۰، با ۳۰ عامل ۰.۷۱ و با ۱۰۰ عامل ۰.۷۴. در وظیفه «اثبات قضیه در Lean» نیز امتیاز از ۰.۳۹ با یک عامل به ۰.۶۶ با ده و سی عامل و ۰.۶۸ با ۱۰۰ عامل رسید. مدل Fable 5.1 در وظیفه اثبات قضیه Lean بالای ده عامل بهبود کیفیت قوی‌تری نشان داد، اما همچنان در همه آزمون‌ها پایین‌تر از Opus 5.5 امتیاز گرفت. در وظیفه پایگاه دانش، امتیاز Fable هنگام بزرگ شدن تیم از ۳۰ به ۱۰۰ عامل در واقع کمی افت کرد.

عامل‌های بیشتر، سرعت می‌خرند نه خروجی بهتر

نوام براون، پژوهشگر OpenAI، در پادکست دوارکش تأیید کرد سیستم‌های چندعاملی عمدتاً سرعت می‌خرند، نه کیفیت بهتر. چهار عامل وظایف را دو برابر سریع‌تر حل کردند، اما دو برابر هم گران‌تر بودند. در ۱۶ عامل همین الگو حفظ شد، هرچند کمی کم‌کارآمدتر شد.

این اثر به‌شدت به نوع وظیفه بستگی دارد. به گفته او پژوهش وب و ریاضیات خوب موازی‌سازی می‌شوند، اما نوشتن یک رمان نه. پرتاب ۱۰ هزار عامل به یک رمان همان‌قدر بی‌فایده است که پرتاب ۱۰ هزار انسان به آن. براون پذیرفت که مقیاس‌دهی به شمار بسیار زیاد عامل‌ها هنوز تا حد زیادی کشف‌نشده مانده، چون هزینه‌هایش به‌سادگی بیش از حد بالاست.

اریک پروونچر، توسعه‌دهنده OpenAI، اخیراً دقیقاً به همین دلیل درباره استفاده از ازدحام‌های عامل هشدار داد. به استدلال او این‌ها به احتمال زیاد پول هدررفته‌اند، چون هماهنگی میان عامل‌ها از هم می‌پاشد. او این را «مالیات هماهنگی» نامید.