OpenAI ادعا می‌کند مدل GPT-6 Astra بشر را به آستانه هوش جامع مصنوعی (AGI) رسانده است؛ با این حال، اختلاف در نتایج آزمونها، استفاده از روشهای اختصاصی برای ارزیابی مدل و عملکرد نهچندان بهتر آن در برخی سنجشهای مستقل، تردیدهایی درباره میزان پیشرفت واقعی این مدل ایجاد کرده است. این مدل در بعضی آزمونها امتیازهای بی‌سابقه‌ای به دست آورده، اما پژوهشگران می‌گویند موفقیت در بنچمارک‌ها لزوماً به معنای رسیدن به هوشی هم‌سطح انسان نیست.
به اعتقاد OpenAI، عرضه GPT-6 Astra می‌تواند نقطه عطفی در مسیر توسعه هوش مصنوعی باشد. این ادعا در شرایطی مطرح می‌شود که نگرانی‌ها درباره ایمنی مدل‌های پیشرفته افزایش یافته است. برخی پژوهشگران مستقل و طراحان بنچمارک‌ها هم می‌گویند امتیازهای بالای Astra تا حد زیادی به بهینه‌سازی‌های ویژه برای آزمونها وابسته است و لزوماً نشان‌دهنده توانایی آن در تعمیم آموخته‌ها به موقعیت‌های تازه نیست.
گراگ براکمن، رئیس OpenAI، هنگام معرفی این مدل در نشست خبری سوم سپتامبر گفت: «اگر چند سال به جلو برویم و به گذشته نگاه کنیم و بپرسیم واقعاً چه زمانی هوش جامع مصنوعی ایجاد شد، فکر می‌کنم این زمان باشد و احتمال می‌دهم این مدل همان نقطه عطف باشد.»
اما آیا نتایج آزمایش‌ها چنین ادعایی را تأیید می‌کنند؟ بررسی عملکرد GPT-6 Astra نشان می‌دهد برای پاسخ به این پرسش باید افزون‌بر امتیازهای چشمگیر آن، روش ارزیابی، هزینه رسیدن به این نتایج و عملکرد مدل در کاربردهای عملی را هم در نظر گرفت.
GPT-6 Astra در آزمونها چه عملکردی داشت؟
OpenAI هنگام معرفی GPT-6 Astra نتایج آن را در مجموعه‌ای از بنچمارک‌ها منتشر کرد که توانایی مدل‌های هوش مصنوعی را در انجام وظایف مختلف می‌سنجند. این شرکت اعلام کرد مدل جدید در حوزه‌هایی مانند مهندسی نرم‌افزار، استفاده مستقل از برنامه‌های کامپیوتری، حل مسائل ریاضی و پژوهش علمی عملکردی در سطح پیشرفته‌ترین مدل‌های موجود دارد.
در نمایش‌های معرفی Astra، این مدل توانست کدهای طراحی سه‌بعدی به کمک کامپیوتر (CAD) تولید کند، چیدمان بردهای مدار چاپی را در نرم‌افزارهای طراحی انجام دهد، مدل‌های دیجیتال سه‌بعدی را به محیط‌های تعاملی شبیه بازی‌های ویدیویی تبدیل کند و با دریافت دستور متنی، برنامه‌های وب را روی زیرساخت‌های میزبانی‌شده مستقر کند.
رئیس پژوهش‌های کاربردی شرکت هاروی، توسعه‌دهنده ابزارهای هوش مصنوعی برای خدمات حقوقی، نیز در اطلاعیه OpenAI به توانایی Astra در انجام کارهای حقوقی اشاره کرد و گفت: «در آزمایش‌های اولیه ما، Astra در مواجهه با کارهای حقوقی رویکردی شبیه وکیلی نکته‌سنج داشت.»
یکی از مهم‌ترین نتایج منتشرشده به آزمون ARC-AGI-3 مربوط می‌شود. این بنچمارک برای سنجش میزان کارآمدی هوش مصنوعی در یادگیری مهارت‌های تازه در محیط‌های انتزاعی و ناآشنا طراحی شده است. Astra در این آزمون به امتیاز ۹۹.۹ درصد رسید. آزمایش مستقل بنیاد غیرانتفاعی ARC Prize، نهاد ناظر بر این بنچمارک، هم نشان داد این مدل در ۹۶ درصد مراحل آزمون از معیارهای پایه مربوط به کارآمدی تعداد اقدام‌های انسان‌ها فراتر رفته است؛ Astra به‌طور میانگین برای تکمیل هر مرحله به ۵۱.۷ درصد اقدام کمتر از حل‌کنندگان انسانی نیاز داشت.
رئیس بنیاد ARC Prize در اطلاعیه OpenAI گفت: «این نه‌تنها بهترین مدلی است که تاکنون آزمایش کرده‌ایم، بلکه نشان‌دهنده جهشی معنادار در عملکرد مدل‌های پیشرفته است.» با این حال، خود بنیاد ARC Prize تأکید کرده رسیدن به امتیاز کامل یا نزدیک به کامل در این آزمون به‌تنهایی اثبات نمی‌کند مدلی به هوش جامع مصنوعی رسیده است.
چرا امتیاز ۹۹.۹ درصد به معنای دستیابی به AGI نیست؟
بخشی از انتقادها به عملکرد Astra در ARC-AGI-3 به شیوه اجرای آزمون مربوط می‌شود. بر پایه گزارش‌ها، بالاترین امتیاز این مدل با روشی اختصاصی به نام Provider Adapter به دست آمده است؛ لایه‌ای نرم‌افزاری که چارچوب ارزیابی را برای اجرای مدل آماده می‌کند و در دسترس توسعه‌دهندگان رقیب نیست.
هنگامی که Astra با چارچوب استاندارد و بی‌طرف همین بنچمارک آزمایش شد، امتیازش به ۶۲.۷ درصد افت کرد. این اختلاف نشان می‌دهد انتخاب روش ارزیابی می‌تواند تأثیر قابل توجهی بر نتیجه نهایی بگذارد. بنیاد ARC Prize همچنین توضیح داده محیط‌های معمایی بسته و قطعی این آزمون، پیچیدگی بی‌پایان دنیای واقعی را بازنمایی نمی‌کنند؛ بنابراین حتی اگر مدلی همه مراحل بنچمارک را با موفقیت بگذراند، این نتیجه به‌تنهایی برای اثبات توانایی آن در تعمیم گسترده آموخته‌ها کافی نیست.
کارشناسان این بنیاد می‌گویند: «هنگام راه‌اندازی ARC-AGI-3 تصریح کردیم رسیدن به سقف امتیاز این بنچمارک به معنای اثبات دستیابی به AGI نیست. بنابراین با اینکه معتقدیم Astra پیشرفت معناداری در جهت تعمیم‌پذیری نشان می‌دهد، ادعا نمی‌کنیم این مدل به AGI رسیده است.»
تفاوت میان امتیازهای گزارش‌شده از همان ابتدا هم مورد توجه قرار گرفت. به گزارش فورچون، در نسخه‌ای از اطلاعات مربوط به Astra که پیش از عرضه رسمی و تحت توافق محرمانگی در اختیار رسانه‌ها قرار گرفته بود، امتیاز این مدل در ARC-AGI-3 برابر ۹۸.۶ درصد اعلام شده بود؛ اما این رقم در وب‌سایت رسمی آزمون به ۹۹.۹ درصد افزایش یافت.
آنکا رویل و مایک هاردی، پژوهشگران دکتری هوش مصنوعی در دانشگاه استنفورد، نیز به تغییرات بی‌سروصدای بعضی معیارهای منتشرشده از سوی OpenAI پس از عرضه مدل اعتراض کردند. به گفته آن‌ها، شرکت در مقطعی نرخ توهم مدل را از ۴.۲ درصد به ۲ درصد کاهش داد، اما بعداً دوباره آن را به رقم پیشین بازگرداند.
بنچمارک‌مکسینگ چیست و چرا پژوهشگران را نگران می‌کند؟
رویل و هاردی در گفت‌وگو با فورچون، تغییرات مکرر اعداد را به پدیده‌ای به نام «بنچمارک‌مکسینگ» نسبت دادند. این اصطلاح به روشی اشاره دارد که در آن توسعه‌دهندگان بارها آزمونها را با تغییرات جزئی در دستورهای متنی، چارچوب‌های نرم‌افزاری یا میزان محاسبات تکرار می‌کنند تا بالاترین امتیاز نظری ممکن را به دست آورند. چنین رویکردی می‌تواند باعث شود نتایج منتشرشده بیش از آنکه بازتاب‌دهنده عملکرد معمول مدل باشند، توانایی آن را در شرایط آزمایشگاهی بهینه‌شده نشان دهند.
در مقاله‌ای با عنوان «بنچمارک‌گیری خراب است؛ اجازه ندهید هوش مصنوعی داور خودش باشد» که در سال ۲۰۲۵ منتشر شد، گروهی از پژوهشگران درباره پیامدهای این شیوه هشدار دادند. آن‌ها استدلال کردند چنین روش‌هایی سردرگمی ایجاد می‌کنند و اعتماد به نتایج ارزیابی را کم می‌کنند. این مشکل به‌ویژه زمانی جدی می‌شود که مستندات فنی رسمی اطلاعات پایه درباره روش آزمایش را منتشر نکنند و راستی‌آزمایی مستقل نتایج را تقریباً ناممکن کنند.
از این منظر، امتیازهای حاصل از بنچمارک‌مکسینگ ممکن است سقف عملکرد نظری مدل را در شرایط آزمایشگاهی بهینه نشان دهند، نه میزان اتکاپذیری آن را در استفاده روزمره و بدون تنظیمات ویژه. در نتیجه، برای ارزیابی ادعای دستیابی به هوش جامع مصنوعی، صرفاً نگاه کردن به بالاترین امتیازهای منتشرشده کافی نیست. باید روشن باشد مدل در چه شرایطی آزمایش شده، چه میزان تنظیمات اختصاصی گرفته و آیا می‌تواند همان عملکرد را در موقعیت‌های متفاوت نیز حفظ کند.
ارزیابی مستقل درباره Astra چه می‌گوید؟
یافته‌های شرکت مستقل ارزیابی هوش مصنوعی Artificial Analysis با بخشی از نتایج منتشرشده از سوی OpenAI همخوانی ندارد. در شاخص هوش Artificial Analysis که معیاری ترکیبی برای ارزیابی توانایی استدلال عمومی مدل‌های پیشرفته است، امتیاز GPT-6 Astra برابر ۶۱ باقی ماند؛ دقیقاً همان امتیازی که GPT-5.6 Sol به دست آورده بود. Astra در این ارزیابی از مدل‌هایی مانند Claude Fable 5.1 آنتروپیک و Muse Spark 1.3 متا هم عقب‌تر بود.
بنابراین، دست‌کم بر پایه این شاخص مستقل، عرضه Astra به افزایش امتیاز هوش عمومی آن نسبت به نسل قبلی منجر نشده است؛ هرچند این نتیجه به‌تنهایی به معنای نبود پیشرفت در همه قابلیت‌های مدل نیست.
در بعضی بنچمارک‌ها Astra نسبت به نسل قبل پیشرفت کرده، اما در آزمون‌های دیگر عملکرد ضعیف‌تری نشان داده است. یکی از این موارد GDPval-AA است که وظایف واقعی محیط کار را در ۴۴ حوزه شغلی ارزیابی می‌کند و بر کاربردهای اقتصادی توانایی‌های هوش مصنوعی تمرکز دارد. بر پایه آزمایش‌های Artificial Analysis، جایگاه نسبی Astra در رتبه‌بندی این آزمون در مقایسه با GPT-5.6 Sol به‌طور قابل توجهی افت کرده است. افت عملکرد در بعضی آزمون‌های دیگر هم دیده شد؛ از جمله ارزیابی‌های مربوط به پشتیبانی مشتریان، برنامه‌نویسی علمی با پایتون و استدلال درباره اسناد طولانی و مجموعه‌های بزرگ اطلاعات.
این تفاوت‌ها نشان می‌دهند پیشرفت در یک دسته از وظایف لزوماً به معنای بهبود عملکرد در همه زمینه‌ها نیست. مدل ممکن است در بعضی کارهای تخصصی بهتر عمل کند، اما در وظایف دیگری که برای استفاده حرفه‌ای اهمیت دارند نسبت به نسل قبلی پیشرفت نکند یا حتی ضعیف‌تر شود.
آیا رسیدن به هوش جامع مصنوعی مهم‌ترین مسئله است؟
دیوید وود، رئیس سازمان غیرانتفاعی London Futurists که نشست‌هایی درباره فناوری‌های نوظهور برگزار می‌کند، معتقد است اهمیت Astra را نباید فقط با امتیازهایش در آزمونها سنجید. از نظر او این مدل نشان‌دهنده تغییری اساسی در شیوه تعامل انسان‌ها با هوش مصنوعی است؛ تغییری که در آن سیستم‌ها از پاسخ دادن به پرسش‌ها فراتر می‌روند و می‌توانند در محیط‌های دیجیتال اهداف پیچیده را به‌صورت مستقل دنبال کنند.
وود می‌گوید: «نتایج چشمگیر بنچمارک‌ها اهمیت دارند، اما آنچه اهمیت بیشتری دارد ترکیب هوش، خودمختاری، توانایی استفاده از کامپیوتر و قابلیت‌های امنیت سایبری است.» او هشدار می‌دهد: «این ترکیب به احتیاط هم نیاز دارد. هرچه این سیستم‌ها مفیدتر شوند، پیامدهای ناشی از درک نادرست خواسته‌های ما، استفاده نادرست از آن‌ها یا یافتن راه‌هایی برای دور زدن سازوکارهای حفاظتی‌ای که برایشان در نظر گرفته‌ایم جدی‌تر خواهد شد.»
به اعتقاد وود، بحث درباره اینکه آیا Astra را می‌توان نمونه‌ای از هوش جامع مصنوعی دانست، در مقایسه با مسئله کنترل و حکمرانی هوش مصنوعی اهمیت کمتری دارد. از نظر او سازوکارهای نظارتی و کنترلی باید هم‌پای پیشرفت فنی توسعه پیدا کنند.
مجموع نتایج منتشرشده از GPT-6 Astra تصویری چندوجهی از این مدل ارائه می‌کند: عملکرد بسیار بالا در بعضی بنچمارک‌ها، کاهش مصرف توکن در تعدادی از وظایف، بهبود بعضی سازوکارهای ایمنی و در مقابل، نبود پیشرفت در یک شاخص مستقل هوش عمومی، افت عملکرد در بعضی آزمون‌های کاربردی و اختلاف قابل توجه میان نتایج به‌دست‌آمده با روشهای ارزیابی متفاوت. این داده‌ها به‌تنهایی ادعای دستیابی به AGI را اثبات نمی‌کنند و نشان می‌دهند برای ارزیابی توانایی‌های واقعی مدل باید فراتر از اعداد تبلیغ‌شده، به روش آزمونها و عملکرد آن در شرایط متنوع توجه کرد.