آموزش مدلهای هوش مصنوعی با کمک خودِ مدلهای هوش مصنوعی، به یکی از اهداف محبوب آزمایشگاههای جدید هوش مصنوعی تبدیل شده است و حالا یکی از محققان برنامه همکاران (Fellows) شرکت Anthropic نگاه اولیهای به شکل عملی این ایده ارائه کرده است.
Anthropic روز جمعه مقالهای با عنوان «پژوهشگران خودکار میتوانند بهطور قابلاطمینان شکستهای همترازی را کاهش دهند» (Automated Researchers Can Reliably Mitigate Alignment Failures) منتشر کرد که در آن شرح داده میشود چگونه سیستمهای هوش مصنوعی میتوانند عملکرد یک مدل را روی مجموعهای از معیارهای همترازی (alignment benchmarks) بهطور قابلاطمینان بهبود دهند. زمانی که به این سیستمهای خودکار ۱۰ معیار برای رفتارهای ناهمتراز مشخص داده شد، توانستند عملکرد مدل را روی تکتک این معیارها بهبود دهند، بدون آنکه عملکرد کلی مدل افت کند.
این سیستم که به رهبری «چن یوئههان»، همکار Anthropic ساخته شده، بخش زیادی از رویکرد سنتی پژوهش را بازتولید میکند. هر سیستم خودکار ادبیات علمی موجود را جستوجو میکند، یک روش پیشنهاد میدهد و مدل را با همان روش به مدت ۳۰ دقیقه آموزش میدهد و در چندین تکرار، معیار را بهتدریج بالا میبرد. روشهای مؤثر حفظ میشوند و روشهای ناکارآمد کنار گذاشته میشوند؛ به این ترتیب سیستم میتواند سریع و در مقیاس بزرگ عمل کند.
در این مقاله آمده است: «در مجموع، این نتایج شواهد اولیهای ارائه میدهند که آموزش پسینِ همترازیِ خودکار میتواند در آینده نزدیک به یک امکان عملی تبدیل شود.»
این مقاله گامی بهسوی «خودبهبودی بازگشتی» (recursive self-improvement) است؛ پدیدهای که بسیاری آن را گام بزرگ بعدی در پیشرفت هوش مصنوعی میدانند. اگر مدلها بتوانند آموزش همترازی خودشان را بهبود دهند، این احتمال وجود دارد که بتوانند شیوههای آموزشی را بهطور کلیتر نیز بهبود بخشند؛ در آن نقطه، محققان انسانی هوش مصنوعی ممکن است بهزودی منسوخ شوند.
این مقاله از پرداختن به این ایده ابایی ندارد و بهطور صریح «پژوهشگر همترازی خودکار» (AAR) را با همتای انسانیاش مقایسه میکند: «بهترین روش AAR بهطور میانگین ظرف شش ساعت از روشهایی که پژوهشگران باتجربه انسانی پیشنهاد میدهند بهتر عمل میکند» و «مسیرهای پژوهشی هدایتشده توسط انسان به عملکرد قویتری منجر نمیشوند.»
حتی یک مقایسه هزینه نیز در مقاله آمده است: «هزینه یک AAR حدود ۴ دلار در ساعت برای استنتاج API است، در حالی که ما برای هر پژوهشگر انسانی خود ۱۵۰ دلار در ساعت میپردازیم.»
البته مقاله در نهایت انصاف، به چند محدودیت این رویکرد نیز اشاره میکند. سیستم خودکار فقط تا جایی کار میکند که معیارها منعکسکننده اهداف واقعی همترازی باشند و حتی در آن صورت نیز کار قابلتوجهی برای ایجاد و حفظ این معیارها باقی مانده است؛ چه برسد به حفظ و گسترش ادبیات علمیای که پژوهشگران خودکار از آن تغذیه میشوند.