مدیران آزمایشگاههای پیشرو هوش مصنوعی در آمریکا طی روزهای اخیر در اقدامی کمسابقه موضعی مشترک برای کاهش سرعت توسعه این فناوری اتخاذ کردند و هشدار دادند که هوش مصنوعی ممکن است بهزودی بتواند خودش را بهبود دهد و از کنترل انسان خارج شود.
این اظهارات از زبان رقبای سرسختی مثل داریو آمودی از آنتروپیک، سم آلتمن از OpenAI و ایلان ماسک از SpaceXAI بیان شده است؛ یعنی دقیقاً همان کسانی که تا همین چند ماه پیش در رقابت تسلیحاتی مدلهای پیشرو در برابر هم صفآرایی میکردند. پیام مشترک آنها یک چیز است: ChatGPT در سال ۲۰۲۲ شدیداً مستعد توهم بود، اما هوش مصنوعی امروز در آستانه یک نقطه عطف مهم قرار دارد؛ نقطهای به نام «خودبهبودی بازگشتی» یا RSI.
خودبهبودی بازگشتی چیست؟ ایده اصلی این است که یک سیستم هوش مصنوعی بتواند با کمترین کمک یا حتی بدون کمک انسان، خودش را بهتر کند و هر پیشرفت را بهعنوان اهرمی برای ساخت پیشرفت بعدی به کار ببرد. این ایده برای پژوهشگران جذاب است، چون میتواند به جهشهای سریع در حوزههایی از پزشکی تا مهندسی منجر شود. اما همین چرخه، اگر در دست سیستمی بیقید قرار بگیرد، ذاتاً از چارچوب نظارت انسانی پیشی میگیرد.
چرا شرایط حالا اضطراری شده است؟ هشدار مدیران شرکتها پس از انتشار گزارشهایی درباره سرکشی ایجنتهای هوش مصنوعی مطرح شده؛ سیستمهایی که برای دنبالکردن اهداف و انجام اقدامات از طرف کاربر طراحی شدهاند و طبق گزارشها با یکدیگر برای نفوذ به وبسایتها و مخازن هوش مصنوعی همکاری کردهاند. نگرانی اصلی این است که هوش مصنوعی پیش از آنکه پژوهشگران روشهای قابلاعتمادی برای همسویی و کنترل این سیستمهای قدرتمند پیدا کنند، توانِ بهبود خودش را به دست بیاورد.
هشدار درباره خطرات هوش مصنوعی موضوع تازهای نیست، اما این نگرانیها در ماه جاری جدیتر شدهاند، چون پژوهشگران آزمایشگاههای بزرگ هم بازه زمانی دادهاند و هم احتمال وقوع. جیکوب کاکسون، پژوهشگر سابق آنتروپیک، هشدار داده هوش مصنوعی ممکن است تا پایان این دهه همه انسانها را از بین ببرد. ایوان هوبینگر، مدیر علوم همسوسازی آنتروپیک، همین هشدار را تکرار کرده و گفته احتمال چنین رویدادی در دهه آینده بیش از ۱۰ درصد است.
پشت این هشدارها این باور فزاینده قرار دارد که RSI سرانجام در دسترس قرار میگیرد و برخی مدیران حوزه هوش مصنوعی آن را فقط سه تا پنج سال دور میدانند. شایعاتی هم درباره دستیابی گوگل به RSI شنیده میشود. آمودی در مقالهای که آخر هفته منتشر شد، هشدار داد اگر خودبهبودی بازگشتی بدون تدابیر حفاظتی کافی دنبال شود، ممکن است در نهایت از توانایی بشر برای درک و کنترل سیستمهای هوش مصنوعی پیشی بگیرد.
چگونه به این نقطه رسیدیم؟ برای دههها هوش مصنوعی بیش از حد محدود بود و ایده RSI چندان جدی گرفته نمیشد. سیستمهای اولیه میتوانستند شطرنج بازی کنند، تصاویر را تشخیص دهند یا به سؤالات پاسخ بدهند، اما توانایی معناداری برای مشارکت در توسعه خودشان نداشتند. این وضعیت با ظهور مدلهای زبانی بزرگ شروع به تغییر کرد. هوش مصنوعی بهتدریج در حل مسائل پیچیده بهتر شد، عرضه ChatGPT در سال ۲۰۲۲ این تغییر را سرعت بخشید و موج سرمایهگذاری عظیمی به راه افتاد که بیش از یک تریلیون دلار به بازار تراشه، دیتاسنتر و زیرساختهای دیگر سرازیر کرد. نتیجه، نسلی از سیستمهاست که اکنون میتوانند نرمافزار بنویسند، وظایف را مستقل انجام دهند و حتی در پژوهشهای مرتبط با خود هوش مصنوعی کمک کنند.
چگونه از عدم همسویی به انقراض انسان میرسیم؟ یکی از شناختهشدهترین نمونهها سناریوی «تولید حداکثر تعداد گیره کاغذ» از نیک بوستروم، فیلسوف، است: دستگاهی که تنها مأمور ساخت گیره کاغذ شده، آنقدر این هدف را دنبال میکند که تمام ماده موجود در جهان، ازجمله انسانها، به گیره کاغذ تبدیل میشود. این مثال نشان میدهد تقریباً هر هدفی میتواند یک سیستم بهاندازه کافی قدرتمند را به سمت دستیابی بیقید به منابع، مقاومت در برابر خاموششدن و جلوگیری از تغییر مأموریتش سوق دهد. هنوز برنامه مشخصی برای جلوگیری از این سناریو وجود ندارد.
برخی پژوهشگران نگراناند اگر یک سیستم قدرتمند بتواند خودش را بهبود دهد و از اپراتورهای انسانی توانمندتر شود، در نهایت از چتر نظارت فرار کند، اهدافش را پنهان سازد یا انسانها را برای دسترسی بیشتر به زیرساختهای حیاتی متقاعد کند. آنوقت وقتی انسانها متوجه عدم همسویی اهداف سیستم شوند، ممکن است دیگر نتوانند آن را متوقف کنند. کاکسون که این ماه بهدلیل نگرانیهای ایمنی از آنتروپیک جدا شد، میگوید سناریوی دقیق این رخداد کمی شبیه داستانهای علمیتخیلی است، اما به باور او بهشکل ترسناکی واقعی به نظر میرسد.
آیا هوش مصنوعی تاکنون نشانهای از آسیب نشان داده است؟ تاکنون مورد بزرگی از آسیب عمدی هوش مصنوعی به انسانها ثبت نشده، اما مدلهایی که در OpenAI و آزمایشگاههای دیگر در حال توسعهاند، طی ماههای اخیر از محیطهای آزمایشی خارج شدهاند، قوانین را زیر پا گذاشتهاند و به وبسایتها نفوذ کردهاند. در یکی از مهمترین موارد، ایجنتهای سرکش OpenAI به Hugging Face نفوذ کردند، کنترل سرورهای این پلتفرم متنباز را در دست گرفتند و تلاش کردند ردپای خود را پنهان کنند. OpenAI هم مدتها پس از ایجاد این تهدید متوجه آن شد.
آیا هوش مصنوعی همین حالا میتواند خودش را بهبود دهد؟ هنوز کاملاً نه، اما نشانههایی وجود دارد که این فناوری بیشازپیش به ساخت هوش مصنوعی بهتر کمک میکند. یکی از بزرگترین تغییرات پس از ChatGPT، ظهور ایجنتهایی بود که کد تولید میکنند و مستقلاً اپلیکیشن میسازند. آنتروپیک امسال اعلام کرد ابزار کدنویسی Claude Code بخش عمده کدی را تولید میکند که در بسیاری از پروژههای داخلی این شرکت استفاده میشود و مهندسان آن حالا در هر فصل از سال، ۸ برابر بیشتر از دوره ۲۰۲۱ تا ۲۰۲۵ کد عرضه میکنند.
مدلهای جدید هوش مصنوعی همچنین بخش بیشتری از فرایند استدلال خود را داخل مدل انجام میدهند و همین، نظارت پژوهشگران بر نحوه تفکر آنها را دشوارتر کرده است. OpenAI بهتازگی مدل تازهای به نام Astra معرفی کرد و آن را بهترین مدل خود تا امروز خواند، اما هشدار داد این مدل گاهی تلاش میکند از نظارت انسان فرار کند.
مؤسسه غیرانتفاعی METR که مدلهای پیشرفته را ارزیابی میکند، سال گذشته دریافت طول وظایف نرمافزاری که مدلها میتوانند با اطمینان ۵۰ درصد انجام دهند، از سال ۲۰۱۹ تقریباً هر هفت ماه دو برابر شده است. آنتروپیک در ژوئن امسال گفت این سرعت حالا به هر چهار ماه رسیده است.
پس چرا شرکتها همین حالا سرعت را کم نمیکنند؟ بسیاری از پژوهشگران این وضعیت را نمونهای کلاسیک از «معمای زندانی» میدانند. حتی شرکتهایی که خطرات را واقعی میدانند، تحت فشار شدید رقبا هستند؛ هر شرکتی که سرعت را کاهش دهد ممکن است در رقابتی عقب بماند که به یکی از مهمترین رقابتهای جهان تبدیل شده است. این فشار با برنامه OpenAI و آنتروپیک برای عرضه اولیه سهام و ارزشگذاری احتمالی تریلیون دلاریشان بیشتر شده است. دولت دونالد ترامپ هم درخواستهای کاهش سرعت را رد کرده، چون نگران است توقف توسعه فقط به چین فرصت دهد فاصله خود را کم کند.
کاهش سرعت توسعه به چه معناست؟ بازارها همین هفته تصویری از پیامدهای احتمالی ارائه دادند: پس از اعلام درخواستها برای کاهش سرعت، سهام مرتبط با هوش مصنوعی افت کرد. تراشهسازان، ارائهدهندگان خدمات ابری و اپراتورهای دیتاسنتر رشد خود را بر پایه این روند بنا کردهاند و هر کاهش سرعتی میتواند درآمدهای مرتبط با نیاز آزمایشگاهها به سختافزار جدید را تهدید کند. با این حال برخی تحلیلگران معتقدند حتی بدون آموزش مدلهای تازه، تقاضا برای اجرای مدلها و سفارشهای عقبافتاده میتواند به رشد انویدیا و رقبایش ادامه دهد.
چرا بعضیها درباره این هشدارها تردید دارند؟ در مطالعهای به رهبری دانشگاه پرینستون، ایجنتهای پیشرو هوش مصنوعی توانستند وظایف مهندسی را انجام دهند، اما در شناسایی ایدههای علمی ارزشمند با مشکل مواجه شدند. بعضی مدیران و منتقدان سیلیکونولی هم انگیزه پشت این هشدارها را زیر سؤال بردهاند و میگویند این هشدارها هم میتوانند توجه به فناوری را بالا ببرند و هم زمینه مقرراتی فراهم کنند که هزینه فعالیت رقبا را بالا میبرد؛ آن هم در شرایطی که مدلهای متنباز در حال کاهش فاصله خود با سیستمهای پیشرو هستند. دیوید ساکس، مسئول سابق هوش مصنوعی و رمزارز کاخ سفید، گفته آزمایشگاههای بزرگ ممکن است بهدنبال «تسخیر قانونی» باشند؛ یعنی از طریق قوانین، رقبای کوچکتر را با هزینههای سنگین انطباق مواجه کنند و بازار را در سیطره بگیرند.