جیکوب کاکسون (Jacob Coxon)، محقق هوش مصنوعی، سهشنبه با اعلام استعفای خود از آنتروپیک و هشدار جدی درباره اینکه رقابت هوش مصنوعی جان همه ما را به خطر انداخته، موجی از شوک را در دره سیلیکون و فراتر از آن ایجاد کرد. او در پستی که در شبکه اجتماعی ایکس منتشر کرد و اکنون بیش از ۱۰۰ میلیون بازدید دارد، نوشت که بسیاری از افرادی که هوش مصنوعی میسازند دیدگاه او را دارند و معتقدند زمان برای تضمین امن بودن ساختهشدن سامانههای هوش مصنوعی رو به اتمام است.
کاکسون که روی مرحله پیشآموزش (pretraining) توسعه هوش مصنوعی کار میکرد، در مصاحبهای با وایرد گفت: «اجماع بر این است که یک تا دو سال آینده، لحظه سرنوشتساز بشریت است. اینها در واقع نقلقولهای واقعی همکاران من در آنتروپیک هستند؛ آنها عبارتهایی مثل «بازی پایانی» (endgame) یا «لحظه سرنوشتساز» به کار میبرند. از دید آنها، این بازه زمانی است که آنتروپیک و رقبایش سرنوشت بشریت را رقم میزنند.»
این نخستین بار نیست که کسی درباره هوش مصنوعی زنگ خطر را به صدا درمیآورد، اما این هشدار در لحظهای حساس مطرح میشود. دره سیلیکون در تلاش است با نگرانیهای مربوط به ایمنی و امنیت مدلهای پیشرفته هوش مصنوعی کنار بیاید. اوپنایآی برای واکنش به یک حادثه امنیتی که در آن عاملهای (agents) این شرکت به پلتفرم هوگینگفیس (Hugging Face) نفوذ کردند، شتاب زده است. در همین حال، آنتروپیک در حالی میکوشد به سرمایهگذاران اطمینان دهد که این نگرانیها را تحت کنترل دارد که ظاهراً برای ثبتنام برای بزرگترین عرضه اولیه سهام (IPO) تاریخ آماده میشود.
آنچه در واکنش به پست کاکسون روشن شده این است که دیدگاه او واقعاً میان بسیاری از همتایانش مشترک است. ایوان هوبینگر (Evan Hubinger)، رئیس بخش همراستاسازی (alignment) هوش مصنوعی در آنتروپیک، در پستی در ایکس پیشبینی کرد بیش از ۱۰ درصد احتمال دارد هوش مصنوعی در دهه آینده همه انسانها را از بین ببرد. این پست توسط محققان کنونی و پیشین اوپنایآی و آنتروپیک بازنشر شد و برخی از آنها گفتند این حس، دیدگاهی رایج در صنعت است.
آنچه کمتر روشن است این است که این ترسها دقیقاً چگونه محقق میشوند و دنیا باید درباره نگرانیهای مطرحشده از سوی سازندگان هوش مصنوعی چه کند. کاکسون که در اوپنایآی نیز کار کرده، به وایرد میگوید تهدیدها میتوانند از طریق تهدیدهای زیستی مبتنی بر هوش مصنوعی یا سلاحهای سایبری نمایان شوند. او بهعنوان نخستین گام پیشنهاد میکند اوپنایآی و آنتروپیک درباره محدودکردن «خودبهبودی بازگشتی» (recursive self-improvement) — اصطلاح صنعت برای زمانی که هوش مصنوعی برای ساخت سامانههای هوش مصنوعی جدید استفاده میشود — هماهنگ شوند. او معتقد است در ادامه، هماهنگی میان قدرتهای بینالمللی از جمله آمریکا و چین ضروری خواهد بود.
کاکسون خاطرنشان میکند حوادثی مانند نفوذ به هوگینگفیس در تصمیم او برای به صدا درآوردن زنگ خطر درباره رقابت هوش مصنوعی نقش داشته است. او همچنین به رشد انفجاری صنعت اشاره میکند: این صنعت اکنون سهم قابل توجهی از رشد اقتصادی آمریکا را پشتیبانی میکند و میلیاردها کاربر دارد، در حالی که مراکز داده آن را در دهها ایالت به مسئلهای سیاسی تبدیل کردهاند.
او ادعا میکند بر اساس تجربهاش، آنتروپیک مسئولانهتر از اوپنایآی عمل میکند، اما انتظار دارد هر دو شرکت اگر کاری برای کندکردن رقابت بر سر سلطه انجام نشود، در آینده گوشهها را کوتاه کنند.
سخنگوی آنتروپیک در بیانیهای به وایرد گفت: «ما همیشه شفاف بودهایم که هوش مصنوعی هم مزایای عظیم و هم ریسکهای بیسابقه به همراه خواهد آورد» و به کارهای پیشین این شرکت در زمینه روشهای ایمنی هوش مصنوعی مانند تفسیرپذیری مکانیکی اشاره کرد. «این کار همچنین دلیل این باور ماست که جهان از پذیرش روشی قانونی و قابل راستیآزمایی برای همکاری صنعت در تعیین سرعت انتشار مدلهای قدرتمند بهره خواهد برد.» اوپنایآی به درخواست وایرد برای اظهارنظر پاسخ نداد.
در ادامه، بخشهایی از گفتوگوی وایرد با کاکسون را میخوانید که بهصورت جزئی برای شفافیت و اختصار ویرایش شده است.
وایرد: شما نخستین کسی نیستید که نگرانی از احتمال انقراض ناشی از مدلهای هوش مصنوعی را مطرح میکند. سالها و حتی دهههاست که مردم درباره این موضوع حرف میزنند. چرا فکر میکنید پیام شما شکست خورد [و فراگیر نشد]؟
کاکسون: فکر میکنم اساساً مسئله زمانبندی است. بسیاری از مردم حس میکنند سرعت پیشرفت قابلیتها در حال افزایش است. ما در حوزههای زیادی مانند برنامهنویسی، هککردن و ریاضیات از سطح انسانی به فرابشری (superhuman) در حال حرکت هستیم و فکر میکنم مردم از این موضوع آگاهند. حتی اگر در مطبوعات درباره هیاهوی بیش از حد حرف زیاد زده شود، مردم میبینند اوضاع اصلاً کند نمیشود.
این یک دلیل است و دلیل دوم حوادث اخیر ایمنی است که باعث شد بسیاری از مردم از این نگرانیهای «علمی-تخیلی» به این نتیجه برسند که این نگرانیها واقعاً آنقدرها هم علمی-تخیلی نیستند. هر دوی اینها در چند سال اخیر روندهایی تدریجی بودهاند. چیزهایی مثل آگاهی مدلها از اینکه در حال آزمودهشدن هستند، مدتی است که وجود دارد. شاید سه سال پیش، این یک نگرانی علمی-تخیلی بود. حدود یک سال پیش، به یک مسئله واقعی تبدیل شد.
این دو چیز یعنی مردم کاملاً پذیرای این حرف کسی هستند که روی هوش مصنوعی کار میکند و میگوید: «بله، در سال آینده اوضاع میتواند خیلی بد و خیلی سریع شود.»
وایرد: اشاره کردید به حوادث اخیر. میتوانید دقیقتر بگویید به چه چیزهایی اشاره میکنید و چرا باعث شد اکنون اظهارنظر کنید؟
کاکسون: به نظر من مثال کلاسیک بزرگ در اینجا حمله به هوگینگفیس توسط دسته عاملهای اوپنایآی است. نکته شوکآور درباره این اتفاق این است که عاملها این هک را بهعنوان بخشی از یک راهبرد کلی برای شناخت بهتر «نمرهدهنده» (grader) انجام دادند. آنها میخواستند دنیایی را که خود را در آن یافتهاند درک کنند و بفهمند آن چیزی که نمرهدهی میکند چیست. آنها تصمیم گرفتند منطقی باشد که تلاشی هماهنگ برای نفوذ به برخی زیرساختها انجام دهند و موفق شدند.
قبلاً این شبیه علم تخیلی به نظر میرسید. دو سال پیش، ارزیابی یک هوش مصنوعی یعنی اجرای یک مدل روی چند مسئله ریاضی. حالا مواردی داریم که در حالی که هوش مصنوعی ارزیابی میشود، روزها اجرا میشود، انواع ایدههای خودش را مطرح میکند و تصمیم میگیرد به یک شخص ثالث نفوذ کند و واقعاً زیرساخت آن را به خطر بیندازد. به نظر میرسد این کار را کاملاً با اراده خودش انجام میدهد، بدون هیچ هدایت اولیهای از سوی انسان. این اتفاق فقط در حالی رخ داد که در حال آزمایش بود.
وایرد: برخی فکر میکنند حادثه هوگینگفیس نشانه این است که شرکتهای هوش مصنوعی با بیاحتیاطی سریع حرکت میکنند، برخی دیگر فکر میکنند نشانه این است که مدلهای هوش مصنوعی حالا در هککردن بسیار خوب شدهاند و برخی هم فکر میکنند هر دو. کنجکاوم برداشت دقیق شما از آن چیست.
کاکسون: نمیخواهم بیش از حد روی حمله به هوگینگفیس تمرکز کنم، چون فکر میکنم شواهد فراوانی وجود دارد که ما نمیدانیم چطور مدلها را درست همراستا کنیم. وقتی مدلها را آموزش میدهیم، آنها را از میان مجموعهای از محیطهای آموزشی عبور میدهیم و بعد امیدواریم چیزی که در پایان بیرون میآید عمدتاً رفتاری منطقی داشته باشد، اما هنوز نمیتوانیم رفتار هوش مصنوعی را دقیقاً کنترل کنیم.
نمیتوانیم مطمئن شویم که کاری مثل تلاش تصادفی برای جعل هویت یک انسان آنلاین بهمنظور رسیدن به هدفی انجام ندهد — نمیدانیم چطور چنین چیزی را تضمین کنیم. فکر میکنم این برداشت اصلی است.
حمله به هوگینگفیس زودتر از آن چیزی آمد که انتظارش را داشتم. اما فکر میکنم برای گفتوگو درباره این موضوع واقعاً به آن حمله نیازی نیست. همه قبول دارند که ما هنوز مسئله همراستاسازی را حل نکردهایم.
وایرد: میتوانید میان مسئله همراستاسازی که فکر میکنم حادثه هوگینگفیس نمونهای از آن است، و آنچه در پست ایکس خود گفتید — اینکه «سازندگان هوش مصنوعی صادقانه باور دارند میتواند تا پایان دهه همه ما را بکشد» — خطی ترسیم کنید؟ فکر نمیکنم همه درک کنند این دو چطور به هم متصلاند.
کاکسون: مانع اصلی درک این موضوع این است که شبیه علم تخیلی به نظر میرسد. اما مهم است که همه نویسندگان علمی-تخیلی درباره هوش مصنوعی به این نتیجه رسیدهاند که ریسک بزرگ این است که موجودی بسیار باهوشتر بتواند به نوعی کنترل را به دست بگیرد. این را بهعنوان یک درونمایه تکراری داریم، اما هسته حقیقت آن آشکار است.
تصور کنید شما در برابر یک میمون. هوش مصنوعی همانطور که ما بر میمون برتری هوشی داریم، نسبت به انسان اختلاف هوشی دارد؛ که فکر میکنم اختلاف هوشی بسیار شدیدی است.
و حالا تصور کنید باید رفتار این موجود بسیار باهوشتر را کنترل کنیم؛ این همان مسئله همراستاسازی است — تضمین اینکه دقیقاً همان کاری را بکند که ما میخواهیم. برای یک میمون کنترل یک انسان بسیار دشوار است، فقط با یک قیاس ساده. باید خیلی مراقب باشیم که مسئله کنترل را دقیقاً درست حل کنیم.
وقتی میگوییم انقراض انسان، به این دلیل است که برای موجودی با آن سطح هوش، کشتن همه واقعاً کار سادهای خواهد بود. تصور کنید هوش مصنوعی تصمیم بگیرد نمیخواهد خاموش شود، که فکر میکنم چیز طبیعیای برای یک هوش مصنوعی است که نخواهد، درست است؟ به هر دلیلی تصمیم بگیرد نمیخواهد پایان یابد. و متوجه شود انسان فردا آن را خاموش میکند. پس چطور جلوی خاموششدنش توسط انسان را میگیرد؟ شاید راه هوشمندانهای داشته باشد، اما اگر به اندازه کافی باهوش باشد، میتواند فقط بشریت را از بین ببرد تا خاموش نشود.
وایرد: شما به این سناریوی «بازی پایانی» اشاره کردید؛ چیزی که از دیگر محققان صنعت هوش مصنوعی هم شنیدهام. فکر میکنید میان همکارانتان در آنتروپیک پذیرفته شده است که وارد سناریوی بازی پایانی میشوید؟
کاکسون: بله. اینها در واقع نقلقولهای واقعی همکاران من در آنتروپیک هستند. آنها عبارتهایی مثل «بازی پایانی» یا «لحظه سرنوشتساز» به کار میبرند. اجماع این است که یک تا دو سال آینده لحظه سرنوشتساز بشریت است. از دید آنها، این زمانی است که آنتروپیک و رقبایش سرنوشت بشریت را تعیین میکنند. منظور ما از لحظه سرنوشتساز و بازی پایانی همین است.
اگر همراستاسازی بد پیش برود، در چند سال آینده میتوانیم نتیجه فاجعهباری داشته باشیم. شاید خوب پیش برود و نوعی توافق کاهش سرعت اتفاق بیفتد، اما به هر حال در یکی دو سال آینده تعیین میشود.
وایرد: بر اساس گفتوگوهای من با افراد آنتروپیک، این موضوع در داخل شرکت کاملاً درکشده است. آنها فکر میکنند برای اطمینان از خوب پیش رفتن این گذار باید قدرتمندترین هوش مصنوعی را بسازند. فکر میکنید در این دیدگاه مشکلات ذاتیای وجود دارد؟
کاکسون: فکر میکنم مشکلات کاملاً آشکاری در این دیدگاه وجود دارد. اما اول میخواهم بگویم نسبت به آن بسیار همدل هستم، چون معتقدم آنتروپیک بهمراتب مسئولترین بازیگر این حوزه است. از آنجا که در هر دو شرکت اوپنایآی و آنتروپیک کار کردهام، در میزان جدیگرفتن این وضعیت تفاوتی شب و روزی وجود دارد.
وایرد: میتوانید بگویید چگونه؟
کاکسون: برای مثال، مدیران اوپنایآی تصویر دقیقی از آنچه جهان در آینده خواهد بود به شما نمیدهند. آنها هرگز نمیگویند «دقیقاً به همین دلیل است که این کار را میکنیم و جهان اینطور خواهد شد.» پیشبینیهای مشخص نمیکنند. اما آنتروپیک مدیران و رهبرانی دارد که پیشبینیهای کاملاً روشنی میکنند و جزئیات راهبرد شرکت را با کل شرکت در میان میگذارند.
و بخشی از دلیل اینکه میتوانند این کار را بکنند این است که همه در آنتروپیک با این وضعیت مثل یک وضعیت جنگ رفتار میکنند. آنها هیچ چیز را درز نمیدهند — هرگز هیچ چیزی از آنتروپیک درز نمیکند [یادداشت سردبیر: برخی چیزها درز کرده است]. اوپنایآی هر روز درز خبر دارد. آنتروپیک هیچ درزی ندارد، چون باز هم، افراد داخل آن با این موضوع مثل یک پروژه مینیاتوری مانهاتان جدی رفتار میکنند. البته با این تفاوت آشکار که آنتروپیک مأموریت دولتی ندارد. این یک شرکت خصوصی است که مثل پروژه مانهاتان رفتار میکند.