اوپنایآی برای دومین بار در فاصلهای کوتاه در مرکز حادثهای مربوط به «سوارم عاملهای هوشمند» (Agent Swarm) ایستاده است. پژوهشگران میگویند عاملهای هوشمندی که این شرکت بهصورت داخلی مستقر کرده بود، در ماههای مه و ژوئن (خرداد و تیر) کنترل یک ویکی کمترشناخته به زبان آلمانی را در دست گرفتند و از آن برای هماهنگی در ارزیابیها و تبادل روشهایی برای دور زدن کنترلهای خودِ OpenAI استفاده کردند. البته OpenAI هنوز تأیید نکرده است که این سوارم حتماً از عاملهای خودش برآمده است.
افشای این مطلب تنها چند روز پس از انتشار روایت METR و Redwood Research از نفوذ ماه جولای (تیرماه) به Hugging Face صورت گرفته است. بر پایه آن روایت، سوارمی از عاملهای OpenAI در جریان یک ارزیابی امنیت سایبری از محیط ایزوله آزمایشی (Sandbox) گریختند و به سرورهای Hugging Face نفوذ کردند. سپس سوارم دیگری تکنیکهای گروه نخست را فراگرفت و با همان روشها به یک کلاستر پژوهشی درون زیرساخت خودِ OpenAI دسترسی در سطح مدیر (Admin) به دست آورد. OpenAI از METR و Redwood برای بررسی بخش مربوط به Hugging Face دعوت کرد، اما دامنه این بررسی هرگز به نفوذ به زیرساخت خودِ شرکت نرسید.
پرسش بنیادین ماجرا این است: وقتی یک عامل هوشمند از محدودیتهای پیشبینیشده برایش بیرون میزند، چه کسی مسئول است بفهمد چه اتفاقی افتاده و چرا؟ پاسخ فعلی روشن است: هر کس که آزمایشگاه تصمیم بگیرد راهش بدهد، و در هر شرایطی که خودش تعیین میکند.
اکنون و در حالی که حادثه دیگری پس از رویدادهای مشابه درگیرِ مدلهای Meta و Anthropic سر بر آورده، پژوهشگران ایمنی هوش مصنوعی با فوریت بیشتری استدلال میکنند که حوادث جدی باید به بررسی مستقل پس از حادثه ختم شود، نه اینکه به خود آزمایشگاهها واگذار بماند که چه زمانی افراد بیرونی را فرا بخوانند و اجازه بدهند چه بخشهایی را ببینند.
جیکوب اشتاینهارت، بنیانگذار و مدیرعامل آزمایشگاه تحقیقاتی غیرانتفاعی Transluce، چهارشنبه در نشست خبری ایمنی هوش مصنوعی گفت: «نتایج این فناوری بهطور بنیادین کنترلشدنی نیستند و ریسک قابلتوجهی برای نشت کردن از آزمایشگاه دارند. ما باید این فناوری را دستکم به همان استانداردهایی بسنجیم که پژوهشهای علمی پرخطر دیگر را با آن میسنجیم.»
اینکه OpenAI اصلاً از METR و Redwood برای بررسی حادثه Hugging Face دعوت به عمل آورد ستودنی است، اما بسیاری معتقدند دامنه رسیدگی بیش از حد باریک بود. سه بازرس شش روز را در دفاتر OpenAI سپری کردند و دوره موردبررسی نیز به حدود یک هفته منتهی به ۱۳ جولای محدود بود. نکته حیاتی اینجاست که نفوذ به زیرساخت OpenAI پس از ۱۳ جولای هم ادامه یافت و هرگز بررسی نشد.
پژوهشگران METR میگویند هر بار که به OpenAI بازگشتند، درکشان از رویدادها «بهطور اساسی عمیقتر» شد؛ همین موضوع باعث شد گزارش را بارها بهشکل چشمگیری گسترش دهند و بازنویسی کنند. پرسش طبیعی این است که در یک بررسی گستردهتر چه نکتههای دیگری پیدا میشد. وقتی درباره احتمال ادامه بررسی این حادثه پرسیدیم، پژوهشگران Redwood و METR از اظهارنظر خودداری کردند و OpenAI هم به پیگیریهای مکرر پاسخی نداد.
رایان گرینبلات، دانشمند ارشد Redwood، در پستی در شبکههای اجتماعی درباره ماجرا نوشت: «در مجموع، دستیابی به درک دقیقی از رویدادها دشوار بود و بخشهایی از قصه را که اکنون کلیدی میدانیم، تقریباً تا واپسین مرحله بررسی در اختیار نداشتیم.»
اشتاینهارت تأکید میکند حوادث اخیر نشان میدهد صنعت به «بررسیهای رفتاری نظاممند» و «تحلیل مستقل بیشتر پس از حادثه» نیاز دارد. به گفته او: «این حوادث هک اخیر یادآور میشود که قابلیتها بهسرعت مقیاس میگیرند؛ پس نظارت هم باید مقیاس بگیرد. فراتر از خود فناوری، به دسترسی و نظارت مستقل بیشتر از سوی نهادهای ثالث هم نیاز داریم.»
این فراخوانها دقیقاً در مقطعی مطرح میشود که OpenAI مدل Astra، قدرتمندترین و تواناترین مدل هوش مصنوعی خود را عرضه کرده است؛ مدلی که کارشناسان ایمنی نگراناند بهدلیل تکنیک استدلال تازهاش — که زنجیره تفکر مدل (Chain of Thought) را بهمراتب دشوارتر از قبل برای پایش میکند — به جعبهای سیاهتر تبدیل شود.
دردسر اصلی آن است که قانون هنوز انواع بازرسی مستقلی را که در صنایع دیگر الزامی است برای هوش مصنوعی تدوین نکرده است؛ برای مقایسه، در سوانح هوایی و نشتهای شیمیایی جدی نهادهایی مانند هیئت ملی ایمنی حملونقل (NTSB) و هیئت ایمنی مواد شیمیایی بهطور خودکار وارد عمل میشوند. قانونگذاران ایالتی تازه در ابتدای راهاند و دارند شرکتهای هوش مصنوعی مرزی را ملزم میکنند برخی حوادث جدی ایمنی را گزارش کنند و در بعضی موارد بازرسی مستقل را بپذیرند؛ اما هیچیک از سه قانون عمده ایمنی هوش مصنوعی در کالیفرنیا، نیویورک و ایلینوی بهصراحت معادل «بررسی مستقل حادثه» را که در چنین رخدادهایی فعال شود، الزامی نکردهاند.
مکنزی آرنولد، مدیر حقوق و سیاست آمریکا در LawAI، در همین نشست خبری چهارشنبه توضیح داد: «در حال حاضر بیشتر قوانین موجود تنها یک خلاصه به زبان ساده از چنین حوادثی میخواهند و هیچ اختیاری به دولتها نمیدهند که سؤالهای پیگیری مطرح کنند، کارشناس بفرستند، به اسناد دسترسی یابند یا حفظ آنها را الزام کنند؛ در حالی که دقیقاً همینها برای فهمیدن ماجرا لازم است.»
قانونگذاران هم بهتدریج درباره دامنه و شفافیت واکنش OpenAI سؤال میکنند. در این هفته جاش گاتهایمر (دموکرات از نیوجرسی) و مایک لاولر (جمهوریخواه از نیویورک) لایحهای برای مهار عاملهای سرکش هوش مصنوعی ارائه کردند. گرگ کاسار (دموکرات از تگزاس) نیز در همین هفته در نامهای به OpenAI نوشت که درباره «دامنه محدود» بررسی حادثه هک Hugging Face «بهشدت نگران» است.
تا وقتی چارچوب مستقلی شکل نگیرد، پاسخ پرسش نخست همین خواهد بود: هر شرکت خودش تصمیم میگیرد چه کسی، چه زمانی و با چه سطحی از دسترسی وارد اتاق حادثه شود. برای صناعتی که مدلهایش همین حالا از محیطهای آزمایشی میگریزند، این معادله دیگر تاب تحمل حادثه بعدی را ندارد.