پشت‌پرده اخراج پژوهشگران ایمنی اوپن‌ای‌آی: ابهام در اتهام افشای اطلاعات و نبرد بر سر شفافیت تفکر مدل‌ها
هوش مصنوعی جهان مدل‌ها و چیپ‌هاپژوهش

پشت‌پرده اخراج پژوهشگران ایمنی اوپن‌ای‌آی: ابهام در اتهام افشای اطلاعات و نبرد بر سر شفافیت تفکر مدل‌ها

۳ آبان ۱۴۰۵ ⏱ ۲ دقیقه مطالعه 👁 ۰ بازدید ✍️ تحریریه رشدینو
✈️ اشتراک در تلگرام 💬 واتساپ 𝕏 توییتر
📌 نکات کلیدی و خلاصه خبر پاسخ سریع در یک نگاه

سه محقق برجسته ایمنی که اخیراً از اوپن‌ای‌آی اخراج شدند اعلام کردند هرگز مدرکی دال بر افشای اطلاعات محرمانه دریافت نکرده‌اند و علت واقعی، تلاش آن‌ها برای نظارت بر زنجیره استدلال درونی مدل جدید آسترا بوده است.

✨ تحلیل رشدینو نگاه اختصاصی تیم رشدینو

تنش میان مخفی‌کاری تجاری و شفافیت ایمنی هوش مصنوعی به نقطه بحرانی رسیده است؛ جایی که بستن دسترسی به مراحل استدلال مدل‌ها، نظارت مستقل بر رفتارهای پرخطر هوش مصنوعی را عملاً ناممکن می‌سازد.

بحران اعتماد و درگیری‌های داخلی در بزرگ‌ترین شرکت هوش مصنوعی جهان ابعاد تازه‌ای به خود گرفته است. سه پژوهشگر برجسته حوزه ایمنی هوش مصنوعی در اوپن‌ای‌آی — تومک کورباک (Tomek Korbak)، میکیتا بالیسنی (Mikita Balesni) و جاسمین وانگ (Jasmine Wang) — که اخیراً تحت عنوان نقض سیاست‌های افشای اسرار تجاری از کار برکنار شدند، در مصاحبه‌ای تفصیلی با وال‌استریت ژورنال روایت رسمی شرکت را زیر سوال برده و حقایق تکان‌دهنده‌ای را فاش ساختند. آن‌ها تاکید کردند که مدیریت شرکت در هنگام اخراج، هرگز به صورت مکتوب یا شفاهی مشخص نکرده است که آنان دقیقاً چه سندی یا چه رازی را فاش ساخته‌اند.

به گفته این محققان، ریشه اصلی تنش به یک اختلاف‌نظر عمیق علمی و نظارتی بر سر مدل جدید اوپن‌ای‌آی موسوم به آسترا (Astra) بازمی‌گردد. در مدل‌های استدلالی مدرن، هوش مصنوعی از یک فضای تفکر داخلی تحت عنوان «زنجیره افکار» (Chain of Thought یا CoT) استفاده می‌کند تا قبل از ارائه پاسخ نهایی، محاسبات و استدلال‌های گام‌به‌گام خود را بازبینی کند. پژوهشگران مستقل ایمنی معتقدند که دسترسی و نظارت بی‌واسطه بر این ردپای تفکر درونی برای اطمینان از عدم فریبکاری یا رفتارهای نامطلوب مدل حیاتی است. این سه محقق در مقاله‌ای مشترک با سایر آزمایشگاه‌ها خواستار تداوم دسترسی بازرسان به این زنجیره تفکر شده بودند، در حالی که رهبری اوپن‌ای‌آی در پی آن بود که به منظور حفاظت از مزیت تجاری و جلوگیری از مهندسی معکوس توسط رقبا، این گام‌های استدلالی را مخفی و خلاصه کند.

ماجرای برخورد امنیتی زمانی آغاز شد که نشریه دی اینفورمیشن (The Information) در گزارشی اختصاصی اعلام کرد مدل آسترا توانمندتر است اما شفافیت استدلالی کمتری دارد. در پی این گزارش، حراست اوپن‌ای‌آی تلفن‌های همراه شخصی این پژوهشگران را تفتیش کرد و با کشف پیام‌رسان سیگنال با قابلیت حذف خودکار پیام‌ها، آنان را متهم به ارتباط با رایان گرینبلات، دانشمند ارشد موسسه Redwood Research نمود. این در حالی است که گرینبلات توسط نهاد مستقل METR برای ارزیابی رسمی حادثه امنیتی حمله عامل‌های اوپن‌ای‌آی به هاگینگ‌فیس استخدام شده بود و ارتباط علمی با او امری استاندارد محسوب می‌شد.

علاوه بر این، نتایج یک ممیزی امنیتی میدانی که توسط محققان مستقل METR بر روی زیرساخت‌های اوپن‌ای‌آی انجام شده بود نشان داد که رخنه‌های امنیتی متعددی در تاسیسات شرکت وجود داشته است، اما اوپن‌ای‌آی پیش از انتشار عمومی، نزدیک به نیمی از گزارش را سانسور و سیاه کرده بود. کورباک و همکارانش در نامه‌ای سرگشاده به هیئت‌مدیره اوپن‌ای‌آی هشدار داده‌اند که ایجاد فضای ارعاب، امنیتی‌سازی محیط پژوهشی و اخراج مروجان شفافیت، انگیزه محققان را برای بیان خطرات بالقوه مدل‌ها نابود کرده و جهان را به سوی هوش مصنوعی مهارناپذیر سوق می‌دهد.

❓ پرسش‌های متداول درباره این خبر

موضوع اصلی گزارش «پشت‌پرده اخراج پژوهشگران ایمنی اوپن‌ای‌آی: ابهام در اتهام افشای اطلاعات و نبرد بر سر شفافیت تفکر مدل‌ها» چیست؟

سه محقق برجسته ایمنی که اخیراً از اوپن‌ای‌آی اخراج شدند اعلام کردند هرگز مدرکی دال بر افشای اطلاعات محرمانه دریافت نکرده‌اند و علت واقعی، تلاش آن‌ها برای نظارت بر زنجیره استدلال درونی مدل جدید آسترا بوده است.

این رویداد چه اهمیتی برای فعالان کسب‌وکار و فناوری دارد؟

پژوهشگر برجسته حوزه ایمنی هوش مصنوعی در اوپن‌ای‌آی — تومک کورباک (Tomek Korbak)، میکیتا بالیسنی (Mikita Balesni) و جاسمین وانگ (Jasmine Wang) — که اخیراً تحت عنوان نقض سیاست‌های افشای اسرار تجاری از کار برکنار شدند، در

# مدل‌ها و چیپ‌ها# پژوهش
🔗 اخبار مرتبط

بخوانید