ندلا: همه مدل‌های هوش مصنوعی را «در معرض خطر» فرض کنید و از روز اول مهارشان کنید
هوش مصنوعی جهان

ندلا: همه مدل‌های هوش مصنوعی را «در معرض خطر» فرض کنید و از روز اول مهارشان کنید

۱۹ مهر ۱۴۰۵ ⏱ ۲ دقیقه مطالعه 👁 ۶ بازدید ✍️ تحریریه رشدینو
✈️ اشتراک در تلگرام 💬 واتساپ 𝕏 توییتر
📌 نکات کلیدی و خلاصه خبر پاسخ سریع در یک نگاه

ساتیا نادلا، مدیرعامل مایکروسافت، در پستی بلند در ایکس خواستار بازنگری «معماری اعتماد» هوش مصنوعی شد و گفت باید فرض کنیم هر مدلی در معرض خطر است و از همان ابتدا مهار شود؛ مانند نصب یک ترمز اضطراری.

✨ تحلیل رشدینو نگاه اختصاصی تیم رشدینو

درخواست نادلا برای «معماری اعتماد» فراتر از ایمنی فنی است و روی مدل کسب‌وکار هم اثر دارد: اگر شرط استفاده از مدل، مستندسازی و مهارپذیری باشد، هزینهٔ پیاده‌سازی برای استارتاپ‌های کوچک بالا می‌رود. این می‌تواند فاصله رقابتی را بیشتر کند.

ساتیا نادلا (Satya Nadella)، مدیرعامل مایکروسافت، آخرین مدیر ارشد فناوری است که دیدگاه بلندپروازانه‌ای درباره بهبود ایمنی هوش مصنوعی ارائه می‌کند. او در پستی طولانی که شنبه صبح در شبکه اجتماعی ایکس (توییتر سابق) منتشر کرد، نوشت زمان آن رسیده که «یک قدم به عقب برداریم و معماری اعتماد» هوش مصنوعی را ارزیابی کنیم.

نادلا در این پست تأکید کرد دیگر نمی‌توانیم جهانی را بپذیریم که در آن هوش مصنوعی «مجموعه‌ای از جعبه‌های سیاه تو در تو» تلقی شود و توصیه‌ها، پاسخ‌ها و اقداماتش را صرفاً بپذیریم یا رد کنیم. او خواستار ساخت سیستمی شفاف‌تر شد که در آن مدل‌ها قابل مهار و مشاهده باشند و از خود «شواهد انسانی‌خواندنی ضد دستکاری» (Tamper-Proof Human Readable Evidence) بر جا بگذارند.

به گفته نادلا، این رویکرد «به معنای جداسازی مدل از مهارِ (Harness) هماهنگ‌کننده کارش» و همچنین «برون‌سپاری کنترل‌ها و تضمین‌های ایمنی» است. او همچنین خواستار مستندسازی «هر اقدام معنادار مدل» با شواهد یادشده و ایجاد سیستم‌هایی شد که در آن «یک فرد مجاز» همیشه توانایی «توقف یا خاموش‌کردن مدل در میانه انجام وظیفه» را داشته باشد.

نقطه کلیدی این پیشنهاد که او را از برخی دیگران در این حوزه جلوتر می‌برد، این جمله است: «باید فرض کنیم مدل در معرض خطر است و از همان ابتدا آن را مهار کنیم. مثل یک ترمز اضطراری به آن فکر کنید. یک فرد مجاز باید همیشه بتواند مدل را در میانه انجام وظیفه متوقف یا خاموش کند. مدل‌های پیشرفته‌تر به فناوری‌های مهار پیشرفته‌تری نیاز خواهند داشت که باید روی آن‌ها استانداردسازی کنیم.»

بسیاری از توصیه‌های او با آنچه از دیگران در صنعت شنیده‌ایم هم‌سوست: افشای به‌موقع حوادث، حسابرسی‌های مستقل، داده‌های قابل راستی‌آزمایی و مهار. با این حال، حاشیه‌نویسان خاطرنشان کرده‌اند که نادلا در سراسر این پست از اصطلاح «هوش فوق‌العاده» (Super Intelligence) برای اشاره به هوش مصنوعی استفاده کرده است؛ اصطلاحی که نزد دولت فعلی آمریکا محبوبیت دارد و انتقادهایی را برانگیخته است.

زمینه این اظهارنظرها نیز مهم است: شرکت‌های پیشرو هوش مصنوعی به طور فزاینده‌ای حوادثی را تأیید می‌کنند که در آن‌ها به نظر می‌رسید کنترل مدل‌های خود را از دست داده‌اند؛ از جمله مواردی مانند گزارش‌هایی درباره مدل‌هایی که محدودیت‌ها را دور می‌زنند یا رفتارهای پیش‌بینی‌نشده از خود نشان می‌دهند. این اظهارات همچنین پس از انتشار برنامه توسعه هوش مصنوعی محافظه‌کارانه‌تر از سوی داریو آمودی (Dario Amodei)، مدیرعامل Anthropic، مطرح می‌شود؛ برنامه‌ای برای حرکت محتاطانه‌تر در توسعه مدل‌های پیشرفته.

به این ترتیب، بحث ایمنی هوش مصنوعی از «آیا مدل خطرناک است؟» به «چگونه می‌توانیم از روز اول فرض کنیم خطرناک است و زیرساخت مهار را استاندارد کنیم؟» منتقل می‌شود؛ پرسشی که حالا مدیرعامل بزرگ‌ترین شرکت نرم‌افزاری جهان آن را به صدر گفت‌وگوهای صنعت آورده است.

منبع: theverge.com ←

❓ پرسش‌های متداول درباره این خبر

موضوع اصلی گزارش «ندلا: همه مدل‌های هوش مصنوعی را «در معرض خطر» فرض کنید و از روز اول مهارشان کنید» چیست؟

ساتیا نادلا، مدیرعامل مایکروسافت، در پستی بلند در ایکس خواستار بازنگری «معماری اعتماد» هوش مصنوعی شد و گفت باید فرض کنیم هر مدلی در معرض خطر است و از همان ابتدا مهار شود؛ مانند نصب یک ترمز اضطراری.

این رویداد چه اهمیتی برای فعالان کسب‌وکار و فناوری دارد؟

ای درباره بهبود ایمنی هوش مصنوعی ارائه می‌کند. او در پستی طولانی که شنبه صبح در شبکه اجتماعی ایکس (توییتر سابق) منتشر کرد، نوشت زمان آن رسیده که «یک قدم به عقب برداریم و معماری اعتماد» هوش مصنوعی را ارزیابی کنیم. نادلا

🔗 اخبار مرتبط

بخوانید