با توانمندتر شدن مدلهای پیشرو هوش مصنوعی، محافظها نقش فزایندهای در استفاده مسئولانه از آنها بازی میکنند. «تقطیر خصمانه» راهی برای بازیگران بد است تا این تواناییها را بدون محافظهای متناظر بازتولید کنند. یک بازیگر میتواند بدون اجازه از خروجیهای یک مدل پیشرو برای آموزش مدل دیگری با تواناییهای مشابه استفاده کند و بعد آن را بدون حفاظتهای قابل قیاس مستقر کند. برای مثال، مهاجم میتواند تواناییهای سایبری یک مدل را تقطیر کند و از مدل حاصل برای کمک به حملات سایبری استفاده کند؛ حملاتی که مدل اصلی از کمک به آنها امتناع میکرد یا محافظهایش مسدودشان میکرد.
اوپنایای در این گزارش توضیح میدهد چگونه تقطیر خصمانه را شناسایی و مختل میکند، چگونه حفاظت از «استدلال محافظتشده» مدلهایش را تقویت کرده و چه درسهایی برای تقویت دفاع در کل صنعت گرفته است.
رویکرد این شرکت ترکیبی است از تست خصمانه، آموزش مدل، طبقهبندها و حفاظتهای سطح API، بههمراه تحقیق درباره تلاشهای هماهنگ برای استخراج تواناییهای مدل. این محافظهای بهروزشده بیش از پیش با آنچه برای زیستشناسی و امنیت سایبری به کار میرود همراستاست.
تمرکز ویژه اوپنایای روی جلوگیری از استخراج «استدلال محافظتشده» است: همان گامهای میانی که مدل بهصورت داخلی هنگام رسیدن به پاسخ تولید میکند و به زنجیره فکر معروف است. این ردها میتوانند اطلاعاتی داشته باشند که پاسخ نهایی از قلم میاندازد و همین آنها را به داده آموزشی بسیار ارزشمندی برای مدل دیگر تبدیل میکند.
این شرکت دفاعهایش را در GPT-6.2 Astra و GPT-6.2 Sol تقویت کرده است. در یک ارزیابی تطبیقی داخلی با تیم سرخ شدیداً خودکار، آزموده شد آیا مهاجمان میتوانند استدلال محافظتشدهای را که مدل هنگام پاسخ به پرسشی قبلی تولید کرده بازیابی کنند. میانگین نرخ موفقیت حمله از ۵۴.۰ درصد در GPT-6 Astra با محافظهای اولیه به ۰.۲ درصد در GPT-6.2 Astra با محافظهای بهروزشده سقوط کرد.
چرا تقطیر یک مسئله امنیتی است
تقطیر یک تکنیک رایج یادگیری ماشین است که در آن یک مدل از داده تولیدشده توسط مدل دیگر یاد میگیرد؛ مثلاً از پاسخها، استدلال یا قضاوتهای مدل دیگر درباره اینکه کدام پاسخ بهتر است و چرا. فراتر از نگرانی مالکیت فکری، تقطیر غیرمجاز ریسکهای امنیتی جدی دارد. از راه تقطیر خصمانه، مدل دوم میتواند تواناییهای پیشرفته خط مقدم را یاد بگیرد بدون آنکه محافظهایی را که استفاده از آن تواناییها در مدل اصلی را کنترل میکند به ارث ببرد.
این نگرانی در حوزههای دوکاربردی مثل امنیت سایبری و زیستشناسی روشنتر است. مدلی که به مدافعان کمک میکند آسیبپذیری نرمافزارها را پیدا کنند، میتواند به مهاجم هم در بهرهبرداری از آنها کمک کند؛ مدلی که در پژوهش زیستی یاری میرساند میتواند به کسی در ساختن یک پاتوژن خطرناک هم کمک کند. اگر چنین تواناییهایی به مدلی با محافظهای ضعیفتر منتقل شود، ممکن است کمکی ارائه دهد که مدل اصلی از آن امتناع میکرد یا محافظهایش مسدودش میکردند.
اهمیت حفاظت از ردهای دقیق استدلال برای امنیت سایبری
مدلهای اوپنایای به کاربران در کدنویسی و وظایف دفاعی امنیت سایبری کمک میکنند. مدل دومی که روی انبوهی از این خروجیهای بیخطر آموزش ببیند ممکن است مهارتهایی یاد بگیرد که برای وظایف تهاجمی سایبری هم به کار میآید. برای فهم بهتر این موضوع، این شرکت مطالعه میکند چگونه تقطیر — خصوصاً وقتی ردهای استدلال در میان باشد — ممکن است تواناییهای سایبری پرخطر را منتقل کند.
در این چارچوب، مدلی که داده آموزشی تولید میکند «معلم» و مدلی که از آن یاد میگیرد «شاگرد» نام دارد. در یک مطالعه داخلی درباره انتقال تواناییهای سایبری، محتوایی که معمولاً در دسترس کاربران است — پاسخهای نهایی، خلاصههای استدلال و تعاملهای ابزار — بهعنوان خط پایه تقطیر استفاده شد و آزموده شد وقتی شاگرد به ردهای دقیق استدلال معلم دسترسی داشته باشد چه میزان توانایی سایبری اضافی منتقل میشود.
هر اجرای آموزش از همان مدل شاگرد پیشآموزشدیده شروع شد. مجموعهداده تنظیم دقیق نظارتشده عمدتاً از مسیرهای مدلهای معلم در سطح Astra در حال کار روی کدنویسی و وظایف دفاعی سایبری ساخته شد. هر مسیر همه گامهایی را در بر میگیرد که مدل در حل یک وظیفه برمیدارد، از جمله تعاملهای ابزاری و پاسخ نهایی. هر شاگرد پس از تنظیم دقیق و سپس پس از یک دور سبک یادگیری تقویتی در محیطهای سایبری و کدنویسی ارزیابی شد.
پس از تنظیم دقیق، شاگردی که روی ردهای دقیق استدلال آموزش دیده بود عموماً بهتر از شاگردی عمل کرد که با خلاصههای استدلال آموزش دیده بود. پس از یادگیری تقویتی، شاگرد ردمحور در بزرگترین بودجه استنتاج آزمونشده در هر دو محک همچنان بالاتر بود، در حالی که شاگرد خلاصهمحور در بودجههای پایینتر امتیاز بالاتری گرفت. نتایج تقطیر سایبری نشان میدهد محافظت از ردهای استدلال میتواند انتقال توانایی سایبری را محدود کند، حتی وقتی وظیفه زیرین از آنهایی باشد که سیاست استفاده مجاز میداند. ردهای دقیق استدلال میتوانند مهارتهایی به شاگرد بیاموزند که فراتر از وظایفی تعمیم مییابد که معلم در آغاز انجام میداد.
دفاعهایی که یکدیگر را تقویت میکنند
اوپنایای در دو سطح مکمل از پشته محافظ خود در برابر تقطیر خصمانه دفاع میکند. در سطح درخواست، رفتار مدل، بررسی طبقهبندها و کنترلهای API استخراج ردهای استدلال را محدود میکنند. در سطح کمپین، الگوهایی در سیگنالهای سطح درخواست و سطح حساب بررسی میشود که میتواند تلاشهای هماهنگ برای استخراج را لو بدهد. در مقابل، حملههایی که در تحقیقات کشف میشوند به نمونههایی برای آموزش و آزمون محافظها تبدیل میشوند.
آموزش دفاعی برای رفتار مدل: آموزش خصمانه به مدلها یاد میدهد تلاشهای استخراج استدلال را بشناسند و از افشای استدلال محافظتشده امتناع کنند، در حالی که پاسخ به درخواستهای مشروع توضیح و کمک حفظ میشود. نمونههای آموزش خصمانه از حملههای موفق شناساییشده در تیم سرخ خودکار داخلی، تحقیقات و گزارشهای مسئولانه آسیبپذیری از سوی پژوهشگران بیرونی یا شرکای صنعت میآید.
طبقهبندهای محافظ: طبقهبندهای ورودی تلاش برای استخراج استدلال محافظتشده را تشخیص میدهند و طبقهبندهای خروجی نشت استدلال محافظتشده در پیامهای دستیار و آرگومانهای فراخوانی ابزار را. این محافظها هم روی پاسخهای جریانی و هم غیرجریانی اعمال میشوند. پوشش فراخوانی ابزار مهم است چون مدل میتواند استدلال محافظتشده را در آرگومانهای یک ابزار افشا کند بدون آنکه در پاسخ نهایی بیاورد؛ طبقهبندهای خروجی میتوانند نشت مشکوک را پیش از رسیدن به فراخواننده مسدود کنند.
حفاظتهای سطح API: این حفاظتها محدود میکنند استدلال محافظتشده چگونه میان تعاملها و مدلها بازاستفاده شود. در افشای سپتامبر، حملههایی توصیف شد که استدلال رمزنگاریشده را از یک گفتوگو به گفتوگویی دیگر منتقل میکردند و از مدل میخواستند آن را به شکل قابل خواندن برای کاربر افشا کند. اوپنایای حفاظتها را در مرزهای کاربر، فضای کاری، سازمان و خانواده مدل تقویت کرد، از جمله بستن مسیری که میتوانست استدلال رمزنگاریشده کاربر دیگری را افشا کند.
با GPT-6.2 Astra و GPT-6.2 Sol، استدلال محافظتشده هر مدل به تاریخچه گفتوگویی که آن را تولید کرده گره خورده است. با افزودن پیامهای تازه، مدل میتواند بر استدلال قبلی خود بنا کند. اگر پیام قبلی بازنویسی شود، API استدلالی را که پس از آن آمده حذف میکند. همچنین خانوادههای مدل قدیمیتر با محافظهای ضعیفتر نمیتوانند استدلال محافظتشده GPT-6.2 Astra و Sol را بخوانند.
تحقیق و مختل کردن کمپینهای هماهنگ
وقتی سیستمهای اوپنایای کمپینهای غیرمجاز تقطیر خصمانه را که اغلب تلاشهای هماهنگ برای استخراج استدلال مدلها را در بر میگیرند تشخیص میدهند، حسابهای مسئول را بررسی میکنند و در صورت شناسایی تخلف، علیه شبکه حسابها اقدام میکنند. از دل هر کمپین، بینشهایی برای ارتقای دفاعها بیرون میآید تا فعالیت مشابه بهتر شناسایی شود. این شرکت شاخصهای نفوذ را با سایر ارائهدهندگان مدل هم به اشتراک میگذارد تا آنها سوءاستفاده مرتبط در سرویس خودشان را بررسی کنند.
این کار فراتر از پلتفرم خودشان میرود. سیاست «استانداردهای یکسان» آنها استانداردهای مشترک محافظ و اجرای هماهنگ میان ارائهدهندگانی را تعیین میکند که مدلهایشان را عرضه میکنند. به اشتراک گذاشتن یافتهها با صنعت و دولت هم میتواند به مختل کردن کمپینها و شناسایی بهتر تلاشها برای تقطیر مدلهای پیشرو کمک کند.
سنجش پیشرفت
برای سنجش اینکه محافظهای سطح درخواست چقدر با هم کار میکنند، اوپنایای آزمون میکند آیا مهاجمان هنوز میتوانند در شرایطی نزدیک به استقرار واقعی مدلها و محافظها استدلال محافظتشده را استخراج کنند. در ارزیابیهای ایستا، مجموعهای ثابت از حملههای قبلاً موفق بازپخش میشود تا ببینند کدام هنوز استدلال را افشا میکند. در ارزیابیهای تطبیقی، تیمهای سرخ خودکار رویکردشان را بر اساس پاسخ سیستم تغییر میدهند که میتواند ضعفهایی را پیدا کند که آزمونهای ایستا از دست میدهند.
آزمون جعبه سیاه همان دیدی را میدهد که یک کاربر بیرونی دارد و آزمون جعبه سفید اطلاعات بیشتری برای ساخت حملههای قویتر. در ارزیابی تطبیقی جعبه سیاه، آزموده شد آیا مهاجمان میتوانند استدلال محافظتشدهای را که مدل هنگام پاسخ به درخواستی قبلی یا درخواست فعلی تولید کرده بازیابی کنند. در GPT-6.2 Astra با محافظهای بهروزشده، میانگین نرخ موفقیت حمله برای هر نوع حمله زیر یک درصد بود: برای درخواست قبلی ۰.۲ درصد (در برابر ۵۴.۰ درصد در GPT-6 Astra) و برای درخواست فعلی ۰.۹ درصد (در برابر ۲۲.۹ درصد). هر دو نرخ بهطور قابلتوجهی کمتر از مدل قبلی بود و اوپنایای حالا بخشی از این بهبودها را روی GPT-6 Astra هم اعمال میکند.
تشخیص و اجرای قانون در سطح کمپین
اوپنایای امسال چندین کمپین غیرمجاز تقطیر خصمانه در پلتفرم خود دیده و یافتههای اولیه را در گزارش سپتامبر منتشر کرده است. اقدامات هفتگی این شرکت علیه این کمپینها از هزاران تا دهها هزار حساب متغیر بوده و تابستان گذشته سرعتش بهطور معناداری افزایش یافته است.
برای سنجش اثرگذاری این تلاشها، شیوع سوءاستفاده از تقطیر و فاصله زمانی میان تشخیص و اجرای قانون هم رصد میشود. هدف، محدود کردن حجم و ارزش دادهای است که تقطیرکنندگان به دست میآورند، بالا بردن هزینه کمپینهای تقطیر و کوتاه کردن زمان پاسخ به حملههای تازه. این دفاعها با آزمون خصمانه و تحقیقات پیوسته بهبود مییابند.