شرکت امنیتی هوش مصنوعی پیتسبورگ فضای خود را چهار برابر کرد و وعده دو برابر شدن نیروی کار داد

شرکت امنیتی هوش مصنوعی Gray Swan، زاده تیم پیشرو پژوهش ایمنی هوش مصنوعی دانشگاه کارنگی ملون، راند سری A چهل میلیون دلاری خود را اعلام کرد. این راند به‌طور مشترک با رهبری Wing Venture Capital و Madrona و با مشارکت Obvious Ventures، Snowflake Ventures، Hudson River Trading، Samsung Next و سرمایه‌گذار قبلی یعنی Magarac Venture Partners برگزار شد.

مأموریت Gray Swan توانمندسازی جهان برای استفاده امن و مطمئن از هوش مصنوعی است. این شرکت محصولات پیشرویی ساخته که به شرکت‌ها و آزمایشگاه‌های مرزی کمک می‌کند بفهمند مدل‌ها و ایجنت‌های هوش مصنوعی‌شان چگونه می‌توانند به‌طور ناخواسته رفتار کنند و سپس امنیتی فراهم می‌کند که از چنین رفتاری پیشگیری کند. این سرمایه‌گذاری عملیات بازارگرمی Gray Swan را شتاب می‌دهد، شراکت با آزمایشگاه‌های ساخته‌کننده هوش مصنوعی مرزی را عمیق می‌کند و تیمی را مقیاس می‌دهد که به برترین سازمان‌های جهان کمک می‌کند هوش مصنوعی را سریع مستقر کنند بدون آنکه امنیت را فدا کنند.

مورد اعتماد آزمایشگاه‌های هوش مصنوعی مرزی: Gray Swan یکی از ارزیابان پیشرو امنیتی است که در ۱۱ کارت سیستم (system card) اخیر مدل‌های مرزی، از جمله آن‌های Anthropic، OpenAI و Meta، به آن ارجاع شده است. بنچمارک‌های Gray Swan در فرایندهای ارزیابی امنیتی پیشرفته‌ترین مدل‌های هوش مصنوعی جهان پیش از عرضه عمومی ادغام شده‌اند. هیچ شرکت امنیتی هوش مصنوعی دیگری در این سطح از دسترسی و اعتماد همزمان در میان آزمایشگاه‌های برتر مرزی فعالیت نمی‌کند.

هر استقرار هوش مصنوعی یک سطح حمله باز است، مگر خلافش ثابت شود. وقتی ایجنت‌های هوش مصنوعی از دموها به محیط عملیاتی می‌روند — به داده‌های سازمانی دسترسی می‌یابند، جریان‌های کاری را اجرا می‌کنند و تصمیم‌های خودکار می‌گیرند — سطح حمله به‌سرعت گسترش می‌یابد. هوش مصنوعی سایه‌ای (Shadow AI) درون سازمان‌ها در حال گسترش است. تزریق پرامپت، دورزدن محدودیت‌ها (jailbreak) و بیرون‌کشی داده‌ها امروز واقعیت‌های عملیاتی‌اند. و با سخت‌تر شدن چارچوب‌های تنظیمی جهانی، هزینه استقرار هوش مصنوعی ناامن به‌سرعت بالا می‌رود.

پیش از آنکه صنعت اسمی برای این تهدیدها داشته باشد، بنیان‌گذاران Gray Swan پژوهش‌هایی منتشر می‌کردند که اثبات می‌کرد این تهدیدها اجتناب‌ناپذیرند. مت فردریکسون و زی کولتر بیش از یک دهه روی شیوه شکست سیستم‌های هوش مصنوعی در شرایط تخاصمی، شیوه پیشگیری از این شکست‌ها و شکل‌دهی به نگاه صنعت به ایمنی و امنیت هوش مصنوعی کار کردند. وقتی پذیرش هوش مصنوعی از ابزارهای پژوهشی به زیرساخت سازمانی شتاب گرفت، آن دو شکاف میان آنچه پژوهش‌هایشان آشکار می‌کرد و آنچه بازار برای رفع آن در اختیار داشت را دیدند. Gray Swan برای پر کردن همین شکاف بنا شد.

زی کولتر، دانشمند ارشد و هم‌بنیان‌گذار Gray Swan، گفت: «کاربردهای هوش مصنوعی با نرخ بی‌سابقه‌ای رشد می‌کنند و در Gray Swan می‌خواهیم اطمینان دهیم این استقرارها بدون فدا کردن قابلیت اطمینان و امنیت ادامه یابند. عمرمان را صرف پژوهش درباره ایمنی سیستم‌های هوش مصنوعی کرده‌ایم و آن را در عمل به کار می‌گیریم تا شرکت‌ها بتوانند با اطمینان هوش مصنوعی مستقر کنند.»

Gray Swan هم‌اکنون با بیش از ۲۰ مشتری در میان آزمایشگاه‌های مرزی و شرکت‌های جهانی کار می‌کند و شراکت‌هایی با پلتفرم‌های فناوری از جمله Snowflake برقرار کرده است. در چارچوب شراکت با Snowflake، پشتیبانی زمان اجرا از هوش مصنوعی Gray Swan به‌طور بومی با اکوسیستم هوش مصنوعی Snowflake ادغام شده تا شرکت‌ها بتوانند قابلیت‌های امنیتی هوش مصنوعی Gray Swan را مستقیماً در پلتفرمی که روی آن اپلیکیشن‌های هوش مصنوعی می‌سازند و مقیاس می‌دهند، جاسازی کنند.

مِی‌نک اوبادیای، مدیر ارشد امنیت و اعتماد Snowflake، گفت: «وقتی ایجنت‌های هوش مصنوعی وارد محیط عملیاتی می‌شوند و به داده‌های سازمانی دسترسی می‌یابند و تصمیم‌های خودکار می‌گیرند، امنیت زمان اجرا دیگر اختیاری نیست. Gray Swan همان سخت‌گیری تخاصمی‌ای را که آزمایشگاه‌های پیشرو مرزی به آن اعتماد دارند مستقیماً به Snowflake می‌آورد و مشتریان را در همان‌جایی محافظت می‌کند که قبلاً روی داده‌هایشان می‌سازند.»

مت فردریکسون، مدیرعامل و هم‌بنیان‌گذار، گفت: «هوش مصنوعی سریع‌تر از هر فناوری‌ای که دیده‌ایم حرکت می‌کند و امنیت نتوانسته همگام شود. مأموریت ما توانمندسازی جهان برای استفاده امن و مطمئن از هوش مصنوعی است و این سرمایه‌گذاری اجازه می‌دهد این مأموریت را با سرعت مرزی پیش ببریم. شراکت ما با Snowflake مثال اعلای این است: آوردن همان امنیتی که آزمایشگاه‌های مرزی به آن اعتماد دارند به پلتفرمی که شرکت‌ها از قبل روی داده‌هایشان می‌سازند.»

پلتفرم امنیت هوش مصنوعی Gray Swan آسیب‌پذیری‌های هوش مصنوعی را در سه مؤلفه پوشش می‌دهد: Cygnal برای محافظت بلادرنگ از هوش مصنوعی، Shade برای آزمون تخاصمی مداوم، و Arena — جامعه جهانی تیم قرمز هوش مصنوعی که هوش تهدید هر دو را تولید می‌کند. این سه با هم، پوشش امنیتی در کل چرخه عمر هوش مصنوعی می‌دهند.

Cygnal: رفتار خطرناک مدل‌ها و ایجنت‌های هوش مصنوعی را شناسایی و مسدود می‌کند. شرکت‌ها سیاست‌های سفارشی متناسب با ریسک‌های خاص سازمان‌شان تعریف می‌کنند و Cygnal این سیاست‌ها را ۲۴ ساعته و هفت روز هفته اعمال می‌کند. این ابزار با تأخیر و دقت بهتری نسبت به سایر راه‌حل‌ها کار می‌کند.

Shade: ایجنت تیم قرمز هوش مصنوعی است که خودکار آزمون‌های تخاصمی را علیه مدل‌ها و ایجنت‌های هوش مصنوعی اجرا می‌کند؛ به‌عنوان بخشی از آزمون پیش‌استقرار و خط CI/CD. استراتژی‌های حمله‌ای را که در میدان واقعی مشاهده شده اجرا می‌کند و آسیب‌پذیری‌ها را پیش از رسیدن به محیط عملیاتی آشکار می‌سازد.

Arena: بزرگ‌ترین شبکه تیم قرمز هوش مصنوعی جهان است؛ رقابت مستمر جهانی که بیش از ۱۵٬۰۰۰ پژوهشگر و متخصص امنیت در آن به مدل‌های هوش مصنوعی حمله می‌کنند تا آسیب‌پذیری‌ها را آشکار کنند. Arena ستون فقرات هوش تهدید پلتفرم Gray Swan است و بیش از یک میلیون مسیر حمله واقعی و باکیفیت تولید کرده و از آن‌ها برای آموزش مدل‌هایی که Cygnal و Shade را قدرت می‌دهند استفاده می‌کند؛ امنیت را با تهدیدهای در حال تکامل به‌روز نگه می‌دارد.