شرکتهای گوگل، مایکروسافت، انتروپیک (Anthropic) و اوپن‌ای‌آی (OpenAI) در اقدامی مشترک و هماهنگ، برنامه‌های خود را برای پشتیبانی رسمی از یک استاندارد جدید وب جهت مدیریت خزش (Crawling) رباتهای هوش مصنوعی اعلام کردند. این فناوری به مدیران وبسایتها و ناشران اجازه میدهد تا به شکلی متمرکز و ساده، از استفاده توسعهدهندگان هوش مصنوعی از محتوای آن‌ها برای آموزش مدلهای زبانی بزرگ جلوگیری کنند.
به طور سنتی، اکثر وبسایتها از فایلی متنی به نام «robots.txt» برای تعیین حدود دسترسی رباتهای جستجوگر استفاده میکنند. یک ناشر می‌تواند از طریق این فایل، دسترسی کل ربات‌ها را قطع کند یا صرفاً صفحات مشخصی را غیرقابل دسترس سازد. در سال‌های اخیر با رشد چشمگیر هوش مصنوعی، این سازوکار برای کنترل خزنده‌هایی که وظیفه جمعآوری داده‌های آموزشی (Training Data) را دارند نیز به کار گرفته شد. با این حال، ناشرانی که تمایل به جلوگیری از برداشت محتوای خود توسط مدلهای هوش مصنوعی داشتند، مجبور بودند ده‌ها خط دستور مجزا برای نام هر یک از رباتهای اختصاصی شرکتهای مختلف اضافه کنند که مدیریت آن بسیار پیچیده و خطا‌پذیر بود.
استاندارد جدیدی که توسط غول‌های هوش مصنوعی پشتیبانی می‌شود، این فرآیند را بنیادین دگرگون می‌سازد. بر اساس این سازوکار، وبمسترها قادر خواهند بود تنها با درج یک خط دستور واحد در فایل robots.txt، مانع از دسترسی تمامی خزنده‌هایی شوند که به منظور آموزش مدلهای هوش مصنوعی مولد محتوا جمعآوری میکنند. البته این تنظیمات بر مدل‌هایی که «منحصراً وظایف غیرمولد» را انجام می‌دهند اعمال نخواهد شد.
این ساختار جدید منطبق بر قالب استاندارد پروتکل عدم پذیرش ربات‌ها (Robots Exclusion Protocol) طراحی شده است. شرکتهای حامی، پیشنویس رسمی این پیشنهاد فنی را به کارگروه مهندسی اینترنت (IETF) ارائه داده‌اند؛ نهاد بین‌المللی معتبری که وظیفه استانداردسازی پروتکل‌های بنیادین وب را بر عهده دارد.
علاوه بر این، شرکت مایکروسافت در مطلبی وبلاگی اعلام کرد تنظیمات تکمیلی جدیدی به نام «AI Grounding» نیز در دسترس ناشران قرار خواهد داد. این قابلیت مختص شرایطی است که مدل هوش مصنوعی نه به منظور آموزش اولیه، بلکه صرفاً برای استناددهی و پاسخ دادن به پرسش در لحظه کاربر در محیط وب به یک صفحه مراجعه می‌کند. ناشران با این دستور جدید می‌توانند مشخص کنند که آیا مایل به ارائه محتوا برای پاسخ‌های زنده موتورهای جستجوگر هوش مصنوعی هستند یا خیر؛ ویژگی‌ای که ابزارهای ثالث استفاده‌کننده از سرویس‌های ابری مایکروسافت را نیز در بر می‌گیرد.
اوپن‌ای‌آی نیز برنامه‌های مشابهی را برای تفکیک دسترسی‌ها تدارک دیده است. هم مایکروسافت و هم سازنده چت‌جی‌پی‌تی قصد دارند طی ماه‌های آینده این استاندارد را در سیستم‌های خود پیاده‌سازی کنند، در حالی که گوگل اعلام کرده پشتیبانی از آن را در سال آینده میلادی عملیاتی خواهد ساخت. شرکت متا نیز از کلیت این طرح اعلام حمایت کرده اما هنوز تاریخ دقیقی برای پذیرش آن مشخص نکرده است.