شرکت‌های گوگل، مایکروسافت و OpenAI برنامه‌های مشترک خود را برای پذیرش و اجرای یک دستور استاندارد و واحد در فایل robots.txt به منظور اعلام ترجیحات انصراف از آموزش مدلهای هوش مصنوعی اعلام کردند. این توافق به مدیران وبسایتها و ناشران اجازه می‌دهد تا به جای نوشتن ده‌ها خط دستور اختصاصی برای خزنده هر شرکت (مانند Google-Extended یا GPTBot)، با درج یک خط استاندارد جهانی، مخالفت خود را با بهره‌برداری از محتوای سایت در یادگیری ماشینی به تمام توسعه‌دهندگان اعلام کنند.
دستور جدید برگرفته از پیش‌نویس استانداردی است که کوین کلی (Kevin Kelley) از مدیران شرکت آنتروپیک در کارگروه ترجیحات هوش مصنوعی گروه ضربت مهندسی اینترنت (IETF) ارائه کرده است. آنتروپیک در نامه‌ای به اعضای این کارگروه تایید کرده که فرآیند توسعه زیرساخت‌های نرم‌افزاری لازم برای انطباق با این استاندارد را کلید زده است.
بر اساس جزئیات منتشرشده، هر یک از این سه غول فناوری نحوه پیاده‌سازی متفاوتی را برای احترام به این دستور مد نظر دارند. شرکت گوگل اعلام کرده است که در صورت قرار گرفتن این برچسب در فایل robots.txt، آن را به عنوان نشانه‌ای قطعی برای عدم استفاده از داده‌های صفحه در آموزش مدلهای جمینای و نسخه‌های آتی تعبیر خواهد کرد؛ اما تاکید نموده که این علامت‌گذاری تاثیری بر خزشگر اصلی گوگل‌بات برای ایندکس و رتبه‌بندی نتایج در موتور جستجوی وب نخواهد داشت.
مایکروسافت نیز موضع مشابهی اتخاذ کرده و خاطرنشان ساخته که تیم بینگ سیستم‌های پردازش داده خود را به گونه‌ای ارتقا می‌دهد که داده‌های ناشران منتقد به انباره‌های تمرینی مدلهای کوپایلوت وارد نشود. OpenAI نیز که با دعاوی حقوقی گسترده‌ای از سوی نشریات بین‌المللی مواجه بوده، پذیرش این پروتکل واحد را گامی مثبت برای شفافیت و همکاری با جامعه وب‌مسترها توصیف کرده است.
با وجود این پیشرفت، متخصصان سئو و ناشران هشدار می‌دهند که پذیرش این خط استاندارد داوطلبانه است و تضمینی برای عدم خزش صفحات توسط شرکت‌های نوپا یا مخفی‌کار هوش مصنوعی در سراسر جهان ایجاد نمی‌کند. علاوه بر این، شفافیت فنی در خصوص تفکیک خزش برای جستجو در مقایسه با آموزش مدل‌ها، همچنان بزرگ‌ترین دغدغه فعالان وب باقی مانده است.