کلودفلر و اوپنایآی نتایج اولیه یک پروژه پژوهشی مشترک را منتشر کردند که به موتور جستجوی چتجیپیتی امکان داده است صدها میلیون صفحه جدید وب را کشف و در پایگاه داده خود ایندکس کند. این پایلوت با مشارکت جامعه‌ای آزمایشی شامل تنها یک درصد از شبکه کلودفلر اجرا شده و نتایج آن در بلاگ رسمی هر دو شرکت تشریح شده است.
در این همکاری نوین، ربات‌های خزشگر اوپنایآی به جای گشت‌زدن کورکورانه در سطح وب، از سیگنال‌های لبه شبکه کلودفلر (Network Signals) بهره می‌برند. این سیگنال‌ها مواردی چون زمان آخرین تغییر در محتوای صفحه و میزان استقبال عمومی از آن را مشخص می‌کنند. بدین ترتیب خزشگر می‌تواند زمان و منابع محاسباتی خود را تنها به صفحاتی اختصاص دهد که حاوی محتوای تازه، ارزشمند و معتبر هستند.
علاوه بر کشف محتوای ناب، سیگنال‌های کلودفلر به خزشگر اوپنایآی کمک می‌کنند تا از خزش بی‌مورد صفحات تکراری یا کم‌ارزش پرهیز کرده و بار ترافیکی سرورهای میزبان را به حداقل برساند. همچنین این سیستم صفحات مخرب یا صفحات جعلی مانند فرم‌های فیشینگ و بدافزارها را علامت‌گذاری کرده تا از ورود آن‌ها به نتایج جستجوی کاربران چتجیپیتی جلوگیری شود.
نکته مهم از منظر سئو و حقوق ناشران این است که ارسال این سیگنال‌ها مجوزی برای نقض فایل robots.txt یا دسترسی غیرمجاز به سایت‌ها محسوب نمی‌شود. سیاست اوپنایآی به گونه‌ای تعریف شده که خزشگر مخصوص جستجو (OAI-SearchBot) از خزشگر مخصوص آموزش مدل‌های هوش مصنوعی (GPTBot) کاملاً مجزا عمل می‌کند. بنابراین مدیران سایت‌ها می‌توانند بدون واگذاری محتوای خود برای آموزش مدل، اجازه حضور صفحاتشان در پاسخ‌های جستجوی زنده چتجیپیتی را صادر کنند.
همچنین کلودفلر ابزار جدید AI Crawl Control را در تمامی پلن‌های خود فعال کرده تا مالکان وب‌سایت‌ها شفافیت کاملی بر رفتار خزشگرهای هوش مصنوعی داشته باشند. با پیشرفت این پروژه و تعمیم آن به کل شبکه کلودفلر، پیش‌بینی میشود سرعت ایندکس شدن مقالات جدید در چتجیپیتی هم‌پای گوگل شده و تنوع منابع استنادی آن رشدی تصاعدی یابد.