در جدیدترین شماره از خبرنامه فنی سئو پالس (SEO Pulse) در ژورنال موتورهای جست‌وجو، مت جی. ساوترن به بررسی شفافسازیهای مهم تیم ارتباطات جستوجوی گوگل در خصوص سه چالش پرتکرار مدیران وب و متخصصان سئو پرداخته است: مدیریت در دسترس نبودن موقت سرور با کدهای وضعیت HTTP، محدوده قانونی پروتکل robots.txt در عصر خزندههای هوش مصنوعی، و رفتار گوگل‌بات در مواجهه با براکت‌ها در ساختار نشانی اینترنتی (URL).
نخستین نکته، یادآوری رسمی گوگل به وبمسترها در خصوص اعمال پچ‌های امنیتی و تعمیرات سرور است. جان مولر، سخنگوی جستوجوی گوگل، تاکید کرد که در زمان از کار افتادن موقت سرورها یا به‌روزرسانی‌های نرم‌افزاری (نظیر رفع باگ‌های امنیتی PHP)، وب‌سایت‌ها باید حتماً کد وضعیت ۵۰۳ (Service Unavailable) همراه با هدر زمانی Retry-After ارسال کنند. ارسال کد ۵۰۳ تضمین می‌کند که رتبه‌ها و صفحات قبلاً ایندکس‌شده در گوگل دست‌نخورده باقی می‌مانند و موتور جست‌وجو چند ساعت بعد مجدداً مراجعه خواهد کرد. در مقابل، ارسال خطاهای ۴۰۴ یا نمایش صفحات ارور کاذب با وضعیت ۲۰۰ می‌تواند منجر به حذف سریع صفحات از نتایج شود. با این حال، گوگل هشدار می‌دهد که کد ۵۰۳ نباید بیش از یک الی دو روز تداوم داشته باشد، وگرنه ربات‌های گوگل صفحه را غیرفعال تلقی خواهند کرد. همچنین برای سایت‌هایی که زبان برنامه‌نویسی اصلی آن‌ها خاموش است، این کد باید از طریق لایه CDN یا سرور لبه فعال بماند.
مبحث دوم، محدوده عملکرد فایل robots.txt بود که گری ایلیش از مدیران فنی گوگل به آن پرداخت. بر اساس استاندارد RFC 9309، دستورات موجود در robots.txt منحصراً به کنترل «اجازه خزش» (Crawling) توسط ربات‌های استاندارد مربوط می‌شود و هیچ‌گونه کنترل حقوقی یا فنی بر نحوه «استفاده پس از خزش» از داده‌ها، نظیر آموزش مدل‌های یادگیری ماشین ندارد. ایلیش تصریح کرد که اگر وب‌سایتی بخواهد از محتوای خود در برابر آموزش هوش مصنوعی محافظت کند، باید توکن‌های اختصاصی مربوطه را مسدود سازد. برای مثال، گوگل توکن Google-Extended را تعریف کرده تا ناشران بتوانند بدون خارج شدن از نتایج جستوجوی گوگل، استفاده از محتوای خود در آموزش مدل‌های Gemini و پلتفرم Vertex AI را مسدود کنند.
در بخش سوم، جان مولر به موضوع استفاده از کروشه‌ها یا براکت‌ها در نشانی‌های وب اشاره کرد. او شفاف‌سازی کرد که بر اساس استاندارد اینترنتی RFC 3986، کاراکترهای خام براکت با شکل کدگذاری‌شده آن‌ها درصد پنج‌بی و پنج‌دی (%5B و %5D) در معماری وب کاملاً متفاوت تلقی می‌شوند. اگر وب‌سایتی هر دو شکل نشانی را بدون تگ کانونیکال (Canonical) یکتا بازگرداند، گوگل مجبور می‌شود صفحات تکراری را شناسایی کرده و خود دست به انتخاب بزند که ممکن است اعتبار سئو را دوپاره کند. مولر توصیه کرد که وب‌سایت‌ها باید تنها از یک قالب ثابت در تمامی لینک‌های داخلی، نقشه‌های سایت و ساختار نشانی‌ها استفاده کنند.