نیویورک‌تایمز از بریو شکایت کرد؛ ایندکسی که به هوش مصنوعی فروخته می‌شود و سایت شما هم در آن است
دیجیتال مارکتینگ جهان سئو و جستجوهوش مصنوعی در مارکتینگ

نیویورک‌تایمز از بریو شکایت کرد؛ ایندکسی که به هوش مصنوعی فروخته می‌شود و سایت شما هم در آن است

۱۷ آبان ۱۴۰۵ ⏱ ۵ دقیقه مطالعه 👁 ۰ بازدید ✍️ تحریریه رشدینو
✈️ اشتراک در تلگرام 💬 واتساپ 𝕏 توییتر
📌 نکات کلیدی و خلاصه خبر پاسخ سریع در یک نگاه

شکایت نیویورک‌تایمز از بریو نشان می‌دهد این شرکت ایندکس جست‌وجوی خود را به شرکت‌های هوش مصنوعی می‌فروشد؛ ایندکسی با بیش از ۳۰ میلیارد صفحه که خزنده‌اش نام مشخصی ندارد و نمی‌توان آن را بدون مسدودکردن گوگل مسدود کرد.

✨ تحلیل رشدینو نگاه اختصاصی تیم رشدینو

این شکایت می‌تواند تعریف «ترافیک ارجاعی» را برای همیشه تغییر دهد: وقتی محتوای یک سایت به‌صورت تکه‌تکه به مدل فروخته می‌شود، رابطه‌ی برد-برد موتور جست‌وجو با ناشر از بین می‌رود؛ ناشران ایرانی هم باید از حالا سیاست خزنده‌های AI را در سطح سرور، نه فقط robots.txt، جدی بگیرند.

شما احتمالاً هرگز از Brave Search استفاده نکرده‌اید؛ دست‌کم نه مستقیم. اما هوش مصنوعی‌ای که از او سؤال می‌پرسید ممکن است از آن استفاده کرده باشد و شاید سایت شما را همان‌جا پیدا کرده باشد. دوم نوامبر، نیویورک‌تایمز از بریو شکایت کرد؛ شرکتی که پشت مرورگر Brave و موتور جست‌وجوی Brave Search ایستاده است. به ادعای تایمز، بریو بیش از ۳۰ میلیارد صفحه‌ی وب را «بدون این که خودش را معرفی کند یا سازوکاری در اختیار صاحبان سایت‌ها بگذارد تا خزنده‌اش را مسدود کنند» کپی کرده و سپس همان محتوا را به شرکت‌های هوش مصنوعی فروخته است. بریو هنوز پاسخ نداده، پس فعلاً این‌ها ادعا هستند. اما چرا نمی‌توان خزنده‌ی بریو را بیرون نگه داشت بدون این که گوگل هم بیرون بماند؟ بریو خودش این را در صفحه‌ی راهنمایش توضیح داده است.

بریو ایندکس جست‌وجویش را به Cohere، Mistral و Perplexity می‌فروشد

بریو از طریق محصولی به نام Brave Search API دسترسی به ایندکس جست‌وجویش را به شرکت‌های هوش مصنوعی می‌فروشد. وقتی یک دستیار هوش مصنوعی به چیزی تازه از وب نیاز دارد، همیشه خودش وب را نمی‌خواند؛ می‌تواند پول بدهد و در ایندکس کس دیگری جست‌وجو کند. صفحه‌ی «درباره‌ی ما»ی بریو می‌گوید این API «توسط برخی از بزرگ‌ترین نام‌های هوش مصنوعی از جمله Cohere، Mistral، Perplexity و You.com استفاده می‌شود». صفحه‌ی هوش مصنوعی این شرکت هم می‌گوید ایندکس آن «بیش از ۳۰ میلیارد صفحه، با میلیون‌ها صفحه‌ی تازه که هر روز نمایه می‌شود» دارد.

شکایت تایمز با نام بردن پنج شرکت هوش مصنوعی آغاز می‌شود که به ادعای آن، بریو به آن‌ها داده می‌دهد: Anthropic، Perplexity، Mistral، xAI و Cohere. از این میان هیچ‌کس شریک شکایت نیست. ماجرای Claude مبهم‌ترین است، چون شواهد قدیمی است: شکایت به نوشته‌ای از بریو در سال ۲۰۲۳ درباره‌ی آموزش Claude 2 اشاره می‌کند. در مارس ۲۰۲۵، Anthropic نام Brave Search را به فهرست زیرپردازشگرهایش (شرکت‌های بیرونی که از آن‌ها استفاده می‌کند) اضافه کرد؛ موضوعی که TechCrunch گزارش داد. همان هفته، سایمون ویلیسون، توسعه‌دهنده‌ای که وبلاگ پرمخاطبی درباره‌ی ابزارهای هوش مصنوعی می‌نویسد، از Claude خواست اطلاعاتی درباره‌ی پلیکان جست‌وجو کند و ۱۰ نتیجه‌ای که Claude ارجاع داد، دقیقاً با همان جست‌وجو در بریو یکی بود. این که Claude امروز هم از بریو استفاده می‌کند یا نه، قابل تأیید نبود.

خزنده‌ی بریو نام ندارد، پس نمی‌توانید بدون مسدودکردن گوگل مسدودش کنید

سایت‌ها در فایل کوچکی به نام robots.txt تعیین می‌کنند کدام خزنده‌ها اجازه‌ی خواندنشان را دارند، و این فقط به این دلیل کار می‌کند که خزنده‌ها نام دارند. OpenAI و Anthropic هر کدام نام خزنده‌هایشان را منتشر می‌کنند، پس می‌توانید خزنده‌ی یک شرکت را راه بدهید و خزنده‌ی شرکت دیگر را رد کنید.

صفحه‌ی راهنمای بریو می‌گوید خزنده‌ی این شرکت «هیچ user agent متمایزی اعلام نمی‌کند». به زبان ساده، خزنده‌ی بریو کارت شناسایی ندارد و بریو دلیلش را هم می‌گوید: بعضی سایت‌ها فقط گوگل را راه می‌دهند و هیچ‌کس دیگر را، بنابراین خزنده‌ای که نام بریو رویش باشد رد می‌شود. بریو می‌گوید به‌جایش از قواعد گوگل پیروی می‌کند: هر چیزی که Googlebot اجازه‌ی خواندنش را ندارد، بریو هم نمی‌خواند. نتیجه این است که نمی‌توانید گوگل را راه بدهید و بریو را بیرون نگه دارید؛ یا هر دو را دارید یا هیچ‌کدام. برای بیرون آمدن از ایندکس بریو، همان صفحه شما را به تگ noindex ارجاع می‌دهد که به گوگل هم می‌گوید صفحه را حذف کند. تایمز این را «امتناع بریو از اعلام نام ربات خزنده‌اش» می‌نامد.

سایت من در ایندکس بریو است و robots.txt من حتی نمی‌تواند اسمش را بیاورد

یک جست‌وجوی بریو برای site:nohacks.co در سوم نوامبر نشان داد ۱۶ صفحه از این سایت در صفحه‌ی اول نتایج حاضرند که ۱۳ موردشان مقاله بود. نتیجه‌ی بریو حتی توضیح صفحه‌ی اصلی را نشان می‌دهد که نویسنده همان روز عوض کرده بود؛ یعنی آنچه بریو سرو می‌کند یک نسخه‌ی ذخیره‌شده است، نه نگاهی زنده به سایت. فایل robots.txt او ۱۳ ربات هوش مصنوعی را نام می‌برد، از GPTBot تا Bytespider، و دو تا از آن‌ها را (متعلق به متا و بایت‌دنس) مسدود می‌کند. هیچ خطی نیست که بتوان برای بریو اضافه کرد؛ مسدودکردن نامی که وجود ندارد سخت است.

بررسی سایت خودتان حدود ۳۰ ثانیه وقت می‌برد: به search.brave.com بروید و site: و دامنه‌ی خودتان را تایپ کنید. هر چیزی که ظاهر شود، در ایندکسی است که بریو می‌فروشد.

موتور جست‌وجو مردم را برمی‌گرداند، ایندکسی که به هوش مصنوعی فروخته می‌شود لزوماً نه

حضور در یک موتور جست‌وجو معامله‌ای است که هر سایتی آن را می‌فهمد: کسی جست‌وجو می‌کند، صفحه‌ی شما را می‌بیند، کلیک می‌کند و وارد سایتتان می‌شود. نتایج معمولی Brave Search هم این‌طور کار می‌کنند، هرچند بریو پاسخ‌های هوش مصنوعی خودش با نام Ask Brave را هم اضافه کرده که تایمز درباره‌ی آن هم شکایت کرده است.

فروش ایندکس معامله‌ی دیگری است. شکایت، توصیف بریو از بخشی از این معامله با نام «LLM Context» را نقل می‌کند: تحویل «تکه‌های استخراج‌شده‌ی صفحه و فراداده‌ی منبع، در قالبی و طولی که نیازهای یک LLM را بدون نیاز به خزش بیشتر برآورده کند». یعنی شرکت هوش مصنوعی صفحه‌ی شما را از قبل تکه‌تکه‌شده می‌گیرد و از آن پاسخ می‌نویسد. این که آن پاسخ کسی را به سایت شما برگرداند یا نه، تصمیم شرکت هوش مصنوعی است، نه شما؛ و چیزی نیست که بریو بفروشد. همین بخش است که آزاردهنده است.

دادگاه تصمیم می‌گیرد بریو می‌تواند ایندکسش را به شرکت‌های هوش مصنوعی بفروشد یا نه

نیویورک‌تایمز ادعای نقض حق نشر و دور زدن پی‌وال و موارد دیگر را مطرح کرده است و Daily News، Chicago Tribune و Orlando Sentinel هم همان روز پرونده‌ی جداگانه‌ای تشکیل دادند. بریو هنگام نوشتن این مطلب به هیچ‌کدام پاسخ نداده بود. با این حال پیش‌تر از خود دفاع کرده است: وقتی News Corp برایش اخطاریه فرستاد، بریو اول شکایت کرد و گفت فقط وب را نمایه می‌کند، کاری که «هر اپراتور موتور جست‌وجو برای بقا باید انجام دهد»؛ و در جولای ۲۰۲۶ News Corp شکایت متقابل کرد و گفت بریو خزنده‌هایش را پنهان می‌کند تا ناشران نتوانند آن‌ها را شناسایی یا مسدود کنند. به گزارش Semafor، حکم درباره‌ی صفحات تایمز به‌طور خودکار شامل حال دیگران نمی‌شود، اما چیزهای زیادی درباره‌ی هر سایتی که در آن ایندکس است خواهد گفت؛ و آن سایت احتمالاً سایت شما هم هست.

❓ پرسش‌های متداول درباره این خبر

موضوع اصلی گزارش «نیویورک‌تایمز از بریو شکایت کرد؛ ایندکسی که به هوش مصنوعی فروخته می‌شود و سایت شما هم در آن است» چیست؟

شکایت نیویورک‌تایمز از بریو نشان می‌دهد این شرکت ایندکس جست‌وجوی خود را به شرکت‌های هوش مصنوعی می‌فروشد؛ ایندکسی با بیش از ۳۰ میلیارد صفحه که خزنده‌اش نام مشخصی ندارد و نمی‌توان آن را بدون مسدودکردن گوگل مسدود کرد.

این رویداد چه اهمیتی برای فعالان کسب‌وکار و فناوری دارد؟

ال می‌پرسید ممکن است از آن استفاده کرده باشد و شاید سایت شما را همان‌جا پیدا کرده باشد. دوم نوامبر، نیویورک‌تایمز از بریو شکایت کرد؛ شرکتی که پشت مرورگر Brave و موتور جست‌وجوی Brave Search ایستاده است. به ادعای تایمز، بر

# سئو و جستجو# هوش مصنوعی در مارکتینگ
🔗 اخبار مرتبط

بخوانید