С 15 сентября 2026 года Cloudflare по умолчанию заблокирует «смешанные» краулеры — те, что совмещают поиск, работу агентов и обучение ИИ — на страницах с рекламой.
Это коснётся новых клиентов, новых сайтов существующих пользователей и всех бесплатных аккаунтов. Изменить поведение краулера сможет только сам владелец сайта.
Cloudflare отмечает, что крупнейший поисковик (читай: Google) имеет доступ примерно к вдвое большему объёму данных, чем другие ИИ-компании — сайты вынуждены пускать Googlebot, чтобы оставаться в поиске.
Google возражает: бот Google Extended позволяет отказаться от использования контента для обучения ИИ, не теряя позиций в поиске. Однако основной Googlebot всё равно индексирует контент для AI Overviews и AI Mode.
По словам CEO Cloudflare Мэтью Принса, большинство интернет-трафика сегодня уже генерируется ботами — это произошло раньше прогнозируемого срока.
Cloudflare также развивает модель Pay Per Crawl в Pay Per Use: издатели смогут получать оплату не за факт сканирования, а за реальное использование их контента. Более 50% трафика ИИ-краулеров тратится на повторную загрузку неизменившихся страниц.
Первыми партнёрами стали Ceramic.ai и You.com — издатели получают выплаты, когда их контент появляется в результатах этих сервисов.