1 июля 2026 года Cloudflare назначила AI-индустрии крайний срок. С 15 сентября её настройки по умолчанию будут блокировать AI-краулеры «смешанного назначения» на страницах с рекламой, и блокировка автоматически применится к каждому сайту на бесплатном плане, владелец которого ни разу не открывал эти настройки. Если часть вашей воронки продаж теперь начинается с того, что покупатель просит рекомендацию у ChatGPT или Gemini, это стоит десяти минут вашего внимания.
1 июля 2026 года Cloudflare объявила, что с 15 сентября будет по умолчанию блокировать AI-краулеры, которые смешивают поиск, обучение моделей и работу агентов. Новые настройки разрешают поиск, но блокируют обучение и доступ агентов на страницах с рекламой, и их выберут за вас, если вы не зададите свои. Если видимость в ответах AI важна для вашего бизнеса, доступ краулеров теперь это настройка, которую надо выбрать осознанно, а не значение по умолчанию, которое можно игнорировать.
Что меняется на самом деле
До сих пор краулер AI-компании мог загружать ваш сайт сразу для трёх разных целей: чтобы отвечать на вопросы в поисковом режиме, чтобы обучать будущие модели и чтобы в реальном времени отдавать страницы AI-агентам. Один user-agent, одна строка в robots.txt, и никакой возможности сказать «да» одной цели и «нет» другой. Шаг Cloudflare заставляет их разделиться. Краулеры, которые отказываются разделять эти намерения, по умолчанию блокируются на страницах с рекламой.
| Дата | Что происходит |
|---|---|
| Июль 2025 | Cloudflare запускает Pay Per Crawl в закрытой бете: сайты могут разрешить, назначить цену или заблокировать каждый AI-краулер по отдельности |
| 1 июля 2026 | Объявлены новые классификации. Pay Per Crawl превращается в Pay Per Use: издатели получают деньги, когда их контент питает ответ, а не за каждую загрузку страницы. Первые партнёры: Ceramic.ai и You.com |
| С июля по сентябрь 2026 | Cloudflare проводит тесты и собирает отзывы экосистемы, чтобы утвердить новые настройки по умолчанию |
| 15 сентября 2026 | Настройки переключаются: поиск разрешён, обучение и работа агентов заблокированы на страницах с рекламой. Краулеры смешанного назначения заблокированы на всех страницах с рекламой. Действует для новых клиентов, новых сайтов и всех существующих клиентов на бесплатном плане, которые не меняли настройки |
Источники: объявление Cloudflare и материал TechCrunch, оба от 1 июля 2026 года. Запуск 2025 года задокументирован в собственном объявлении Cloudflare о pay per crawl.
Почему настройки одной компании двигают весь веб
Через Cloudflare проходит трафик примерно четверти всех сайтов мира (W3Techs, август 2026 года), поэтому её значения по умолчанию работают как политика. А цифры за этим решением объясняют срочность: автоматические агенты и боты теперь создают больше половины всех веб-запросов, и собственные данные Cloudflare показывают, что больше 50% трафика AI-сканирования уходит на повторную загрузку страниц, которые не изменились.
Теперь, когда большая часть трафика в интернете создаётся не людьми, мы должны идти дальше и действовать быстрее, чтобы могла возникнуть устойчивая экосистема.Мэтью Принс, сооснователь и генеральный директор Cloudflare, 1 июля 2026 года
Часть, которая касается вас: настройки решают вашу видимость в AI
Большинство публикаций подаёт это как противостояние издателей и AI-компаний. Для сервисного бизнеса картина другая. Вы, скорее всего, не монетизируете контент рекламой. Вы монетизируете то, что вас находят, и всё чаще ваши покупатели спрашивают систему ответов раньше, чем Google. В этом мире доступ краулеров это дистрибуция.
А вот неудобная часть: ваши настройки уже могут быть неверными, и вы об этом никогда не узнаете. Когда весной мы провели аудит GEO собственного сайта, мы обнаружили, что наша конфигурация Cloudflare тихо блокировала ровно те AI-краулеры, которые должны были нас цитировать. Ничего не сломалось. Никто не получил уведомления. Системы ответов просто не могли прочитать сайт. Мы исправили одну настройку; это проблема не возможностей, а осведомлённости.
Если ваш сайт работает на бесплатном плане Cloudflare и никто ни разу не открывал настройки AI-сканирования, новые значения по умолчанию выберут за вас. Они могут совпасть с тем, что вам нужно. Могут и не совпасть. Смысл крайнего срока в том, что «мы так и не решили» перестаёт быть вариантом.
Поиск, обучение, агенты: решайте по каждому отдельно
Полезный итог шага Cloudflare это словарь. Вопрос теперь не один («разрешать AI?»), а три, и бизнес может разумно ответить на них по-разному.
| Намерение | Что делает краулер | Обычное решение для сервисного бизнеса |
|---|---|---|
| Поиск и цитирование | Читает страницы, чтобы отвечать на вопросы людей со ссылками и указанием источника | Разрешить. Именно так покупатели эпохи AI вас находят |
| Обучение | Забирает контент для обучения будущих моделей, без указания источника | На ваш выбор. Для большинства B2B-сайтов контент это маркетинг, а не интеллектуальная собственность; видимость обычно перевешивает защиту |
| Работа агентов | AI-агенты загружают страницы в реальном времени, чтобы выполнить задачу человека | Обычно разрешить. Агент, который сравнивает поставщиков для покупателя, должен суметь прочитать ваш сайт |
AEO теперь официальный термин
В том же объявлении Cloudflare представила панель Attribution Business Insights и назвала дисциплину, которой она служит: Answer Engine Optimization, оптимизация для систем ответов. Кроме данных о том, кто вас сканирует, AEO отслеживает, как часто и насколько заметно ваш контент цитируется в ответах AI в разных моделях. Это уровень измерения, которого не хватало оптимизации для генеративных движков.
Сама методика не изменилась, и она играет на пользу небольшим игрокам: исследование методов GEO показало, что добавление ссылок на источники, прямой речи и статистики подняло видимость в ответах AI до 40%, а исследование Semrush выявило, что около 90% страниц, которые цитирует ChatGPT, занимают органическую позицию 21 и ниже. Системы ответов не наследуют ранжирование Google. В этом и есть шанс.
Что сделать до 15 сентября
- Выясните, стоит ли ваш сайт за Cloudflare и на каком плане. Ваш разработчик или счёт за хостинг это знают.
- Откройте настройки AI-сканирования и прочитайте, что сейчас разрешено, а что заблокировано. Запишите это; это ваша отправная точка.
- Решите осознанно по каждому из трёх намерений: поиск, обучение, работа агентов. Подключите того, кто отвечает за маркетинг, потому что это решение о дистрибуции.
- Проверьте и robots.txt. Cloudflare это один слой; ваш файл robots это другой, и они могут противоречить друг другу.
- После 15 сентября проверьте, что новые значения по умолчанию не перезаписали ваш выбор. Затем проверьте, что ваши страницы действительно читают те системы, которым вы разрешили доступ.
Если нужна более глубокая версия, с оценкой цитируемости и проверкой доступа по каждой системе, это ровно то, что делает наша диагностика GEO и видимости в AI. Мы проверяем техническую часть раньше, чем настраиваем сообщение; именно она вывела наш сайт из тихой блокировки к цитированию.
Q.Уберёт ли блокировка AI-обучения мой бизнес из ответов AI?
Само по себе нет. Сканирование с поисковым намерением и обучение это отдельные настройки, и новые значения Cloudflare по умолчанию оставляют поиск разрешённым. Один нюанс из мира Google: отказ через Google-Extended запрещает использовать контент для обучения Gemini, но Google AI Overviews питается от обычного Googlebot, которого вы почти наверняка хотите оставить разрешённым.
Q.Мой сайт не на Cloudflare. Это меня касается?
Конкретные настройки от 15 сентября нет, но направление да. Во всей индустрии доступ краулеров становится решением по каждому намерению отдельно, и ваш robots.txt плюс настройки CDN или сетевого экрана это то место, где это решение живёт сегодня. Проверка на 30 минут выше работает где угодно.
Q.Будут ли AI-компании правда платить небольшим сайтам за контент?
Пока заметных денег нет. Pay Per Use запустился с двумя партнёрами, а 50+ лицензионных соглашений, подписанных к этому моменту, заключены с крупными издателями. Для сервисного бизнеса реальная ценность AI-краулеров в ближайшее время это поток обращений, а не доход от лицензий: быть тем ответом, который процитируют, когда покупатель спросит.
Q.Это то же самое, что GEO?
Это инфраструктурная половина GEO. GEO покрывает и доступ (могут ли системы вас прочитать?), и цитируемость (цитируют ли они вас?). Изменение Cloudflare переводит половину про доступ из режима «настроил и забыл» в режим «реши до 15 сентября», а новая аналитика делает половину про цитируемость измеримой.
