1 липня 2026 року Cloudflare поставила ШІ-індустрії дедлайн. З 15 вересня її налаштування за замовчуванням блокуватимуть ШІ-краулери «змішаного призначення» на сторінках з рекламою, і блокування автоматично застосовується до кожного сайту на безкоштовному плані, власник якого ніколи не торкався налаштувань. Якщо частина вашої лійки продажів тепер починається з того, що покупець просить рекомендацію в ChatGPT або Gemini, це варте десяти хвилин вашої уваги.
1 липня 2026 року Cloudflare оголосила, що з 15 вересня за замовчуванням блокуватиме ШІ-краулери, які поєднують пошук, навчання моделей і роботу агентів. Нові налаштування дозволяють пошук, але блокують навчання і доступ агентів на сторінках з рекламою, і їх оберуть за вас, якщо ви не задасте власних параметрів. Якщо видимість у відповідях ШІ важлива для вашого бізнесу, доступ краулерів тепер є налаштуванням, яке треба обрати свідомо, а не типовим значенням, яке можна ігнорувати.
Що насправді змінюється
Досі краулер ШІ-компанії міг отримувати ваш сайт одразу для трьох різних цілей: генерування пошукових відповідей, навчання майбутніх моделей і живлення ШІ-агентів у реальному часі. Один user-agent, один рядок у robots.txt, і жодної можливості сказати «так» одній цілі та «ні» іншій. Крок Cloudflare змушує розділити ці наміри. Краулери, які відмовляються їх розмежовувати, за замовчуванням блокуються на сторінках з рекламою.
| Дата | Що відбувається |
|---|---|
| Липень 2025 | Cloudflare запускає Pay Per Crawl у закритій беті: сайти можуть дозволяти окремі ШІ-краулери, брати з них плату або блокувати їх |
| 1 липня 2026 | Оголошено нові класифікації. Pay Per Crawl перетворюється на Pay Per Use: видавці отримують оплату, коли контент живить відповідь, а не за кожне отримання. Перші партнери: Ceramic.ai і You.com |
| З липня по вересень 2026 | Cloudflare проводить тести і збирає відгуки екосистеми, щоб фіналізувати нові налаштування за замовчуванням |
| 15 вересня 2026 | Типові налаштування перемикаються: пошук дозволено, навчання і використання агентами заблоковано на сторінках з рекламою. Краулери змішаного призначення заблоковано на всіх сторінках з рекламою. Стосується нових клієнтів, нових сайтів і всіх наявних клієнтів безкоштовного плану, які не змінювали налаштування |
Джерела: оголошення Cloudflare і матеріал TechCrunch, обидва від 1 липня 2026 року. Запуск 2025 року задокументовано у власному оголошенні Cloudflare про pay per crawl.
Чому типові налаштування однієї компанії рухають усю вебмережу
Cloudflare стоїть перед приблизно чвертю всіх сайтів світу (W3Techs, серпень 2026 року), тому її налаштування за замовчуванням працюють як політика. А цифри, що стоять за цим рішенням, пояснюють терміновість: автоматизовані агенти і боти тепер генерують понад половину всіх вебзапитів, і власні дані Cloudflare показують, що понад 50% трафіку ШІ-сканування витрачається на повторне отримання сторінок, які не змінилися.
Тепер, коли більшість трафіку в інтернеті не є людською, ми повинні йти далі і діяти швидше, щоб могла постати стійка екосистема.Matthew Prince, співзасновник і CEO Cloudflare, 1 липня 2026 року
Те, що стосується саме вас: типові налаштування визначають вашу видимість у ШІ
Більшість публікацій подають це як протистояння видавців і ШІ-компаній. Для сервісного бізнесу картина інша. Ви, найімовірніше, не монетизуєте контент рекламою. Ви монетизуєте те, що вас знаходять, і дедалі частіше ваші покупці запитують ШІ-систему відповідей раніше, ніж Google. У цьому світі доступ краулерів це дистрибуція.
А ось незручна частина: ваші налаштування вже можуть бути хибними, і ви про це ніколи не дізнаєтеся. Коли навесні ми провели аудит GEO власного сайту, ми виявили, що наша конфігурація Cloudflare тихо блокувала саме ті ШІ-краулери, які мали б нас цитувати. Нічого не зламалося. Ніхто не отримав сповіщення. Системи відповідей просто не могли прочитати сайт. Ми виправили одне налаштування; це проблема не можливостей, а обізнаності.
Якщо ваш сайт працює на безкоштовному плані Cloudflare і ніхто ніколи не відкривав налаштування ШІ-сканування, нові налаштування за замовчуванням оберуть за вас. Вони можуть збігтися з тим, чого ви хочете. А можуть і ні. Сенс дедлайну в тому, що варіант «ми ніколи не вирішували» перестає існувати.
Пошук, навчання, агенти: вирішуйте кожне окремо
Корисний результат кроку Cloudflare це словник. Більше немає одного запитання («дозволити ШІ?»), є три, і бізнес цілком може відповісти на них по-різному.
| Намір | Що робить краулер | Типове рішення для сервісного бізнесу |
|---|---|---|
| Пошук / цитування | Читає сторінки, щоб відповідати на запитання користувачів з посиланнями та атрибуцією | Дозвольте. Саме так покупці епохи ШІ знаходять вас |
| Навчання | Поглинає контент для навчання майбутніх моделей, без атрибуції | Ваш вибір. Для більшості B2B-сайтів контент це маркетинг, а не інтелектуальна власність; видимість зазвичай переважає захист |
| Використання агентами | ШІ-агенти отримують сторінки в реальному часі, щоб виконувати завдання для користувача | Зазвичай дозвольте. Агент, який порівнює постачальників для покупця, має мати змогу прочитати ваш сайт |
AEO тепер офіційний термін
У тому самому оголошенні Cloudflare представила панель Attribution Business Insights і назвала дисципліну, якій вона служить: Answer Engine Optimization, оптимізація для систем відповідей. Крім даних про те, хто вас сканує, AEO відстежує, як часто і наскільки помітно ваш контент цитується у відповідях ШІ в різних моделях. Це рівень вимірювання, якого бракувало оптимізації для генеративних рушіїв.
Сама методика не змінилася, і вона грає на користь менших гравців: дослідження методів GEO показало, що додавання цитат, цитувань і статистики підвищило видимість у відповідях ШІ до 40%, а дослідження Semrush виявило, що близько 90% сторінок, які цитує ChatGPT, займають органічну позицію 21 і нижче. Системи відповідей не успадковують ранжування Google. У цьому і полягає шанс.
Що зробити до 15 вересня
- З'ясуйте, чи стоїть ваш сайт за Cloudflare і на якому плані. Ваш розробник або рахунок за хостинг це знають.
- Відкрийте налаштування ШІ-сканування і прочитайте, що зараз дозволено і що заблоковано. Запишіть це: це ваш базовий рівень.
- Вирішіть три наміри свідомо: пошук, навчання, використання агентами. Залучіть того, хто відповідає за маркетинг, бо це рішення про дистрибуцію.
- Перевірте також robots.txt. Cloudflare це один рівень; ваш файл robots це інший, і вони можуть суперечити один одному.
- Після 15 вересня переконайтеся, що типові налаштування не перезаписали ваш вибір. Потім перевірте, що ваші сторінки справді читають системи, які ви дозволили.
Якщо потрібна глибша версія, з оцінкою цитованості та перевіркою доступу для кожної системи, саме це робить наша діагностика GEO і ШІ-видимості. Спершу ми перевіряємо технічну основу, потім шліфуємо формулювання; саме так наш власний сайт пройшов шлях від тихого блокування до цитування.
Q.Чи прибере блокування ШІ-навчання мій бізнес з відповідей ШІ?
Саме по собі ні. Сканування з пошуковим наміром і навчання це окремі елементи керування, і нові налаштування Cloudflare за замовчуванням залишають пошук дозволеним. Один нюанс зі світу Google: відмова через Google-Extended зупиняє використання контенту для навчання Gemini, але Google AI Overviews живиться від звичайного Googlebot, якого ви майже напевно хочете залишити дозволеним.
Q.Мій сайт не на Cloudflare. Чи стосується це мене?
Конкретні типові налаштування 15 вересня ні, але напрям так. Доступ краулерів по всій індустрії стає рішенням для кожного наміру окремо, і сьогодні воно живе у вашому robots.txt та в налаштуваннях CDN чи фаєрвола. Перевірка на 30 хвилин, описана вище, працює будь-де.
Q.Чи справді ШІ-компанії платитимуть малим сайтам за контент?
Поки що не суттєво. Pay Per Use запустився з двома партнерами, а 50+ ліцензійних угод, підписаних дотепер, укладено з великими видавцями. Для сервісного бізнесу реалістична найближча цінність ШІ-краулерів це потік клієнтів, а не ліцензійний дохід: бути процитованою відповіддю, коли покупець запитує.
Q.Це те саме, що GEO?
Це його інфраструктурна половина. GEO охоплює і доступ (чи можуть системи вас читати?), і цитованість (чи цитують вони вас?). Зміна Cloudflare переводить половину про доступ з режиму «налаштував і забув» у режим «виріши до 15 вересня», а нова аналітика Cloudflare робить половину про цитованість вимірюваною.
