15 вересня Cloudflare змінює типові правила для AI-ботів: що перевірити в robots.txt
1 липня 2026 року Cloudflare оголосив зміну типової обробки AI-трафіку, яка набуває чинності 15 вересня 2026 року. У переказах це звучить як «Cloudflare заблокує AI-ботів за замовчуванням», і формулювання достатньо близьке до правди, щоб бути небезпечним, і хибне у двох місцях, які мають операційне значення.
За Cloudflare стоїть приблизно п’ята частина вебу, тож десять хвилин на це варто витратити, навіть якщо ви впевнені, що вас не стосується.
Що саме змінюється 15 вересня
Cloudflare тепер розкладає AI-трафік на три категорії замість однієї. Із 15 вересня для всіх нових доменів, які підключаються до Cloudflare, категорії навчання та агентів блокуються за замовчуванням на сторінках, де показується реклама, а пошук лишається дозволеним. Три деталі з цього речення в переказах губляться регулярно:
- Це не блокування всього сайту. Типова заборона обмежена сторінками з рекламою. Якщо реклами у вас немає, кусати цій зміні майже нема чого.
- Пошук лишається дозволеним. Категорія, від якої залежить, чи можуть AI-системи вас знайти й процитувати, під заборону не потрапляє.
- Тригер – підключення нового домену. У блозі й журналі змін Cloudflare сказано саме про нові домени, і більше нічого.
Останній пункт потребує обережності, бо поширена версія цієї історії стверджує, що зміна охоплює ще й увесь безкоштовний тариф. Це твердження походить із публікації TechCrunch того самого дня, де воно приписане компанії. У самому дописі Cloudflare і у відповідному записі журналу змін ми його не знайшли: там ідеться про нові домени. Тобто це переказ TechCrunch, а не документована політика. Якщо ви на безкоштовному тарифі, перевірте власні налаштування, а не довіряйте жодному з нас.
Відмовитися від нових типових значень можна в налаштуваннях безпеки будь-коли до 15 вересня, і саме ця можливість заслуговує на запис у календарі.
Три категорії, тобто це вже не одне рішення
Найкорисніша частина анонсу – сама класифікація, бо вона розділяє те, що раніше звалювали в купу під назвою «AI-боти».
| Категорія | Що охоплює | Чого коштує заборона |
|---|---|---|
| Пошук | Індексація вашого контенту, щоб потім відповідати на його основі | Вашої присутності в AI-відповідях. Найдорожча заборона зі списку |
| Агенти | Завантаження в реальному часі на прохання людини, зокрема чат-боти й агенти, що керують браузером | Здатності асистента відкрити вашу сторінку під час живої сесії |
| Навчання | Збір контенту для навчання або донавчання моделі, де він поглинається назавжди | Майже нічого, що можна виміряти, і саме тому більшість починає звідси |
Пастка посередині: багатоцільові краулери
Ось частина зі справжнім ризиком, і її майже не обговорюють. За новими правилами краулери, які поєднують кілька видів поведінки, оцінюються за всіма одразу. Cloudflare прямо пише, що Googlebot, Applebot і Bingbot будуть заблоковані для тих клієнтів, які обрали блокування навчання.
Перечитайте це, якщо ви колись ставили галочку «блокувати навчання AI». Той самий перемикач, який не коштує вам нічого вимірюваного в AI-відповідях, може повністю коштувати вам присутності в Google, Bing і пошуку Apple. Це не гіпотетичний компроміс, а різниця між світоглядною позицією та аварією.
Це також єдина частина зміни, яка дістає наявних клієнтів, бо перекласифікація стосується того, як тлумачаться ці перемикачі, а не лише нових підключень. Якщо ви виставили налаштування блокування AI колись за останні два роки й відтоді в нього не заглядали, зараз воно означає не те, що означало тоді.
OAI-SearchBot і GPTBot – це різні рішення
Більшість robots.txt, у яких узагалі згадано AI, писалися нашвидкуруч у 2023 або 2024 році й блокують за брендом, а не за функцією. Відтоді постачальники задокументували, що робить кожен агент, і різниця велика.
| Агент | Призначення за документацією | Що дає заборона |
|---|---|---|
| OAI-SearchBot | Показ сайтів у пошукових функціях ChatGPT | Вас не показуватимуть у пошукових відповідях ChatGPT, хоча навігаційним посиланням ви лишитеся |
| GPTBot | Робити базові моделі OpenAI кориснішими й безпечнішими | Сигнал, що ваш контент не слід використовувати для навчання |
| ChatGPT-User | Окремі дії користувача в ChatGPT і кастомних GPT | Майже нічого. OpenAI пише, що правила robots.txt можуть не застосовуватися, бо дію ініціювала людина |
| ClaudeBot | Збір контенту, який може піти на навчання моделей | Виключає ваші матеріали з майбутніх навчальних наборів |
| Claude-SearchBot | Покращення якості пошукових результатів для користувачів | Забороняє індексацію для пошуку |
| PerplexityBot | Показ і лінкування сайтів у Perplexity, явно не для навчання моделей | Прибирає вас із результатів Perplexity |
| Perplexity-User | Завантаження на запит користувача | Майже нічого. Perplexity пише, що цей завантажувач зазвичай ігнорує robots.txt |
| Google-Extended | Токен robots.txt, який керує навчанням Gemini і Vertex AI | У пошуку Google – нічого. Google пише, що це не сигнал ранжування |
Точні рядки й формулювання призначення є в документації OpenAI, у довіднику Perplexity і в переліку краулерів Google. Читати їх варто до написання правил, а не після.
Практична конфігурація, яка з цього випливає для більшості бізнесів: пошукові агенти пускати, завантажувачі на запит користувача пускати або ігнорувати, бо надійно зупинити їх усе одно не вийде, а навчання зробити свідомим рішенням, а не значенням за замовчуванням. Видавці, чий продукт – сам текст, обґрунтовано дійдуть протилежного висновку, і це питання ліцензування, а не техніки.
Контрфакт: заборона не зупиняє цитування надійно
Ось спостереження, яке має стримати будь-яку впевненість у robots.txt як в інструменті контролю. BuzzStream звірив цитування з набором новинних сайтів, які блокують AI-агентів, і повідомив, що 70,6% сайтів, які блокують ChatGPT-User, усе одно з’являлися в AI-цитуваннях.
До цього два застереження: одне про цифру, друге про механізм.
Цифра крихка. Множина сайтів із заборонами взята зі списку топ-50 новинних ресурсів, а всі відсотки в дослідженні рівно діляться на сімнадцять, тобто знаменник майже напевно становить сімнадцять сайтів. Один сайт зсуває результат на шість пунктів. Ставтеся до цього як до ілюстрації, а не як до статистики.
А от механізм надійний, і саме його варто забрати із собою. Пояснення самих авторів: частина AI-пошуку працює лише з даними видачі – заголовками, адресами й описами, – жодного разу не забираючи сторінку й не торкаючись вашого сервера. Документація OpenAI каже те саме з іншого боку про завантаження, ініційовані користувачем. Правило в robots.txt керує обходом. Воно не керує тим, що система вже про вас знає, і тим, що вона може зібрати зі сторінки результатів.
Тож чесне формулювання таке: заборона – це заявлена перевага, яку більшість пристойних краулерів поважає, і це не контроль доступу. Якщо контент справді не має бути досяжним, це задача автентифікації, а не robots.txt, і це та сама межа, яку ми проводимо в чеклісті ризиків підрядника.
Сигнали контенту: частина robots.txt, яку ніхто не читає
Паралельно з блокуваннями Cloudflare просуває розширення, яке виражає намір, а не доступ. Політика сигналів контенту, опублікована у вересні 2025 року, додає в robots.txt рядок, який окремо декларує, чи дозволяєте ви пошукову індексацію, використання як вхідних даних для AI-відповіді й використання для навчання. Cloudflare застосував типове значення «пошук дозволено, навчання заборонено» на кількох мільйонах керованих доменів, свідомо лишивши сигнал про вхідні дані невиставленим. У 2026 році додалося четверте поле про характер використання, і наявним керованим файлам його виставляють у режим посилання.
Це не примусово, і ніхто не вдає протилежного. Це чіткіша заява про намір, ніж суцільна заборона, і коштує вона один рядок. Специфікація достатньо коротка, щоб прочитати її повністю.
Чекліст до 15 вересня
- З’ясуйте, чи ви взагалі за Cloudflare. Багато команд цього не знають, бо CDN підключала агенція три роки тому. Наш матеріал про вибір хостингу для бізнесу пояснює, чому питання власності на інфраструктуру не втрачає ваги.
- Прочитайте свій robots.txt уголос. Не той, що в репозиторії, а той, який реально віддається. Керовані правила можуть додати рядки, яких ви не писали.
- Перевірте будь-який перемикач блокування AI за останні два роки. За новою класифікацією заборона навчання блокує заодно багатоцільові пошукові краулери. Це пункт, який може коштувати реального трафіку.
- Вирішуйте по категоріях, а не по вендорах. Пошук, агенти й навчання – це три різні комерційні питання, і на видимість впливає лише одне з них.
- Переконайтеся, що не блокуєте випадково. Правило фаєрвола або налаштування бот-менеджера може віддавати краулеру сторінку перевірки там, де robots.txt його спокійно пускає. Перевірка з curl, яку ми опублікували окремо, ловить це однією командою.
- Запишіть дату відмови в календар. Вікно закривається 15 вересня.
Чому це взагалі відбувається
Обсяги пояснюють політику краще за пресрелізи. Звіт Cloudflare про ботів у масштабі мережі, опублікований того самого дня, повідомляє, що станом на червень 2026 року 52% запитів краулерів припадали на навчання проти 22% навесні 2025 року, а багатоцільові краулери дають понад 36% активності. Більш ніж половина всього трафіку в інтернеті вже не людська. Хоч би що ви думали про аргумент із компенсацією, це реальні інфраструктурні витрати, які несуть видавці.
Варто пам’ятати й те, що заявлена ідентичність не гарантована. У серпні 2025 року Cloudflare звинуватив Perplexity у використанні незадекларованих краулерів для обходу заборон і прибрав його зі списку перевірених ботів. Perplexity з такою характеристикою не погодився. Хто б не мав рацію, епізод є практичним аргументом на користь того, щоб вважати robots.txt сигналом, а не парканом.
Коротко
Із 15 вересня 2026 року новим доменам у Cloudflare типово блокують трафік навчання й агентів на сторінках із рекламою, а пошук лишається дозволеним. Поширення цього на безкоштовний тариф – це переказ TechCrunch, а не документація Cloudflare. Справжній ризик несе інше: багатоцільові краулери тепер оцінюються за всією своєю поведінкою, тож заборона навчання може заблокувати заодно Googlebot, Bingbot і Applebot. Блокуйте за функцією, а не за брендом: OAI-SearchBot коштує вам видимості в ChatGPT, GPTBot не коштує майже нічого вимірюваного, а завантажувачі на запит користувача ігнорують robots.txt за задумом. І заборона не зупиняє цитування надійно, бо чимала частина AI-пошуку взагалі не торкається вашого сервера. Якщо ви й так міняєте хостинг чи CDN, аудит налаштувань у цей момент майже безкоштовний, і це одна з перевірок, які ми закладаємо в перенесення сайту. А ширше питання про те, які фактори справді приносять цитування, ми розібрали в рейтингу за силою доказів.
