На 15 септември Cloudflare сменя настройките по подразбиране за AI ботове: какво да проверите
На 1 юли 2026 г. Cloudflare обяви промяна в начина, по който се обработва AI трафикът по подразбиране, влизаща в сила на 15 септември 2026 г. В преразказите тя звучи като „Cloudflare ще блокира AI ботовете по подразбиране“, което е достатъчно близо до истината, за да е опасно, и е погрешно точно на двете места, които имат оперативно значение.
Зад Cloudflare стои около една пета от мрежата, така че десет минути си струват дори ако сте сигурни, че не ви засяга.
Какво точно се променя на 15 септември
Cloudflare вече разделя AI трафика на три категории вместо на една. От 15 септември за всички нови домейни, които се включват към Cloudflare, категориите обучение и агенти се блокират по подразбиране на страниците, които показват реклама, а търсенето остава разрешено. Три подробности от това изречение системно отпадат:
- Не е блокиране на целия сайт. Забраната по подразбиране обхваща страниците с реклама. Ако нямате реклама, тази промяна почти няма за какво да се захване.
- Търсенето остава разрешено. Категорията, от която зависи дали AI системите могат да ви открият и цитират, не попада под забраната.
- Спусъкът е включване на нов домейн. В блога и в дневника на промените на Cloudflare се говори именно за нови домейни и за нищо повече.
Последната точка изисква внимание, защото широко разпространената версия на историята твърди, че промяната обхваща и целия безплатен план. Това твърдение идва от публикацията на TechCrunch от същия ден, където е приписано на компанията. В самата публикация на Cloudflare и в съответния запис в дневника на промените не го открихме: там се говори за нови домейни. Тоест това е репортаж на TechCrunch, а не документирана политика. Ако сте на безплатния план, проверете собствените си настройки, вместо да вярвате на когото и да е от нас.
Отказ от новите стойности по подразбиране може да се направи в настройките за сигурност по всяко време преди 15 септември и точно това заслужава запис в календара.
Три категории, тоест вече не е едно решение
Най-полезната част от съобщението е самата класификация, защото разделя неща, които преди се трупаха под общото „AI ботове“.
| Категория | Какво обхваща | Колко струва забраната |
|---|---|---|
| Търсене | Индексиране на съдържанието ви, за да се отговаря по него после | Присъствието ви в AI отговорите. Най-скъпата забрана от трите |
| Агенти | Изтегляне в реално време по поръчение на човек, включително чат ботове и агенти, управляващи браузър | Възможността асистентът на потребителя да отвори страницата ви в жива сесия |
| Обучение | Събиране на съдържание за обучение или донастройване на модел, където то се поглъща трайно | Почти нищо измеримо, и точно затова повечето започват оттук |
Капанът по средата: многоцелевите ботове
Ето частта с истински риск и тя почти не се обсъжда. По новите правила ботовете, които съчетават няколко поведения, се преценяват по всички от тях наведнъж. Cloudflare пише пряко, че Googlebot, Applebot и Bingbot ще бъдат блокирани при клиентите, избрали да блокират обучението.
Прочетете го отново, ако някога сте слагали отметка „блокирай обучението на AI“. Същият превключвател, който не ви струва нищо измеримо в AI отговорите, може да ви струва изцяло присъствието в Google, Bing и търсенето на Apple. Това не е хипотетичен компромис, а разликата между идейна позиция и авария.
Това е и единствената част от промяната, която стига до съществуващите клиенти, тъй като прекласифицирането се отнася до тълкуването на тези превключватели, а не само до новите регистрации. Ако сте задали предпочитание за блокиране на AI някога през последните две години и не сте го поглеждали оттогава, сега то значи нещо различно от онова, което е значело тогава.
OAI-SearchBot и GPTBot не са едно и също решение
Повечето файлове robots.txt, в които изобщо се споменава AI, са писани набързо през 2023 или 2024 г. и блокират по марка, а не по функция. Оттогава доставчиците документираха какво прави всеки агент и разликите са големи.
| Агент | Предназначение по документация | Какво прави забраната |
|---|---|---|
| OAI-SearchBot | Показване на сайтове в търсещите функции на ChatGPT | Няма да се показвате в търсещите отговори на ChatGPT, макар да оставате като навигационна връзка |
| GPTBot | Да прави базовите модели на OpenAI по-полезни и по-безопасни | Сигнал, че съдържанието ви не бива да се използва за обучение |
| ChatGPT-User | Определени потребителски действия в ChatGPT и персонални GPT | Почти нищо. OpenAI пише, че правилата в robots.txt може да не се прилагат, защото действието е инициирано от човек |
| ClaudeBot | Събиране на съдържание, което може да послужи за обучение | Изключва материалите ви от бъдещи обучаващи набори |
| Claude-SearchBot | Подобряване на качеството на резултатите от търсене | Спира индексирането за търсене |
| PerplexityBot | Показване и свързване на сайтове в Perplexity, изрично не за обучение на модели | Маха ви от резултатите на Perplexity |
| Perplexity-User | Изтегляне по заявка на потребител | Почти нищо. Perplexity пише, че този изтеглящ агент по принцип пренебрегва robots.txt |
| Google-Extended | Токен в robots.txt, който урежда обучението на Gemini и Vertex AI | В Google Search нищо. Google пише, че не е сигнал за класиране |
Точните низове и формулировките на предназначението са в документацията на OpenAI, в справочника на Perplexity и в списъка с ботове на Google. Четат се преди писането на правила, а не след него.
Практическата конфигурация, която следва оттук за повечето фирми: търсещите агенти се пускат, изтеглящите по заявка на потребител се пускат или се пренебрегват, защото надеждно спиране така или иначе няма, а обучението става съзнателно решение, а не стойност по подразбиране. Издателите, чийто продукт е самият текст, основателно ще стигнат до обратния извод и това е въпрос на лицензиране, а не на техника.
Контрафактът: забраната не спира цитирането надеждно
Ето наблюдението, което трябва да охлади всяка увереност в robots.txt като средство за контрол. BuzzStream сверява цитирания спрямо набор новинарски сайтове, които блокират AI агенти, и съобщава, че 70,6% от сайтовете, блокиращи ChatGPT-User, все пак се появяват в AI цитиранията.
Две уговорки: едната за числото, другата за механизма.
Числото е крехко. Множеството блокиращи сайтове е взето от списък с топ 50 новинарски издания, а всички проценти в изследването се делят точно на седемнайсет, тоест знаменателят почти сигурно е седемнайсет сайта. Един сайт мести резултата с шест пункта. Отнесете се към него като към илюстрация, не като към статистика.
Механизмът обаче е солиден и точно той заслужава да се запомни. Обяснението на самите автори е, че част от AI извличането работи само с данните от резултатната страница: заглавия, адреси и описания, без изобщо да се изтегля страницата и без да се докосва вашият сървър. Документацията на OpenAI казва същото от другата страна за изтеглянията, инициирани от потребител. Правилото в robots.txt урежда обхождането. То не урежда какво системата вече знае за вас и какво може да сглоби от една резултатна страница.
Затова честната формулировка е: забраната е заявено предпочитание, което повечето прилични ботове зачитат, и не е контрол на достъпа. Ако съдържанието наистина не бива да е достижимо, това е задача на удостоверяването, а не на robots.txt, и това е същата граница, която прокарваме в чеклиста за риск от доставчици.
Сигнали за съдържание: частта от robots.txt, която никой не чете
Успоредно с блокиранията Cloudflare бута разширение, което изразява намерение, а не достъп. Политиката за сигнали за съдържание, публикувана през септември 2025 г., добавя в robots.txt ред, който отделно декларира дали разрешавате индексиране за търсене, използване като вход за AI отговор и използване за обучение. Cloudflare приложи стойност по подразбиране „търсенето разрешено, обучението забранено“ върху няколко милиона управлявани домейна, като съзнателно остави сигнала за вход неопределен. През 2026 г. се добави четвърто поле за характера на употребата, а съществуващите управлявани файлове получават стойност от типа „препратка“.
Не е принудително и никой не се преструва на обратното. Това е по-ясно заявено намерение от една обща забрана и струва един ред. Спецификацията е достатъчно къса, за да се прочете цялата.
Чеклистът преди 15 септември
- Разберете дали изобщо сте зад Cloudflare. Доста екипи не знаят, защото CDN е включен от агенция преди три години. Материалът ни за избора на хостинг за бизнес обяснява защо въпросът кой владее инфраструктурата не губи тежест.
- Прочетете текущия си robots.txt на глас. Не онзи в хранилището, а онзи, който реално се отдава. Управляваните правила могат да добавят редове, които не сте писали.
- Проверете всеки превключвател за блокиране на AI от последните две години. По новата класификация забраната за обучение блокира и многоцелевите търсещи ботове. Това е точката, която може да струва реален трафик.
- Решавайте по категории, а не по доставчици. Търсене, агенти и обучение са три отделни търговски въпроса и само единият засяга видимостта.
- Уверете се, че не блокирате по невнимание. Правило на защитната стена или настройка на бот мениджъра може да върне страница с проверка на бот, който robots.txt спокойно пуска. Проверката с curl, която публикувахме отделно, хваща това с една команда.
- Запишете датата за отказ. Прозорецът се затваря на 15 септември.
Защо изобщо се случва това
Обемите обясняват политиката по-добре от съобщенията за пресата. Докладът на Cloudflare за ботовете в мащаба на мрежата, публикуван в същия ден, съобщава, че към юни 2026 г. 52% от заявките на ботове са за обучение срещу 22% през пролетта на 2025 г., а многоцелевите ботове дават над 36% от активността. Повече от половината трафик в интернет вече не е човешки. Каквото и да мислите за аргумента с компенсацията, това са реални инфраструктурни разходи, които носят издателите.
Струва си да се помни и че заявената самоличност не е гарантирана. През август 2025 г. Cloudflare обвини Perplexity, че използва недекларирани ботове, за да заобикаля забраните, и я извади от списъка с проверени ботове. Perplexity не се съгласи с описанието. Който и да е бил прав, случаят е практическият аргумент robots.txt да се смята за сигнал, а не за ограда.
Накратко
От 15 септември 2026 г. новите домейни в Cloudflare получават блокиран по подразбиране трафик за обучение и агенти на страниците с реклама, а търсенето остава разрешено. Разпростирането на това върху безплатния план е репортаж на TechCrunch, а не документация на Cloudflare. Истинският риск е друг: многоцелевите ботове вече се преценяват по цялото си поведение, така че забраната за обучение може да блокира и Googlebot, Bingbot и Applebot. Блокирайте по функция, а не по марка: OAI-SearchBot ви струва видимост в ChatGPT, GPTBot не струва почти нищо измеримо, а изтеглящите по заявка на потребител пренебрегват robots.txt по замисъл. И забраната не спира надеждно цитирането, защото голяма част от AI извличането изобщо не докосва сървъра ви. Ако така или иначе сменяте хостинг или CDN, одитът на настройките в този момент е почти безплатен и е една от проверките, които залагаме в мигрирането на сайт. По-широкият въпрос кои фактори наистина носят цитиране, разгледахме в подредбата по сила на доказателствата.
