Cloudflare тихо режет твой трафик из Google. И ты можешь не заметить

Представь: у тебя ничего не менялось на сайте. Ни контента, ни ссылок, ни структуры. А трафик из органики падает в ноль, и позиции обнуляются, будто сайт вообще исчез для Google. Первая мысль — санкции, алгоритмическое обновление, происки конкурентов. А на деле причина куда банальнее и обиднее: кто-то на этапе настройки хостинга или CDN перекрыл кислород самому Googlebot.

Это не гипотетическая история для острастки. Search Engine Roundtable в очередной раз разбирает случай, когда неправильная конфигурация Cloudflare блокирует поискового робота — и сайт вылетает из индекса. Причём Cloudflare тут просто самый популярный пример, та же беда бывает с любым CDN или хостом, где включена защита от ботов.

Почему это происходит

Механика простая и от этого ещё более раздражающая. Команда — своя или на стороне провайдера — включает Bot Management, Crawl Control или очередное WAF-правило, чтобы отсечь спам-ботов, скликивателей рекламы, парсеров. Благая цель. Но правила настроены грубо, по остаточному принципу «заблокировать всё подозрительное», и под раздачу попадает Googlebot, Google-Ads-bot и прочие легитимные User-agent'ы поисковика.

Дальше по цепочке: краулер получает 403 или капчу вместо страницы, Google перестаёт получать доступ к контенту, страницы постепенно выпадают из индекса, а следом обнуляются и позиции. Никакого алгоритмического наказания — просто техническая дверь, захлопнутая своими же руками.

Отдельно неприятно, что это часто происходит не по злому умыслу и даже не по недосмотру именно твоей команды. Провайдер обновил дефолтные правила защиты, хостинг включил новый «более умный» файрвол, кто-то из подрядчиков настраивал CDN и не подумал о поисковиках вообще. Ты можешь не трогать сайт неделями — а трафик рухнет всё равно.

Кому особенно больно

Быстрее и заметнее всего это бьёт крупные и чувствительные к трафику проекты: e-commerce, контентные сайты, YMYL-тематики, локальный бизнес с сильной зависимостью от органики. Но по-честному — это применимо ко всем. Если у сайта есть Cloudflare или похожий слой защиты, риск есть в любой нише, включая iGaming и аффилиатные проекты, где часто как раз стоит агрессивная защита от ботов и парсеров конкурентов.

Что делать, чтобы не влететь

На этапе конфигурации хостинга или CDN нужно явно и осознанно разрешить User-agent'ы Google: Googlebot, Google-Ads-bot и прочие официальные боты поисковика. Не «по умолчанию должно работать», а проверено вручную.

Дальше — регулярно проверять настройки Crawl Control, Bot Management и WAF-правил в Cloudflare. Правила меняются, обновляются дефолты, появляются новые «умные» фильтры — и то, что работало вчера, может начать блокировать поисковика сегодня без единого уведомления.

Обязательно держи мониторинг статистики сканирования в Google Search Console. Резкое падение количества запросов краулера — это первый и самый честный сигнал, что что-то пошло не так технически, задолго до того, как просядут позиции.

Если работаешь с IT-подрядчиком или планируешь смену настроек CDN — заранее требуй тестирование доступности для поисковиков перед выкладкой в прод. Это одна строчка в чек-листе, а спасает от недель восстановления трафика.

И последнее — не забывай про robots.txt. Он должен ясно и без двусмысленности документировать, каким ботам вход разрешён, а каким нет. Это не панацея от проблем с CDN, но лишний уровень прозрачности для всех, кто потом будет разбираться в инциденте.

Здесь работает та же логика, что и в остальном SEO: постоянное внимание к техническим деталям бьёт разовые героические спасения после падения. Проще один раз выстроить процесс проверки, чем потом неделями объяснять клиенту, почему трафик исчез без видимой причины. Если нужно провести технический аудит и закрыть подобные дыры на своём проекте — можно обратиться за аудитом и настройкой SEO.