Robots.txt не спасёт тебя от AI Overviews. Пора это понять

Есть один миф, который я слышу постоянно, и он дорого стоит тем, кто в него верит.

Миф простой: «у нас закрыто в robots.txt — значит, в AI Overviews мы не попадём, и это наш способ контроля». Люди действительно так думают. Управляют видимостью в ИИ-поиске тем же файлом, которым закрывали от индексации админку сайта десять лет назад. И искренне удивляются, когда контент либо неожиданно всплывает в выдаче с ИИ-ответами, либо, наоборот, теряет трафик и видимость там, где его ждали.

Дело в том, что robots.txt — это не про AI Overviews. Никогда был. Он про краулинг — можно роботу заходить на страницу или нет. А AI Overviews работает по другой логике доступа и других директив от Google, специально заточенных под управление показом контента в ИИ-ответах. Это разные механизмы. И если ты применяешь инструмент не по назначению, результат будет соответствующий — то есть никакой, кроме потери контроля там, где контроль тебе действительно нужен.

Почему это критично именно сейчас

Google явно говорит: контент внутри AI Overviews в 2026 году будет только расти в весе — там появляются целые «top stories», ссылки на новости, данные, структурированные ответы. Для новостных изданий, YMYL-проектов и любых сайтов с ценным контентом это огромный кусок видимости. Кто-то получит трафик просто за счёт того, что его контент вообще может туда попасть. Кто-то — потеряет его, потому что был убеждён, что уже всё «настроил», а на деле настроил не то.

Это ровно та ситуация, когда невнимательность на техническом уровне бьёт по бизнесу напрямую. Ты можешь производить отличный контент, вкладываться в E-E-A-T, работать над авторитетностью — и всё это не сыграет, если на входе стоит неправильный барьер, который ты сам не заметил.

Что делать, если ты publisher или держишь ценный контент

Первое — прекратить полагаться на robots.txt в вопросах AI Overviews. Точка. Это не тот инструмент. Для управления показом в ИИ-ответах у Google есть отдельные директивы, и разбираться в них придётся отдельно — так же, как когда-то разбирались с canonical или hreflang.

Второе — пройти по текущим настройкам robots.txt и честно спросить себя: что мы вообще пытались этим закрыть, и решает ли это правильную задачу. У многих проектов файл собирался годами, слоями, без пересмотра — там может быть закрыто то, что давно нужно открыть, и открыто то, что давно пора закрыть.

Третье — если твоя аудитория ищет что-то через ИИ-ответы (а новостной, аналитический, справочный контент именно так и находят всё чаще), убедись, что этот контент индексируется и доступен для AI. Прятать ценность от ИИ-поиска в 2026 году — это стратегическая ошибка, а не осторожность.

Четвёртое — мониторь появление своего контента в AI Overviews и смотри, как это влияет на трафик. Это не разовая настройка «поставил и забыл». Ландшафт ИИ-поиска меняется быстрее, чем менялась обычная органика последние годы.

И последнее — документируй правильные настройки. Не держи это в голове одного человека, который «разобрался». На новых проектах эта ошибка будет повторяться снова и снова, если знание не зафиксировано в чек-листе.

Что это значит для iGaming и affiliate-проектов

Здесь та же логика, только жёстче. В беттинге и гемблинге контент часто и так живёт под давлением — гео-ограничения, регуляторка, YMYL-требования к точности. Добавь сюда неправильно настроенный robots.txt, и ты рискуешь либо случайно засветить в ИИ-ответах то, что не должно там быть по регуляторным причинам, либо, наоборот, потерять видимость там, где твой обзор или гайд реально мог бы приводить трафик. В обоих случаях цена ошибки — не абстрактная, а вполне измеримая в потерянных пользователях.

Технические настройки — это не второстепенная часть SEO, это фундамент, на котором всё остальное либо стоит, либо разваливается. И если у тебя есть подозрение, что с директивами для AI Overviews что-то настроено вслепую, лучше проверить это до того, как трафик начнёт падать, а не после — с этим и многим другим на техническом уровне можно разобраться через наши услуги.