17 апреля 2026 г.3 мин чтения

OAI-SearchBot, GPTBot и robots.txt: как управлять доступом AI к сайту

Чем отличаются OAI-SearchBot, GPTBot и ChatGPT-User, как настраивать robots.txt без путаницы и как не закрыть сайт от поиска ChatGPT случайно.

Владислав Пучков

Основатель GEO Scout, эксперт по GEO-оптимизации

Если важно видеть, начинает ли эта работа давать результат в ответах ChatGPT, Google AI, Perplexity, Алисы и других систем, GEO Scout помогает отслеживать упоминания бренда, позиции и cited sources по рабочим запросам.

Вокруг AI-ботов быстро накопилась путаница. Кто-то открывает всё подряд, не понимая последствий. Кто-то, наоборот, закрывает и GPTBot, и OAI-SearchBot одной строкой в robots.txt, а потом теряет шанс появляться в поисковых ответах ChatGPT. На практике нужно не «разрешить AI» или «запретить AI», а аккуратно разделить сценарии: поиск, обучение и пользовательские переходы.

Почему один robots.txt теперь влияет на несколько AI-сценариев

OpenAI использует разные user-agent для разных задач. Поэтому правила robots.txt перестали быть чисто поисковой настройкой. Теперь это ещё и инструмент продуктовой политики: хотите ли вы участвовать в поиске ChatGPT, разрешаете ли обход для обучения и готовы ли к пользовательским переходам из самого продукта. Чем яснее вы это разделите, тем меньше шансов случайно отрезать себе нужный канал.

Какие сценарии нужно различать

• OAI-SearchBot отвечает за включение сайта в поиск ChatGPT.
• GPTBot относится к обходу контента для обучения базовых моделей.
• ChatGPT-User используется при действиях, инициированных пользователем.
• Правила robots.txt должны учитывать реальные разделы сайта, а не абстрактное «разрешить всё».
• После изменения robots.txt поисковому контуру ChatGPT нужно время на обновление поведения.

Как выстроить управление доступом

1. Разделить поиск и обучение

Если бизнес хочет участвовать в поисковых ответах ChatGPT, но не хочет отдавать контент на обучение, то логика должна быть разнесена по разным user-agent, а не решаться общим блоком для всех.

2. Проверить технические блокировки

Даже если robots.txt открыт, сайт могут фактически закрывать CDN, защитные плагины, rate limiting и антибот-настройки хостинга. Это нужно проверять отдельно.

3. Открывать только полезный слой сайта

Нет смысла пускать ботов в приватные разделы, административные URL и технический шум. Открывать нужно те страницы, которые вы действительно хотите видеть в cited sources и поисковых переходах.

Практический порядок действий

1. Определить политику: нужен ли поиск ChatGPT, нужен ли доступ GPTBot и какие разделы точно не должны обходиться.
2. Прописать отдельные правила для OAI-SearchBot и GPTBot, не смешивая их с общим Disallow для всех.
3. Проверить, что важные страницы не режутся CDN, WAF, антиботом и логикой авторизации.
4. Открыть для обхода статьи, FAQ, страницы товаров, услуг, компании и другие целевые URL.
5. Через сутки перепроверить, меняется ли поведение ChatGPT search по брендовым и коммерческим запросам.

Частые ошибки

• Ставить общий запрет для всех ботов и случайно закрывать поиск ChatGPT.
• Путать GPTBot с OAI-SearchBot и делать выводы не о том канале.
• Проверять только robots.txt и забывать про CDN, WAF и антибот-защиту.
• Открывать служебные и пустые разделы вместо полезных страниц.
• Не документировать решение для команды и потом терять настройку при очередном релизе.

Мини-чек-лист

• Понятно, нужен ли сайту поиск ChatGPT.
• Для OAI-SearchBot и GPTBot заданы осмысленные и раздельные правила.
• Важные страницы не режутся защитной инфраструктурой.
• Открыты только те URL, которые имеют ценность как источник.
• Команда понимает, какие правила относятся к поиску, а какие к обучению.
• После изменений проведена повторная проверка через 24 часа.

Что ещё прочитать по теме

• Технический чек-лист сайта для нейросетей
• Google AI Mode: практическое руководство по SEO
• Как оформить CMS и хостинг под IndexNow и AI-ботов