Проверка robots.txt
Введите адрес сайта: проверим robots.txt на ошибки и покажем, кто может читать сайт — поисковые системы, AI-поиск ChatGPT, Claude и Perplexity, AI-агенты и боты для обучения моделей. Для закрытых AI-ботов подготовим готовые правила.
Бесплатно и без регистрации. Читаем /robots.txt, главную страницу и карты сайта, это занимает до 15 секунд.
Четыре группы ботов — и от каждой зависит своё
Закрыть «нейросети» одной строкой нельзя: у каждой компании несколько ботов с разными задачами. Одни приходят за страницами для ответов, другие собирают тексты для обучения, третьи выполняют задания пользователя.
AI поиск
Читают страницы в момент ответа нейросети. Если их закрыть, сайт перестанут цитировать в ChatGPT, Claude и Perplexity.
OAI-SearchBot · ChatGPT-User · Claude-SearchBot · PerplexityBot
Поисковые системы
Классический поиск. Поиск с Алисой отвечает по индексу Яндекса, AI Overviews — по индексу Google, поэтому эти боты важны и для AI-ответов.
YandexBot · Googlebot · Bingbot
AI обучение
Собирают тексты для обучения моделей. Их закрытие не убирает сайт из ответов с поиском — решайте по своей политике использования контента.
GPTBot · ClaudeBot · Google-Extended · CCBot
AI агенты
Действуют от имени пользователя: сравнивают предложения, заполняют формы, оформляют заказы.
ChatGPT Agent · Operator · Gemini-Deep-Research
Как настроить robots.txt для поисковых и AI-ботов
- 01
Проверьте, что поиск открыт
Никаких Disallow: / для YandexBot и Googlebot — иначе сайт выпадет и из поиска, и из ответов Алисы и AI Overviews.
- 02
Откройте AI-поиск
OAI-SearchBot, ChatGPT-User, Claude-SearchBot и PerplexityBot должны иметь доступ к страницам, которые вы хотите видеть в ответах.
- 03
Решите про обучение
GPTBot, ClaudeBot и Google-Extended можно закрыть, если не хотите отдавать тексты в обучение моделей. На цитирование в ответах с поиском это не влияет.
- 04
Укажите карту сайта
Строка Sitemap: с полным адресом помогает ботам быстрее находить новые страницы.
- 05
Проверьте ещё раз
После правок запустите проверку снова. Помните, что robots.txt — рекомендация: для жёсткой блокировки нужны правила на сервере или в CDN.
Пример: AI-поиск открыт, обучение закрыто
User-agent: * Allow: / # Обучение моделей — по желанию User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / # AI-поиск — оставьте открытым User-agent: OAI-SearchBot Allow: / Sitemap: https://example.ru/sitemap.xml
Правила для конкретного бота заменяют общие правила из группы User-agent: * — поэтому служебные разделы, закрытые для всех, нужно повторить в группе такого бота.