БесплатноПервая проверка AI-видимости за 5 минут, дальше обновление раз в 7 днейПопробовать
GEO Scout
Начать
Блог
Обновлено 3 мин чтения
AI-индексация

AI не видит новые страницы сайта: диагностика и план исправления

Почему нейросети не видят новые страницы: индексация, robots.txt, sitemap, IndexNow, SSR/SSG, internal links, freshness и мониторинг в GEO Scout.

AI-индексацияAI-краулерыtechnical GEOновые страницы
Владислав Пучков
Владислав Пучков
Основатель GEO Scout, эксперт по GEO-оптимизации

Новая статья опубликована, но ChatGPT, Perplexity или Google AI продолжают ссылаться на старые источники. На середину 2026 года это по-прежнему нормальная ситуация: разные AI обновляют свой индекс с разной скоростью, а обнаружение новой страницы и её цитирование — два независимых события. Задачу нужно диагностировать по шагам.

Частые причины

ПричинаКак проверить
Нет в sitemapОткройте sitemap.xml
Нет внутренних ссылокПроверьте входящие ссылки внутри сайта
Robots.txt блокируетПроверьте правила отдельно для поисковых (OAI-SearchBot, PerplexityBot, Claude-SearchBot) и обучающих ботов (GPTBot, ClaudeBot, Google-Extended)
JS-only контентПосмотрите HTML без выполнения JS
Нет IndexNowДля Bing, Copilot и Яндекса discovery медленнее (Google протокол по-прежнему не поддерживает)
Нет авторитетностиAI выбирает более сильные источники
Мало времениНекоторые AI обновляются с задержкой

Ключевой нюанс 2026 года: у крупных провайдеров разные user-agent под разные задачи. Поисковые краулеры (OAI-SearchBot для ChatGPT Search, PerplexityBot, Claude-SearchBot) индексируют страницы, чтобы отвечать на живые запросы, а обучающие (GPTBot, ClaudeBot, Google-Extended) собирают данные для тренировки моделей. Отдельно работают user-triggered агенты (ChatGPT-User, Claude-User) — они заходят на URL, когда пользователь явно просит открыть ссылку. Если в robots.txt случайно закрыт именно поисковый бот, страница выпадает из AI-поиска, даже если контент идеален.

План исправления

  1. Добавьте страницу в sitemap и проверьте, что дата в <lastmod> актуальна.
  2. Поставьте ссылки из хаба и related articles.
  3. Проверьте robots.txt — убедитесь, что поисковые AI-боты (OAI-SearchBot, PerplexityBot, Claude-SearchBot) не заблокированы.
  4. Убедитесь, что важный текст есть в HTML без выполнения JS (SSR/SSG).
  5. Отправьте URL через IndexNow — это мгновенно уведомляет Bing, Copilot и Яндекс (в 2026 году порядка каждого пятого клика в Bing приходит на страницы, поданные через IndexNow).
  6. Обновите updatedAt и <lastmod> в sitemap.
  7. Добавьте FAQ, таблицы и источники.
  8. Мониторьте цитируемые источники.

Важно: видеть и цитировать — не одно и то же

AI может видеть страницу, но не использовать её. Тогда проблема не техническая, а содержательная: страница хуже отвечает на промпт, чем источники конкурентов.

Роль GEO Scout

GEO Scout показывает, какие источники AI использует сейчас. Если новая страница не появляется в цитируемых источниках, Командный центр помогает понять: нужен technical fix, внутренние ссылки, обновление контента или внешние упоминания.

Итог

AI-discovery требует технической и контентной дисциплины. Новая страница должна быть доступной, связанной, структурированной и полезной для конкретного промпта.

Частые вопросы

Почему AI не видит новые страницы сайта?
Причины: страница не в sitemap, нет внутренних ссылок, robots.txt блокирует ботов, контент рендерится только JS, нет IndexNow, низкая авторитетность или AI ещё не обновил источники.
Как ускорить обнаружение новых страниц AI?
Добавьте страницу в sitemap, свяжите внутренними ссылками, проверьте robots.txt, используйте IndexNow для Bing/Copilot, обеспечьте SSR/SSG и обновите llms.txt при необходимости.
Как GEO Scout помогает с диагностикой?
GEO Scout помогает увидеть, цитирует ли AI новые страницы, какие источники используются и какие technical GEO задачи нужно исправить.

Похожие статьи