AI не видит новые страницы сайта: диагностика и план исправления
Почему нейросети не видят новые страницы: индексация, robots.txt, sitemap, IndexNow, SSR/SSG, internal links, freshness и мониторинг в GEO Scout.
Новая статья опубликована, но ChatGPT, Perplexity или Google AI продолжают ссылаться на старые источники. Это нормальная ситуация, но её нужно диагностировать.
Частые причины
| Причина | Как проверить |
|---|---|
| Нет в sitemap | Откройте sitemap.xml |
| Нет внутренних ссылок | Проверьте входящие ссылки внутри сайта |
| Robots.txt блокирует | Проверьте правила для AI-ботов |
| JS-only контент | Посмотрите HTML без выполнения JS |
| Нет IndexNow | Для Bing/Copilot discovery медленнее |
| Нет авторитетности | AI выбирает более сильные источники |
| Мало времени | Некоторые AI обновляются с задержкой |
План исправления
- Добавьте страницу в sitemap.
- Поставьте ссылки из хаба и related articles.
- Проверьте robots.txt.
- Убедитесь, что важный текст есть в HTML.
- Используйте IndexNow.
- Обновите
updatedAt. - Добавьте FAQ, таблицы и источники.
- Мониторьте cited sources.
Важно: видеть и цитировать — не одно и то же
AI может видеть страницу, но не использовать её. Тогда проблема не техническая, а содержательная: страница хуже отвечает на промпт, чем источники конкурентов.
Роль GEO Scout
GEO Scout показывает, какие источники AI использует сейчас. Если новая страница не появляется в cited sources, Командный центр помогает понять: нужен technical fix, внутренние ссылки, обновление контента или внешние упоминания.
Итог
AI-discovery требует технической и контентной дисциплины. Новая страница должна быть доступной, связанной, структурированной и полезной для конкретного промпта.
Частые вопросы
Почему AI не видит новые страницы сайта?
Как ускорить обнаружение новых страниц AI?
Как GEO Scout помогает с диагностикой?
Похожие статьи
AI crawler logs в Vercel: как отладить GEO-доступ
Как использовать Vercel logs и headers для проверки GPTBot, ClaudeBot, PerplexityBot, Googlebot, Bingbot, robots.txt, redirects, rendering и AI crawler readiness.
Checklist AI Crawler Readiness: готов ли сайт к GPTBot, OAI-SearchBot и другим ботам
Технический чек-лист готовности сайта к AI-краулерам: robots.txt, sitemap, SSR, коды ответа, логи, CDN, rate limits, structured data и контент без блокировок.
SSR, SSG и ISR для AI-краулеров: почему JavaScript-only сайты теряют видимость
Почему AI-боты не рендерят JS: как SSR, SSG и ISR обеспечивают видимость в ChatGPT, Perplexity, Claude и Google AI Overviews.