Как оформить CMS и хостинг под IndexNow и AI-ботов

IndexNow и AI-боты решают разные задачи, но в GEO-оптимизации их нужно настраивать вместе. IndexNow помогает быстрее сообщать поисковым системам об изменениях страниц. AI-боты и поисковые краулеры извлекают контент, который затем может использоваться в ответах, обзорах, AI Overviews, Perplexity, ChatGPT Search, Copilot и других интерфейсах. Если CMS отправляет устаревшие URL, хостинг блокирует краулеров, а WAF показывает CAPTCHA, AI просто не получит ваши данные.

Техническая GEO-готовность сайта - это не один файл robots.txt. Это цепочка: CMS создает правильные URL, sitemap отражает важные страницы, IndexNow отправляет изменения, сервер быстро отдает HTML, CDN не ломает доступ, логи показывают обход, а контент содержит структурированные факты.

Что должна уметь CMS

CMS должна фиксировать события, которые важны для индексации. Не все изменения равны. Если редактор поправил опечатку в старой статье, это полезно, но не критично. Если изменилась цена товара, наличие, тариф, условия доставки, описание услуги, FAQ или документация API, это нужно быстро показать поисковым системам и AI-экосистеме.

Минимальный набор событий:

CMS не должна отправлять в IndexNow мусор: страницы поиска, фильтры с параметрами, корзину, личный кабинет, UTM-дубли, сортировки, бесконечную пагинацию. Иначе вы создаете шум и снижаете качество сигналов.

Sitemap.xml: карта, а не свалка

Sitemap должен включать только канонические URL, которые вы хотите видеть в индексе и AI-ответах. Для крупного сайта лучше разделить sitemap по типам:

• sitemap-pages.xml для статических страниц;
• sitemap-blog.xml для статей;
• sitemap-products.xml для товаров;
• sitemap-categories.xml для категорий;
• sitemap-документация.xml для документации;
• sitemap-images.xml, если изображения важны для товара или бренда.

Поле lastmod должно отражать реальное существенное обновление. Не обновляйте lastmod каждый день автоматически для всех страниц. Поисковые системы и краулеры быстро начинают игнорировать такой сигнал. Если изменился только блок «похожие товары», это не всегда существенное изменение. Если обновились цена, наличие, характеристики, тарифы или инструкция, lastmod оправдан.

IndexNow: как внедрять без хаоса

IndexNow лучше подключать через очередь. CMS добавляет измененный URL в очередь, воркер отправляет пакет URL, сохраняет статус, повторяет ошибки и ограничивает частоту. Это надежнее, чем синхронно дергать API при каждом сохранении страницы.

Практическая схема:

1. Редактор или интеграция меняет страницу.
2. CMS определяет канонический URL.
3. URL попадает в очередь IndexNow.
4. Очередь дедуплицирует URL за короткий период.
5. Воркер отправляет пакет.
6. Логи сохраняют код ответа, время и источник события.

Для ecommerce особенно важно дедуплицировать обновления. Если остатки меняются каждые пять минут, не нужно отправлять один и тот же товар сотни раз в день. Группируйте изменения и отправляйте только итоговые URL с разумным интервалом.

Robots.txt для AI-ботов

Robots.txt должен быть понятным. Не надо создавать огромный файл с сотнями случайных правил, которые никто не поддерживает. Разделите логику: публичный контент открыт, технические зоны закрыты.

Пример базового подхода:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search
Disallow: /*?sort=
Disallow: /*?utm_
 
Sitemap: https://example.com/sitemap.xml
 
User-agent: GPTBot
Allow: /
 
User-agent: ChatGPT-User
Allow: /
 
User-agent: ClaudeBot
Allow: /
 
User-agent: PerplexityBot
Allow: /

Этот пример не универсален. На некоторых сайтах фильтры дают важные посадочные страницы. Тогда их нужно канонизировать и открывать выборочно. На других сайтах фильтры создают миллионы дублей. Тогда их нужно закрывать.

Главное правило: не блокируйте CSS, JS и изображения, если они нужны для понимания страницы, но не позволяйте краулерам бесконечно обходить параметры и технические маршруты.

Хостинг, CDN и WAF

Многие проблемы AI-индексации находятся не в CMS, а на уровне инфраструктуры. Сайт может отлично открываться у пользователя, но блокировать бота.

Проверьте:

Не делайте исключения «для всех ботов» бездумно. Делайте наблюдаемые правила: whitelist известных поисковых user-agent после верификации, отдельные лимиты для публичных страниц, блокировка агрессивных неизвестных скраперов, логирование с причиной блокировки.

SSR, SSG и prerendering

Если сайт построен как SPA, AI-краулер может получить пустой контейнер и набор JS-файлов. Некоторые системы умеют рендерить JavaScript, но полагаться на это рискованно. Для важных страниц нужен HTML, который уже содержит основной контент.

Приоритет для SSR/SSG:

• главная;
• страницы услуг;
• категории;
• карточки товаров;
• статьи;
• FAQ;
• документация;
• страницы сравнений и альтернатив;
• страницы тарифов;
• страницы о компании и контактов.

Если полный SSR невозможен, используйте prerendering для ключевых URL. Но не подменяйте контент для ботов. Cloaking - плохая идея: AI и поисковые системы должны видеть то же содержание, что и пользователь.

Server logs: единственный источник правды

Проверки через онлайн-инструменты полезны, но логи важнее. Только логи показывают, кто реально приходил, какие URL запрашивал, какой статус получил, сколько байт скачал и как часто возвращался.

Смотрите user-agent:

• Googlebot;
• Bingbot;
• YandexBot;
• GPTBot;
• ChatGPT-User;
• ClaudeBot;
• PerplexityBot;
• Applebot;
• Bytespider;
• других ботов, релевантных вашей аудитории.

Для каждого сегмента отвечайте на вопросы:

Если AI-боты видят только robots.txt и главную, проблема в доступности, ссылках или интересе к домену. Если они обходят страницы, но бренд не появляется в ответах, проблема может быть в контенте, авторитетности или конкурентном окружении.

Структурированные данные

Техническая доступность нужна, но AI также должен понимать сущности. Добавьте JSON-LD для основных типов страниц:

Разметка должна совпадать с видимым контентом. Не добавляйте рейтинги без отзывов, цену без видимой цены, наличие без фактического наличия. AI может использовать эти данные, но противоречия снижают доверие.

Юридический и брендовый контур

Разрешение AI-ботов - не только технический вопрос. Нужно согласовать политику с юристами, безопасностью и маркетингом. Некоторые компании хотят открывать только справочный и коммерческий контент, но закрывать обучающие материалы, исследования или пользовательский контент. Это допустимо, если правила осознанные.

Зафиксируйте:

• какие типы контента можно использовать в AI-ответах;
• какие разделы закрыты всегда;
• какие боты разрешены;
• кто отвечает за изменения robots.txt;
• как проверяются логи и инциденты;
• как обрабатываются устаревшие или ложные AI-ответы о бренде.

Как связать технику с GEO-метриками

После настройки CMS, IndexNow, robots.txt и хостинга не останавливайтесь на зеленом чек-листе. Цель - не просто «бот получил 200 OK». Цель - чтобы AI понял и процитировал ваш бренд.

Измеряйте:

• долю целевых промптов, где бренд упоминается;
• среднюю позицию в списке рекомендаций;
• цитируемые домены;
• корректность описания продукта;
• появление конкурентов рядом;
• динамику после обновлений страниц.

GEO Scout на geoscout.pro связывает техническую готовность сайта с фактическими AI-ответами, потому что показывает, какие бренды и источники появляются в выдаче моделей после изменений в CMS, контенте и доступности для краулеров.

План настройки на две недели

1. День 1–2. Соберите карту важных URL, проверьте sitemap, canonical, robots.txt и статусы.
2. День 3–4. Настройте логи по ботам, проверьте WAF, CDN, rate limits, CAPTCHA и редиректы.
3. День 5–6. Подключите IndexNow через очередь, настройте дедупликацию и логирование отправок.
4. День 7–8. Проверьте SSR/SSG или prerendering для ключевых страниц, уберите зависимость важного контента от клиентского JS.
5. День 9–10. Добавьте или исправьте Schema.org для основных типов страниц.
6. День 11–12. Откройте нужный публичный контент для AI-ботов, закрыв технические и приватные зоны.
7. День 13–14. Запустите мониторинг AI-промптов, зафиксируйте baseline и составьте список контентных доработок.

CMS и хостинг - это фундамент GEO. Если краулер не может быстро и стабильно получить страницу, никакая контентная стратегия не сработает. Но фундамент сам по себе не строит видимость. После технической настройки нужно создавать страницы, которые отвечают на вопросы выбора, и проверять, действительно ли AI использует ваш сайт как источник.