robots.txt для Shopify и AI-ботов: как открыть каталог для ChatGPT, Perplexity и Google AI

Для e-commerce AI-поиск становится каналом выбора. Пользователь спрашивает не только «что купить», но и «какой магазин доставляет быстрее», «где есть возврат», «какой бренд лучше для подарка», «есть ли натуральный состав», «какой товар подойдёт для ребёнка». Если Shopify-магазин закрывает ботам товары, коллекции и страницы условий, AI будет отвечать на основе маркетплейсов, агрегаторов, отзывов и конкурентов.

robots.txt в Shopify поэтому становится не только техническим файлом, а частью коммерческой видимости. Он решает, какие элементы каталога доступны для машинного чтения, а какие служебные зоны остаются закрытыми.

Особенность Shopify: robots.txt.liquid

В Shopify robots.txt управляется через шаблон robots.txt.liquid. Платформа имеет стандартные правила, которые закрывают технические области. Это удобно, но опасность появляется при ручной доработке. Нельзя просто скопировать robots.txt из WordPress или самописного магазина: у Shopify свои пути, параметры, шаблоны и приложения.

Перед изменением политики нужно собрать карту URL:

• product pages;
• collections;
• brand or vendor pages;
• pages about shipping, payment, returns, warranty;
• blog and buying guides;
• search and filter URLs;
• cart, checkout, account;
• app-generated pages.

Только после этого можно решать, что открывать AI-ботам.

Что AI должен видеть в Shopify-магазине

Для AI-ответов важны не только карточки товаров. Модель пытается понять ассортимент, условия покупки, ограничения и доверие к магазину.

Открывайте:

• /products/... с уникальными описаниями, характеристиками и изображениями;
• /collections/..., если коллекции имеют текст и понятную логику;
• страницы доставки, оплаты, возврата и гарантии;
• страницы брендов, если они объясняют ассортимент;
• FAQ, инструкции по выбору и size guide;
• блог с подборками, сравнениями и гайдами;
• страницы отзывов, если они доступны публично и не нарушают правила платформы.

Именно эти URL могут стать источником ответа, когда пользователь спрашивает AI, где купить товар или какой вариант выбрать.

Что обычно закрывать

Служебные зоны Shopify не должны быть частью AI-ответов:

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?sort_by=
Disallow: /*?filter.
Disallow: /*preview_theme_id=
 
Sitemap: https://example.com/sitemap.xml

Это пример логики, а не готовый универсальный файл. Некоторые магазины используют поисковые страницы как SEO-лендинги, а некоторые приложения создают полезные индексируемые URL. Поэтому каждое правило нужно проверять на конкретном магазине.

AI-боты: кого открывать и кого ограничивать

В Shopify особенно важно не спутать поисковый доступ и обучение. Если магазин хочет появляться в ChatGPT Search, Perplexity и AI Overviews, публичные коммерческие страницы должны быть доступны retrieval-ботам. Если юридическая политика запрещает использование контента для обучения, можно ограничивать обучающих агентов отдельно.

Пример подхода:

User-agent: OAI-SearchBot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account
 
User-agent: GPTBot
Disallow: /
 
User-agent: PerplexityBot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account

Для магазина важен баланс. Полное закрытие AI-ботов защищает контент, но может снизить вероятность попадания товаров в ответы и рекомендации. Полное открытие без фильтрации увеличивает шум и нагрузку.

Коллекции и фильтры

Коллекции в Shopify часто являются ключевыми страницами для AI. Они объясняют ассортимент лучше, чем отдельная карточка. Например, коллекция «подарки для дома до 5000 рублей» может отвечать на конкретный AI-запрос лучше, чем продуктовая карточка.

Но фильтры и сортировки могут создавать тысячи дублей. Если URL с параметрами меняет только порядок товаров или узкую комбинацию фильтров без уникального текста, такие страницы лучше закрыть или канонизировать. Если фильтр превращён в полноценный landing page с текстом, заголовком, FAQ и schema, его можно оставить доступным.

Связка с Product Schema и Merchant Center

robots.txt не заменяет структурированные данные. Для Shopify-магазина AI-готовность строится из нескольких слоёв:

• доступность важных URL через robots.txt;
• корректные canonical;
• Product schema на карточках;
• Offer, priceCurrency, availability и shippingDetails;
• Merchant Center или аналогичный product feed;
• FAQ на страницах условий и категорий;
• понятные тексты коллекций.

Если бот может открыть страницу, но на ней нет цены, наличия, доставки и характеристик, AI всё равно будет искать данные на сторонних источниках.

Как проверять после внедрения

Практический процесс:

1. Откройте /robots.txt и проверьте фактический файл Shopify.
2. Проверьте sitemap и наличие товаров/коллекций.
3. Убедитесь, что важные страницы не закрыты noindex.
4. Посмотрите логи CDN или Shopify-приложений, если они доступны.
5. Проверьте prompts: «где купить», «лучший магазин», «доставка», «возврат», «цена», «сравнение товаров».

В GEO Scout можно завести ecommerce-кластер и смотреть, растёт ли частота упоминаний магазина, появляются ли URL каталога в cited sources и не перехватывают ли ответы маркетплейсы. Для Shopify это особенно важно: AI может рекомендовать не производителя, а площадку, где товар проще понять и купить.

Мини-чек-лист

• Products и collections открыты, если они полезны и индексируемы.
• Cart, checkout, account и preview закрыты.
• Фильтры и сортировки не создают crawl trap.
• OAI-SearchBot не заблокирован вместе с GPTBot.
• Product Schema и shipping data заполнены.
• Sitemap содержит актуальные товары и коллекции.
• Эффект проверяется в AI-ответах, а не только в robots.txt.

Shopify-магазин должен быть понятен AI как коммерческий источник: что продаётся, кому подходит, сколько стоит, как доставляется и почему ему можно доверять. robots.txt задаёт входную дверь к этому знанию.