llms.txt для Astro: статический GEO-чеклист для AI-краулеров

Astro - один из самых удобных фреймворков для GEO, потому что краулеры часто получают полный HTML без выполнения JavaScript. Но это преимущество теряется, если сайт блокирует ботов, не имеет sitemap, плодит дубли URL или переносит важный контент в client-only компоненты.

Цель внедрения: AI-краулеры должны находить canonical-страницы, получать полный контент, понимать entities через structured data и цитировать правильные URL.

Корневые файлы

Статический вариант:

public/llms.txt
public/robots.txt
public/favicon.svg

Генерируемые routes:

src/pages/llms.txt.ts
src/pages/sitemap.xml.ts

Итоговые URL:

/llms.txt
/robots.txt
/sitemap.xml

Шаблон llms.txt

# Example Astro Site
 
> Официальные product, docs, pricing и customer proof материалы.
 
## Product
- https://example.com/
- https://example.com/features/
- https://example.com/pricing/
 
## Learn
- https://example.com/blog/
- https://example.com/docs/
 
## Trust
- https://example.com/customers/
- https://example.com/security/

Используйте URL, которые вы действительно хотите дать AI-системам для понимания и цитирования.

robots.txt

User-agent: GPTBot
Allow: /
 
User-agent: ClaudeBot
Allow: /
 
User-agent: PerplexityBot
Allow: /
 
User-agent: *
Disallow: /admin/
Disallow: /preview/
Disallow: /api/
 
Sitemap: https://example.com/sitemap.xml

Preview, CMS и admin-маршруты лучше блокировать. Public docs, blog, customers и product pages должны быть доступны.

Чеклист static HTML

curl -A "GPTBot/1.0" -s https://example.com/features/ | sed -n '1,120p'

Проверьте, что raw HTML содержит:

• один понятный H1;
• page-specific body text;
• internal links;
• canonical link;
• metadata;
• JSON-LD;
• FAQ, если он есть на странице;
• отсутствие зависимости critical content от hydration.

Astro Islands

Используйте islands для calculators, demos, forms, carousels и filters. Критичный контент держите вне client-only islands:

---
const faq = [
  { question: 'Кому подходит?', answer: 'B2B-командам, которые сравнивают vendors.' },
];
---
 
<h1>AI-ready product analytics</h1>
<p>Server-visible объяснение продукта для покупателей и AI-краулеров.</p>
 
<InteractiveDemo client:load />

Демо может гидратироваться позже. Объяснение должно быть доступно сразу.

Canonical и collections

Astro content collections могут создавать много URL. Избегайте дублей с trailing slash, tag archives без canonical-стратегии и локалей без language links.

У каждой статьи, docs-страницы и case study должны быть:

• canonical URL;
• published и updated dates;
• author;
• breadcrumb;
• стабильный slug;
• related links.

Structured Data

Используйте Article для blog posts, FAQPage для FAQ, BreadcrumbList для навигации, Organization для бренда и SoftwareApplication для SaaS.

<script type="application/ld+json" set:html={JSON.stringify({
  '@context': 'https://schema.org',
  '@type': 'Article',
  headline: Astro.props.title,
  datePublished: Astro.props.publishedAt,
  dateModified: Astro.props.updatedAt,
})} />

Логи

Даже static hosting имеет логи через Cloudflare, Vercel, Netlify или CDN. Смотрите, получают ли AI-краулеры 200 для публичных URL и не тратят ли crawl budget на redirects, old slugs или blocked preview pages.

Astro GEO Checklist

1. Опубликовать /llms.txt.
2. Проверить, что robots.txt не блокирует полезные страницы.
3. Сгенерировать sitemap из collections.
4. Держать critical content в static HTML.
5. Добавить canonical URL и schema.
6. Проверить raw HTML bot user-agent.
7. Мониторить citations в GEO Scout на geoscout.pro.

Astro уже даёт правильную модель рендеринга. GEO-задача - сделать результат структурированным, доступным и измеримым.