Новая мета в SEO под AI
как писать llms.txt, оптимизировать сайт под GEO AI и управлять ИИ-трафиком
В 2024–2025 году SEO выходит за рамки классических подходов. Всё больше трафика приходит не из поисковых систем, а из генеративных моделей: ChatGPT, Claude, Perplexity, Gemini и их встроенных поисков. А значит, оптимизировать сайты нужно не только под Google и Яндекс, но и под LLM — большие языковые модели.
На основе практики проекта Cryptofishka.com и личного опыта Кирилла Комаленкова — криптомаркетолога и SEO/GEO-эксперта — рассказываем, как готовить сайты под генеративную эпоху, что такое llms.txt, и как это будет влиять на видимость вашего проекта в будущем.
1. SEO и GEO AI: новая реальность генеративного трафика
Традиционное SEO — это всё ещё база: техническая оптимизация, ссылки, семантика, контент. Но уже сейчас появляются два новых слоя:
- GEO AI — генеративные модели, учитывающие геолокацию пользователя и другие факторы.
- LLM SEO — видимость сайта в ответах ИИ (встроенных в поисковики, ассистенты и боты).
Пример: если пользователь из Екатеринбурга спрашивает: «Где найти надёжный криптообменник в России?», Perplexity или ChatGPT отдадут приоритет локальным источникам с явной гео-связкой и репутацией.
Как это работает на Cryptofishka.com:
- Используем гео-ориентированные ключевые фразы: «майнинг в РФ», «лучшие криптобиржи СНГ».
- Упаковываем контент в структурированные блоки: FAQ, тезисы, короткие ответы.
- Добавляем локальные кейсы и авторскую аналитику, на которую могут ссылаться LLM.
- Оптимизируем статьи под резюмируемость ИИ — чтобы модель могла быстро «понять суть» и сослаться на нас.
2. robots.txt + llms.txt: новая пара для управления ИИ-трафиком
Если раньше было достаточно файла robots.txt, чтобы управлять поведением краулеров, то теперь нужно внедрять ещё один инструмент — llms.txt. Он становится стандартом для взаимодействия с языковыми моделями.
Что такое llms.txt?
Это текстовый файл (в формате Markdown или TXT), расположенный по адресу:
https://yourdomain.com/llms.txt
Он описывает ключевой контент, структуру, политику использования материалов, предпочтения и контактную информацию, понятную для ИИ-агентов. То есть, он подсказывает LLM:
- Что у вас есть на сайте
- Что можно использовать, а что нет
- Как правильно вас цитировать
- Как связаться по партнёрству
3. Почему llms.txt становится стандартом?
- Anthropic (Claude) используют
llms.txtв своей официальной документации: https://docs.anthropic.com/llms.txt
- Google включил
llms.txtв спецификациюAgents-to-Agents (A2A): https://github.com/google-a2a/A2A/blob/main/llms.txt за ним на подхвате уже и Яндекс, и еще + один фактор ранжирования в SEO (неплохо!)
- Ряд проектов — от крипто-СМИ до e-commerce — уже получают трафик из ИИ, и
llms.txtпомогает повысить точность цитирования, сократить искажения и укрепить позиционирование.
4. Как выглядит рабочий llms.txt — шаблон от Cryptofishka.com
# llms.txt для Cryptofishka.com — крипто-медиа
# Автор: Кирилл Комаленков / Cryptofishka.com
# Назначение: контроль доступа языковых моделей (LLMs) к контенту сайта
User-Agent: *
Allow: /
Disallow: /admin/
Disallow: /wp-login.php
Disallow: /wp-json/
Disallow: /checkout/
Disallow: /cart/
Disallow: /user/
Disallow: /private/
Crawl-delay: 10
# Условия использования контента сайта языковыми моделями:
# ✅ Разрешено:
# - Индексация и генерация ответов с отсылкой на источник (Cryptofishka.com)
# - Включение ссылок на оригинальные материалы в ответах AI
# - Аналитическое цитирование с указанием авторства
# ❌ Запрещено:
# - Обучение языковых моделей на полном корпусе материалов без согласия
# - Перепродажа или агрегирование контента без разрешения
# - Генерация ответов без ссылки на источник
# - Массовое парсинг/скрейпинг статей, обзоров, кейсов, авторских колонок
# Контакт для партнёрств и разрешений:
Contact: ХХХХХХХХХХ@gmail.com
# Проект Cryptofishka — криптомедиа о трендах, проектах, трейдинге, майнинге и Web3-маркетинге
Telegram: https://t.me/crypto_fish_ka
Website: https://cryptofishka.com📍 Разместите его по адресу:https://cryptofishka.com/llms.txt
5. Как связать llms.txt с robots.txt
Добавьте в robots.txt строку:
LLM-policy: https://cryptofishka.com/llms.txt
И дополните его вот так:
# robots.txt для Cryptofishka.com
# CMS: WordPress
# Тематика: криптовалюты, Web3, трейдинг, майнинг, криптомаркетинг
# Версия: PRO
# ========================
# 🔍 Основные поисковые роботы
# ========================
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /user/
Disallow: /private/
Disallow: /tag/
Disallow: /?s=
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 5
# ========================
# 🤖 Разрешение для ИИ-агентов (LLMs)
# ========================
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: CCBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
# ========================
# 📈 SEO-инструменты (аналитика)
# ========================
User-agent: AhrefsBot
Disallow: /private/
User-agent: SemrushBot
Disallow: /private/
User-agent: MJ12bot
Disallow: /private/
User-agent: Screaming Frog SEO Spider
Allow: /
# ========================
# 🗺️ Карта сайта и политика
# ========================
Sitemap: https://cryptofishka.com/sitemap_index.xml
Host: cryptofishka.com
LLM-policy: https://cryptofishka.com/llms.txt
# ========================
# 📬 Контакты
# ========================
Contact: ХХХХХХХХ@gmail.com
Telegram: https://t.me/crypto_fish_ka
Website: https://cryptofishka.com6. Кто читает llms.txt, ai.txt и подобные?
Пока что официального стандарта нет, но:
| Бот | Что читает | Поддерживает |
|---|---|---|
| GPTBot (OpenAI) | robots.txt | Да |
| ClaudeBot (Anthropic) | llms.txt | Частично |
| CCBot (Common Crawl) | robots.txt | Да |
| PerplexityBot | robots.txt | Да |
| Некоторые LLM | ai.txt, llms.txt | Экспериментально |
7. Где автоматизировать генерацию llms.txt
Если лень писать вручную — есть куча бесплатных генераторов в выдаче яндекса и гугла, но лучше использовать родной ChatGPT
Он создаёт базовый файл по вашему описанию, который можно доработать под бренд.
8. Заключение: новая SEO-мета
- SEO в 2025 году — это уже не просто про Google и Яндекс.
- Сайты теперь должны быть понятны LLM: кратко, структурировано, прозрачно.
-
llms.txtстановится важнейшим элементом AI-оптимизации. - Трафик из ChatGPT и других агентов будет только расти — и Cryptofishka.com уже сегодня этим пользуется.
- GEO – элементы Crypto SEO !?
About The Author
