Доступ AI-ботов к сайту и правда про llms.txt

Часть цикла

Это подстатья руководства «GEO: оптимизация под AI-поиск» из цикла «Продвижение сайта».

Прежде чем нейросеть процитирует страницу в веб-режиме, её робот должен эту страницу скачать. Это техническая, но критичная часть GEO: если AI-бот закрыт, никакая работа над контентом не поможет, вас просто не прочитают. Здесь же я разберу llms.txt, вокруг которого больше всего мифов.

Кто такие AI-боты

У AI-краулеров есть важная тонкость. Один и тот же сервис может ходить на сайт с разными целями, и для них заведены разные имена ботов. Полезно различать два назначения.

Краулеры для обучения моделей. Качают контент, чтобы на нём учить нейросеть. Закрытие такого бота не убирает вас из веб-ответов, оно лишь не даёт использовать ваши тексты для тренировки.

Краулеры для веб-поиска. Ходят на сайт в момент ответа пользователю, чтобы достать свежие факты и процитировать. Вот этих закрывать опаснее всего, именно от них зависит попадание в AI-ответ.

Вот основные имена ботов, которые встречаются в логах:

Бот	Кто	Зачем ходит
GPTBot	OpenAI	сбор данных для обучения
OAI-SearchBot	OpenAI	поиск для ответов ChatGPT
ClaudeBot	Anthropic	сбор данных для обучения
PerplexityBot	Perplexity	индекс и ответы Perplexity
Google-Extended	Google	разрешение на обучение Gemini
Googlebot	Google	обычный поиск и AI-функции Google

Отдельно про Google. У него нет специального бота под AI Overviews. Эти ответы обслуживает обычный Googlebot, а Google-Extended управляет только тем, можно ли использовать ваш контент для обучения моделей. Поэтому закрыть Google-Extended, чтобы «не кормить ИИ», но остаться в AI Overviews, вполне реально. А вот закрытие Googlebot выкинет вас и из обычного поиска, и из AI-ответов разом.

Как управлять доступом через robots.txt

Доступом AI-ботов управляют обычным robots.txt, отдельными блоками по User-agent. Это даёт точечный контроль. Например, можно разрешить поисковых ботов и ботов веб-поиска, но запретить сбор для обучения:

# Пускаем для веб-поиска и ответов
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Запрещаем использовать контент для обучения
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Решение, что именно закрывать, зависит от вашей цели. Если вам важно попадать в AI-ответы и не жалко контента на обучение, не закрывайте ничего. Если принципиально не кормить модели своими текстами, закрывайте обучающих ботов (GPTBot, ClaudeBot, Google-Extended), но оставляйте поисковых (OAI-SearchBot, PerplexityBot, Googlebot).

Частая ошибка

Я регулярно встречаю сайты, где когда-то «на всякий случай» запретили всех AI-ботов одной строкой, а теперь не понимают, почему их не цитируют нейросети. Загляните в свой robots.txt прямо сейчас и проверьте, не закрыли ли вы случайно поисковых AI-ботов. Это первое, что я смотрю при разборе AI-видимости.

Помните, что robots.txt это договорённость, а не замок. Добропорядочные боты крупных компаний её соблюдают, но техническая защита контента это отдельная история, не про SEO.

Правда про llms.txt

Теперь к файлу, вокруг которого построена целая индустрия продающих статей. llms.txt это предложенный в 2024 году формат, его автор Джереми Ховард, файл в корне сайта, который должен в удобном для нейросети виде описывать структуру сайта и давать ссылки на важные страницы. Звучит логично. Проблема в том, что на практике он почти не работает.

Цифры на середину 2026 года выглядят отрезвляюще. По исследованию SE Ranking на 300 тысячах доменов файл внедрён лишь у 10 процентов сайтов, и между наличием llms.txt и частотой цитирования в нейросетях нет никакой связи. Больше того, когда переменную llms.txt убирали из их статистической модели, её точность только росла, то есть файл добавлял шум, а не пользу. К тем же выводам пришли в независимом разборе исследования на Search Engine Journal. Сами AI-краулеры этот файл почти не запрашивают, на него приходятся доли процента их визитов. Ни OpenAI, ни Google, ни Anthropic публично не подтвердили, что читают этот файл в продакшене. Формального стандарта у него тоже нет, это пока договорённость сообщества.

Главное и самое весомое. Google прямо пишет, что для попадания в AI Overviews и AI Mode нет дополнительных требований и не нужно создавать машиночитаемые файлы, текстовые файлы для AI или специальную разметку, как нет и особой нужной schema.org. Работают обычные основы поиска (Google Search Central про AI-функции).

Где llms.txt реально полезен

Один сценарий у файла рабочий, но не тот, что продают. Инструменты для разработчиков, вроде ассистентов в редакторах кода, действительно подтягивают llms.txt у документации, чтобы быстрее в ней ориентироваться. Так что для сайта с технической документацией файл имеет смысл. Для обычного коммерческого или контентного сайта в расчёте на поисковые нейросети это потраченное время.

Мой вывод простой. Не тратьте силы на llms.txt в надежде попасть в ChatGPT или AI Overviews, это не работает. Те же часы вложите в доступность для ботов, структуру и факты на странице. Это влияет на цитирование реально, а не на бумаге.

Чек-лист по доступу

1. Откройте /robots.txt и проверьте, не закрыты ли случайно поисковые AI-боты.
2. Решите осознанно, что делать с обучающими ботами, и пропишите это явными блоками.
3. Убедитесь, что важные страницы вообще доступны для сканирования и индексируются, для AI-ботов действуют те же правила, что и для Googlebot.
4. Не создавайте llms.txt в расчёте на рост AI-видимости, эффекта не будет.

Глубже по теме

• Назад к обзору: GEO и оптимизация под AI.
• Как цитируют движки: Google AI Overviews и ChatGPT с Perplexity.
• Основа доступности: сканирование и индексация.
• К карте цикла: продвижение сайта.