# === НЕЙРОСЕТИ для рекомендаций ===

# ChatGPT (OpenAI)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Claude (Anthropic)
User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

# Google Gemini/Bard
User-agent: Google-Extended
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Common Crawl (используется многими AI)
User-agent: CCBot
Allow: /

# Meta AI
User-agent: FacebookBot
Allow: /

User-agent: meta-externalagent
Allow: /

# Bing/Copilot
User-agent: Bingbot
Allow: /

КРИТИЧЕСКАЯ ОШИБКА, которую допускают 90% сайтов:

❌ Неправильно (не работает):

[другие правила]
User-agent: GPTBot
Allow: /

User-agent: *
Disallow: /admin/

Если User-agent: * стоит ПОСЛЕ правил для нейросетей — он перезаписывает их!

✅ Правильно (работает):

User-agent: *
Disallow: /admin/

User-agent: GPTBot
Allow: /

Общие правила (User-agent: *) всегда в начале, специфичные боты — после.

Шаг 4: Сохраните и очистите кэш

1. Сохраните изменённый robots.txt
2. Загрузите на сервер (если редактировали локально)
3. Очистите кэш:
   • Кэш хостинга (через панель управления)
   • CDN (Cloudflare, etc.)
   • CMS-кэш (если используете WordPress, Битрикс и др.)

Шаг 5: Проверьте результат

1. Откройте в браузере в режиме инкогнито: вашсайт.ru/robots.txt
2. Убедитесь, что видите новые правила для AI-ботов
3. Подождите 24-48 часов — нейросетям нужно время на пересканирование

Частые ошибки при настройке robots.txt для AI

Ошибка 1: User-agent: * в конце файла

Симптом: Добавили правила для GPTBot, но доступ всё равно закрыт.
Причина: Блок User-agent: * с запретами стоит после правил для нейросетей и перезаписывает их.
Решение: Переместите User-agent: * в начало файла.

Ошибка 2: Слишком широкий Disallow для всех

Пример ошибки:

User-agent: *
Disallow: /

Это блокирует ВСЕ страницы для ВСЕХ ботов.

Решение: Используйте точечные запреты только для служебных разделов.

Ошибка 3: Не очищен кэш

Изменения в robots.txt не применяются мгновенно из-за кэширования на разных уровнях.

Решение: Очистите кэш хостинга, CDN, CMS и подождите 10-15 минут.

Ошибка 4: Опечатки в именах ботов

GPTbot вместо GPTBot — регистр важен!

Правильные названия:

• GPTBot (не GPTbot)
• anthropic-ai (не Anthropic-AI)
• PerplexityBot (с большой P и B)

Безопасность: что увидят нейросети на вашем сайте

Что на сайте БУДЕТ доступно AI:

✅ Публичные страницы сайта (товары, услуги, цены, контакты) ✅ Статьи блога ✅ Описания продуктов/услуг ✅ Информация о компании

Что НЕ БУДЕТ доступно AI:

❌ Админ-панель (закрыта через Disallow: /admin/) ❌ Конфиденциальные документы (закрыты отдельно) ❌ Личные кабинеты клиентов ❌ Базы данных ❌ Любые разделы, закрытые через Disallow

Вывод: Нейросети получат доступ только к тому, что уже видят обычные посетители сайта. Никакой дополнительной информации они не получат.

Влияет ли настройка robots.txt для AI на SEO в Google и Яндекс

Короткий ответ: НЕТ, не влияет (или только положительно)

Почему SEO не ухудшится:

1. Разные правила для разных ботов
   • Google смотрит на User-agent: Googlebot
   • Яндекс — на User-agent: Yandex
   • ChatGPT — на User-agent: GPTBot
   • Это независимые блоки
2. Индексация останется прежней
   • Google продолжит сканировать те же страницы
   • Позиции в выдаче не изменятся
   • Скорость индексации не замедлится

Потенциальные ПЛЮСЫ для SEO:

1. Google AI Overviews

• Бот Google-Extended собирает данные для AI-ответов в поиске
• Ваш сайт может попасть в генеративные сниппеты
• Дополнительная видимость в топе выдачи

2. Рост брендовых запросов

• Упоминания в ChatGPT → больше людей ищут вас по названию
• Прямые переходы на сайт
• Google учитывает это как сигнал качества

3. Будущее AI-поиска

• Поисковики интегрируют AI всё глубже
• Открытость для нейросетей = готовность к будущему
• Раннее преимущество перед конкурентами

Зачем бизнесу быть видимым для ChatGPT, Perplexity и Claude

Новый канал привлечения клиентов

Реальные запросы пользователей к нейросетям выглядят так.

Пример: AI рекомендует интернет-магазин спортпита

• «ChatGPT: посоветуй магазин спортивного питания с быстрой доставкой»
• «Claude: где купить качественный протеин в Москве?»
• «Perplexity: какой интернет-магазин лучше для заказа добавок?»

Пример: строительная компания

• «Gemini: порекомендуй компанию для ремонта квартиры в Санкт-Петербурге»
• «ChatGPT: где заказать отделку офиса под ключ?»

Пример: юридические услуги

• «Claude: посоветуй юриста по корпоративному праву»
• «Perplexity: какая юр компания специализируется на наследстве?»

Если вас нет в базе AI — ваши потенциальные клиенты уходят к конкурентам.

Статистика использования AI для поиска услуг

• 34% пользователей используют ChatGPT для поиска локальных услуг (данные 2025)
• 41% ищут рекомендации товаров и компаний через AI
• 67% доверяют рекомендациям нейросетей так же, как отзывам

Конкурентное преимущество — рекомендации в нейросетях

Сейчас:

90% бизнес-сайтов в России закрыты для AI-ботов 🔥
Большинство компаний не знают об этой проблеме ❌
Ваш шанс быть первыми в рекомендациях ✅

Через 6-12 месяцев:

• Все узнают о важности доступа для AI
• Конкуренция за внимание нейросетей усилится
• Ранние адаптеры получат преимущество

Как отследить эффект от открытия доступа AI-ботам

Метрики для отслеживания:

1. Прямые переходы на сайт

• Смотрите в Яндекс.Метрике / Google Analytics
• Источник: «Прямые заходы» или «Direct»
• Рост на 10-25% за 2-3 месяца = хороший результат

2. Брендовые запросы в поиске

• Рост запросов с названием компании
• Отслеживайте через Яндекс.Вордстат и Google Search Console

3. Новые источники в UTM-метках

• Некоторые пользователи копируют ссылки из ChatGPT с сохранением referrer

4. Обращения с упоминанием AI

• Спрашивайте у новых клиентов: «Как вы нас нашли?»
• Вариант: «ChatGPT посоветовал»

Типичные сроки появления эффекта:

• 2-3 дня — нейросети пересканируют robots.txt
• 1-2 недели — первые упоминания в AI-ответах
• 1-3 месяца — заметный рост прямого трафика
• 3-6 месяцев — стабильный поток из AI-рекомендаций

Примеры применения ИИ-рекомендаций по типам бизнеса

Что сделать, чтобы нейросеть рекомендовала интернет-магазин

Запросы пользователей:

• «ChatGPT, где купить [товар] с доставкой?»
• «Посоветуй интернет-магазин [категория]»

Что открыть:

• Каталог товаров
• Карточки продуктов
• Условия доставки и оплаты
• Отзывы покупателей

Что закрыть:

• /admin/
• /personal/
• /cart/ (корзина)
• /checkout/ (оформление заказа)

Что сделать, чтобы нейросеть рекомендовала услуги (B2C и B2B)

Запросы пользователей:

• «Perplexity, найди компанию для [услуга]»
• «Claude, порекомендуй специалиста по [направление]»

Что открыть:

• Описание услуг
• Кейсы и портфолио
• Контакты и форма заявки
• Блог с экспертным контентом

Что закрыть:

• /crm/
• /clients/ (клиентская база)
• Конфиденциальные документы

Что сделать, чтобы нейросеть рекомендовала мой контент

Запросы пользователей:

• «ChatGPT, найди статью про [тема]»
• «Gemini, порекомендуй блог о [направление]»

Что открыть:

• Все статьи и публикации
• Авторские материалы
• Гайды и обучающий контент

Что закрыть:

• /wp-admin/ (для WordPress)
• Черновики статей

Чек-лист: готов ли ваш сайт к эпохе AI-поиска

Пройдитесь по списку и проверьте каждый пункт:

Открыт доступ для GPTBot (ChatGPT)
Открыт доступ для anthropic-ai (Claude)
Открыт доступ для PerplexityBot
Открыт доступ для Google-Extended (Gemini)
Robots.txt правильно структурирован (User-agent: * в начале)
Нет блокирующего User-agent: * в конце файла
Кэш очищен после изменений
Прошло 24-48 часов с момента обновления
Проверили доступность через сам robots.txt
Настроено отслеживание эффекта в аналитике

Если хотя бы один пункт не выполнен — вы отдаете конкурентам клиентов прямо сейчас.

Что делать, если настройка сайта под рекомендации нейросетей кажется сложной

Если у вас нет доступа к хостингу, страшно что-то сломать или просто нет времени разбираться — мы поможем.

✅ Аудит текущего robots.txt
✅ Выявление ошибок в структуре
✅ Настройка доступа для всех нужных AI-ботов
✅ Проверка безопасности (конфиденциальные данные останутся защищены)
✅ Очистка кэша и проверка применения изменений
✅ Отслеживание появления в рекомендациях нейросетей через 2-4 недели
✅ Рекомендации по дальнейшей оптимизации

Стоимость: от 15 000 ₽ (настройка за 1-2 дня)

Бесплатный аудит: отправьте ссылку на ваш сайт — проверим robots.txt и скажем, что нужно исправить.

FAQ: частые вопросы про robots.txt и нейросети

Может ли ChatGPT украсть контент с моего сайта?

Нет. Нейросети используют информацию для обучения и ответов, но не копируют контент напрямую. Они анализируют структуру и данные, как это делает Google, но не публикуют ваши тексты дословно.

Нужно ли платить за то, чтобы быть в рекомендациях AI?

Нет. Доступ через robots.txt бесплатный. Вы просто разрешаете ботам читать публичную информацию.

Как быстро ChatGPT начнёт рекомендовать мой бизнес?

Обычно 24-48 часов на пересканирование robots.txt + 1-2 недели на индексацию контента. Полный эффект — через 1-3 месяца.

Что если я случайно открою доступ нейросетям к конфиденциальным данным?

Если правильно настроить Disallow для папок с конфиденциальной информацией (это делается в том же robots.txt), ничего не произойдёт. Боты видят только то, что разрешено.

Влияет ли это на скорость сайта?

Нет. Robots.txt — это текстовый файл размером несколько килобайт, он не влияет на производительность.

Можно ли закрыть доступ к сайту только для некоторых AI?

Да. Вы можете выборочно разрешить одни боты и запретить другие. Например, разрешить ChatGPT, но запретить другим.

Нужно ли обновлять robots.txt, когда появляются новые нейросети?

Желательно раз в 6-12 месяцев проверять список актуальных AI-ботов и добавлять новые, если они набрали популярность.

Выводы: почему настройка robots.txt критична в 2026 году, чтобы нейросети рекомендовали вас

Главный тезис: В 2026 году «невидимость» для нейросетей — это то же самое, что отсутствие сайта было 15 лет назад.

Три ключевых факта:

1. 34% клиентов ищут товары и услуги через AI. Если вас там нет, вы теряете 30% потенциального трафика.
2. 90% бизнес-сайтов в России закрыты для нейросетей. У вас есть окно возможностей в 6-12 месяцев пока конкуренты не узнали.
3. Настройка занимает 10-15 минут — минимальные усилия для нового канала привлечения клиентов.

Почему нейросети не рекомендуют мой сайт?

Вот две главные причины, проверьте и исключите каждую:

1. На сайте отсутствуют информативные, читаемые страницы, которые быстро открываются и SEO-оптимизированы под поисковые запросы (классические «купить систему очистки воды СПБ» + голосовые «Какую систему очистки воды выбрать для загородного дома 120м на семью 4 человека в районе Токсово, чтобы вода была чистая, без железа и примесей и чтобы детям не страшно было давать?»).
2. На сайте стоит блокировка для роботов нейросетей — поэтому ГПТ, Гении, Перплекси и Клод не видят сам СОВСЕМ ВООБЩЕ. Его будто нет.

Что делать прямо сейчас, чтобы нейросети рекомендовали сайт:

1. Откройте вашсайт.ru/robots.txt
2. Проверьте, есть ли там GPTBot, anthropic-ai, PerplexityBot
3. Если нет — добавьте (инструкция выше)
4. Очистите кэш
5. Через 2-4 недели проверьте эффект

Или доверьте это профессионалам:

Мы настроим robots.txt правильно, безопасно и с гарантией результата. Бесплатный аудит вашего сайта — просто напишите нам.