Многие владельцы сайтов, узнав о ботах Anthropic, спешат закрыть в robots.txt всё, что связано с Claude. Чаще всего под запрет попадает ClaudeBot — тот, что собирает тексты для обучения моделей. Логика понятна: не хочется отдавать контент в обучение ИИ. Но если цель — не только ограничить обучение, а ещё и сохранить видимость сайта в ответах Claude с поиском в интернете, такой подход ошибочен. Дело в том, что у Anthropic несколько ботов с разными задачами, и запрет одного из них не решает проблему, а иногда и создаёт новую.

В этой статье разберём, какие боты существуют, как они влияют на попадание страницы в ответы Claude, какие ошибки встречаются в настройках robots.txt и что делать, чтобы сайт оставался доступным для поискового и пользовательского ботов.

Три бота Anthropic: кто за что отвечает

Anthropic использует как минимум три типа ботов, и у каждого своя роль. ClaudeBot — это краулер, который собирает тексты для обучения языковых моделей. Его активность не связана с поиском в интернете и не влияет на то, попадёт ли страница в ответы Claude при использовании функции веб-поиска. Claude-SearchBot индексирует страницы для поиска, который Claude использует, когда пользователь задаёт вопрос, требующий актуальной информации из интернета. Именно этот бот отвечает за то, чтобы ваш сайт мог появиться в источниках. И третий — Claude-User — приходит, когда пользователь просит Claude прочитать конкретную страницу. Этот бот фактически доставляет контент по запросу.

Таким образом, если вы хотите, чтобы сайт был виден в ответах Claude с поиском, нужно обеспечить доступ для Claude-SearchBot и Claude-User. Закрытие ClaudeBot на это почти не влияет — оно лишь ограничивает использование контента для обучения. Однако многие сайты закрывают всех трёх или только ClaudeBot, ошибочно полагая, что этого достаточно для защиты от ИИ, и в результате теряют видимость в поиске Claude.

Почему закрытие ClaudeBot не решает проблему видимости

Распространённая ошибка: владелец сайта хочет запретить обучение ИИ на своих текстах и добавляет в robots.txt строку User-agent: ClaudeBot с директивой Disallow: /. Это действительно блокирует обучающего бота. Но если при этом не трогать Claude-SearchBot и Claude-User, сайт продолжит индексироваться для поиска и отдавать контент по запросу пользователя. И наоборот, если закрыть всех ботов подряд, сайт перестанет появляться в ответах Claude, даже если вы не против такого трафика.

Проблема в том, что не все понимают разницу между ботами. В результате одни блокируют всё и теряют потенциальных посетителей, а другие, наоборот, не закрывают ничего и беспокоятся о том, что их контент используется для обучения. На самом деле задачи можно разделить: запретить обучение, но оставить поиск.

По данным исследования Crawl Readiness (октябрь 2026 года), из 569 сайтов из топ-1000, у которых вообще есть robots.txt, у 63 сайтов (каждый девятый) был закрыт Claude-SearchBot. Это значит, что эти сайты не могут попасть в источники Claude при веб-поиске. Причина, скорее всего, в том, что владельцы просто закрыли всех ботов Anthropic, не разбираясь в их назначении.

Как настроить robots.txt, чтобы остаться в поиске Claude

Если ваша цель — сохранить видимость в ответах Claude с поиском, но при этом не отдавать контент в обучение, вот конкретные шаги:

  • Разрешите Claude-SearchBot и Claude-User. Убедитесь, что в robots.txt для этих ботов нет запрещающих директив. По умолчанию они разрешены, но если вы ранее добавляли общие запреты, проверьте, не попали ли они под них.
  • Заблокируйте только ClaudeBot, если хотите запретить обучение. Добавьте секцию User-agent: ClaudeBot с Disallow: /. Это остановит сбор текстов для обучения, но не повлияет на поиск.
  • Не используйте общий запрет для всех ботов Anthropic. Если вы напишете User-agent: * с Disallow: /, это затронет и поисковых ботов, что приведёт к потере видимости.
  • Проверьте текущие правила. Откройте robots.txt и поищите упоминания Claude. Убедитесь, что для Claude-SearchBot и Claude-User нет запретов. Если есть сомнения, временно разрешите всех ботов Anthropic, а затем точечно настройте.
  • Тестируйте изменения. После правок можно запросить переобход или просто подождать — изменения в robots.txt вступают в силу для новых запросов ботов.

Важно понимать: даже если вы разрешили поискового бота, страница попадёт в ответы Claude только при соблюдении ряда условий. Например, контент должен быть доступен без авторизации, не закрыт другими способами (например, JavaScript-блокировками), а сам сайт должен быть в поле зрения поискового бота. Но настройка robots.txt — первый и необходимый шаг.

Типичные ошибки и примеры

Рассмотрим несколько сценариев, которые встречаются на практике.

  • Ошибка 1: закрыт только ClaudeBot, но открыты остальные. Это правильная стратегия, если вы хотите запретить обучение, но оставить поиск. Однако некоторые владельцы, наоборот, закрывают всех, кроме ClaudeBot, считая, что он главный. В результате поисковый бот заблокирован, и сайт не виден в ответах Claude.
  • Ошибка 2: использование директивы Disallow: / для всех ботов Anthropic без разбора. Это приводит к полной невидимости сайта для поиска Claude. Если вы не хотите отдавать контент в обучение, достаточно закрыть только ClaudeBot.
  • Ошибка 3: игнорирование пользовательского бота. Некоторые сайты разрешают поискового бота, но блокируют Claude-User, например, из-за опасений, что он создаёт нагрузку. В результате страница может быть проиндексирована, но не прочитана по запросу пользователя, что снижает шансы на цитирование.
  • Пример правильной настройки: в robots.txt можно указать:
    User-agent: ClaudeBot
    Disallow: /
    User-agent: Claude-SearchBot
    Allow: /
    User-agent: Claude-User
    Allow: /
    Это блокирует обучение, но оставляет доступ для поиска и чтения.

Помните, что robots.txt — не единственный механизм контроля. Некоторые сайты используют и другие методы, например, ограничение по IP или user-agent на уровне сервера. Но если вы хотите точечно управлять ботами Anthropic, начинайте с robots.txt.

Что в итоге

Попадание сайта в ответы Claude с поиском зависит от двух ботов: Claude-SearchBot и Claude-User. Обучающий ClaudeBot на это не влияет. Поэтому если ваша цель — сохранить видимость, не закрывайте всех ботов Anthropic подряд. Настройте robots.txt так, чтобы запретить только обучение (если это нужно), но оставить доступ для поиска и чтения. Проверьте текущие правила и убедитесь, что поисковый и пользовательский боты не заблокированы. Это простой и эффективный способ не потерять трафик из нового канала.