Владельцы сайтов уже два года живут с иллюзией контроля: достаточно добавить в robots.txt директиву Disallow для GPTBot, CCBot и других AI-краулеров — и контент защищён от использования в обучении моделей. Гари Ильес из Google разрушил эту уверенность, чётко разграничив два разных процесса: robots.txt регулирует только краулинг (обход страниц), но не даёт прав на использование уже полученных данных для тренировки ИИ. Это заявление, опубликованное в Search Engine Journal (2026), меняет правила игры для всех, кто рассчитывает на технические барьеры.

Проблема в том, что многие путают доступ к странице с правом на её содержимое. Robots.txt — это вежливая просьба к поисковым роботам не индексировать определённые разделы. Однако если контент уже был скопирован (например, через API, партнёрские программы или просто ручной сбор), robots.txt никак не ограничивает его дальнейшее использование. Более того, крупные языковые модели обучаются на данных, собранных разными способами, и не всегда соблюдают даже базовые директивы.

Что на самом деле регулирует robots.txt

Robots.txt — это текстовый файл в корне сайта, который сообщает краулерам, какие страницы можно обходить. Если вы запрещаете GPTBot, это означает лишь, что при следующем визите бот OpenAI не должен запрашивать эти URL. Но если контент уже попал в датасет (например, через Common Crawl или другие архивы), запрет не отменяет его использование. Кроме того, не все AI-краулеры соблюдают robots.txt — это добровольный стандарт, а не закон.

Гари Ильес подчёркивает: robots.txt — инструмент управления нагрузкой и индексацией, а не лицензионный механизм. Поэтому полагаться только на него в вопросах защиты от обучения ИИ — ошибка. Владельцам сайтов нужно смотреть шире: на юридические, технические и контентные стратегии.

Какие меры действительно работают

Если ваша цель — не допустить использование контента для обучения моделей, рассмотрите комплексный подход. Вот конкретные шаги, которые можно внедрить:

  • Лицензионные соглашения и условия использования. Чётко пропишите на сайте, что копирование контента для обучения ИИ запрещено без письменного разрешения. Это не техническая защита, но юридическое основание для претензий.
  • Технические барьеры для парсинга. Используйте rate limiting, капчи, динамическую подгрузку контента через JavaScript (хотя это не панацея), а также блокировку известных IP-диапазонов AI-компаний на уровне сервера.
  • Водяные знаки и канареечные ловушки. Внедряйте в текст уникальные маркеры (например, невидимые символы или специальные фразы), чтобы отслеживать несанкционированное использование. Это помогает доказать факт копирования.
  • Обращение к платформам и регуляторам. Некоторые юрисдикции (например, ЕС) рассматривают регулирование обучения ИИ. Следите за обновлениями и участвуйте в обсуждениях.

Важно понимать: ни один из этих методов не даёт 100% гарантии, но вместе они повышают барьер и создают правовую основу для защиты.

Типичные ошибки владельцев сайтов

Многие совершают одни и те же промахи, полагаясь на устаревшие или неверные представления. Вот наиболее распространённые:

  • Вера в всемогущество robots.txt. Как мы выяснили, это лишь управление краулингом. Не стоит думать, что Disallow остановит обучение.
  • Игнорирование условий использования. Если на сайте нет явного запрета на коммерческое использование контента для ИИ, юридически сложно что-то доказать.
  • Отсутствие мониторинга. Без отслеживания того, как ваш контент появляется в ответах моделей, вы не узнаете о нарушениях.
  • Пассивность. Некоторые просто ждут, что регуляторы решат проблему. Но изменения происходят медленно, а контент уже используется.

Пример: небольшой блог добавил Disallow для всех AI-ботов, но через месяц обнаружил, что его статьи цитируются в чат-боте. Оказалось, что контент был спарсен до запрета и уже вошёл в датасет. Без юридических рычагов добиться удаления сложно.

Что делать прямо сейчас

Начните с аудита: проверьте, какие AI-краулеры обращаются к вашему сайту (анализируйте логи сервера). Затем обновите условия использования, добавив явный запрет на обучение ИИ. Рассмотрите возможность использования специализированных сервисов, которые помогают отслеживать появление вашего контента в ответах моделей (например, через уникальные запросы). И самое главное — не полагайтесь на один метод. Комбинация технических, юридических и контентных мер даёт наилучший результат.

Помните: полного контроля добиться сложно, но повысить осведомлённость и защитить свои права вполне реально. Главное — действовать осознанно, а не по инерции.