Ситуация знакомая: вчера на вопрос «какой сервис выбрать для X» ChatGPT назвал ваш сайт, сегодня на тот же вопрос — ни ссылки, ни упоминания. Первая реакция — «позиции просели, надо что-то срочно делать». Но чаще всего дело не в просадке, а в природе самих ответов: генеративная выдача нестабильна, и один прогон вопросов ничего не говорит о реальной видимости.

Правильнее относиться к видимости в ответах ИИ как к вероятности: сколько раз из N одинаковых запросов сайт попал в ответ. Тогда «вчера был, сегодня нет» — это не потеря позиции, а обычный разброс выборки. Ниже — как считать такую метрику корректно, что фиксировать в отчёте и где чаще всего ошибаются.

Почему один прогон вопросов вводит в заблуждение

Ответы языковых моделей не детерминированы: на один и тот же промпт система может дать разные формулировки, разные источники и разный порядок упоминаний. Даже при стабильном наборе промптов вы получаете выборку из распределения, а не фиксированную «позицию». Если сделать один замер, вы увидите одну точку из этого распределения — и по ней нельзя судить ни о среднем, ни о тренде.

Отсюда практический вывод: отчёт о видимости без указания числа повторов на каждый вопрос и без разброса результата нельзя считать надёжным. Это не придирка к методологии, а базовая гигиена измерения — без неё вы принимаете решения по шуму.

Что именно измерять: доля упоминаний и её разброс

Базовая метрика — доля ответов, в которых присутствует ваш сайт (ссылка, домен или явное упоминание бренда), на серии повторов одного и того же вопроса. Формула простая: число попаданий делим на число прогонов. Но саму долю нужно публиковать вместе с погрешностью — иначе цифра выглядит точнее, чем есть.

  • Фиксируйте N. Один прогон — это не замер. Для черновой оценки берите хотя бы 5–10 повторов на вопрос, для сравнения периодов — больше.
  • Считайте разброс. Для доли подходит доверительный интервал (например, интервал Уилсона) — он честнее «сырого» процента на малых выборках.
  • Разделяйте типы попаданий. Ссылка на домен, упоминание бренда без ссылки и цитирование фрагмента — разные вещи; смешивать их в одну метрику значит терять смысл.
  • Храните сырые прогоны. Без логов ответов вы не сможете перепроверить выводы и объяснить, откуда взялась цифра.

Как выстроить замер: пошаговый процесс

Начните с набора вопросов, которые действительно задают ваши пользователи: не «брендовые» запросы, где вы и так очевидны, а сравнительные и рекомендательные формулировки. Зафиксируйте список промптов и не меняйте его между замерами — иначе динамику сравнивать бессмысленно.

  • Шаг 1. Соберите 10–30 промптов по темам, где ваш сайт релевантен.
  • Шаг 2. Для каждого задайте одинаковый вопрос несколько раз в одной и той же модели и настройках.
  • Шаг 3. Разметьте каждый ответ: есть ли ссылка на ваш домен, есть ли упоминание бренда, какие источники названы вместо вас.
  • Шаг 4. Посчитайте долю попаданий по каждому вопросу и агрегат по всему набору, добавьте погрешность.
  • Шаг 5. Повторите замер через сопоставимый интервал и сравнивайте не абсолютные цифры, а изменение доли с учётом разброса.

Отдельно отметьте, какие конкуренты и типы источников появляются в ответах чаще вас. Это даёт практическую зацепку: не «поднять позиции», а понять, какие форматы контента модель охотнее цитирует.

Типичные ошибки при измерении видимости

Большинство проблемных отчётов страдают от одних и тех же дефектов. Проверьте свой подход по списку:

  • Один прогон на вопрос. Самый частый случай: делается вывод по единственному ответу.
  • Меняющиеся промпты. Формулировки правят «по ходу», и сравнение периодов теряет смысл.
  • Игнорирование разброса. Разница в пару процентных пунктов на малой выборке может быть шумом.
  • Смешение метрик. Ссылку, упоминание бренда и цитату складывают в одну цифру.
  • Отсутствие логов. Нет сырых ответов — нет возможности проверить вывод.
  • Выводы по одному вопросу. Один промпт не описывает видимость сайта в целом.

Пример: сайт попал в 2 ответа из 5 на вопрос про выбор инструмента. Это доля 0,4 с широким интервалом — на таком объёме рано говорить о росте или падении. А вот стабильное изменение доли по всему набору промптов при одинаковых настройках уже заслуживает внимания.

Видимость в ответах ИИ — вероятностная величина, и измерять её нужно как вероятность: серией повторов, с разбросом и логами. Такой подход не даёт красивых «позиций», зато защищает от решений, принятых по случайному ответу.