На Habr вышел разбор эксперимента: AI-ассистент проанализировал синтетические данные интернет-магазина, где не было ничего, кроме случайного шума, и сформулировал 30 аналитических утверждений. Ни одно из них не прошло статистическую проверку. Это не значит, что ИИ бесполезен, — но показывает, как легко спутать аккуратные цифры с обоснованными выводами.

Почему ИИ находит тренды там, где их нет

Языковые модели обучены на текстах, где после описания метрик почти всегда следуют интерпретации и рекомендации. Когда вы даёте модели таблицу с числами, она достраивает привычный шаблон: «заметен рост», «есть сезонность», «рекомендую увеличить бюджет». При этом модель не проверяет гипотезы и не оценивает вероятность случайности. В результате гладкие формулировки создают иллюзию анализа.

Дополнительный фактор — множественные сравнения. Если посмотреть на десятки срезов (по дням, каналам, товарам), какие-то из них почти наверняка покажут «значимые» отклонения просто по случайности. ИИ, перебирая варианты, может выхватить такой всплеск и подать его как инсайт.

Как отличить реальный сигнал от шума: практические шаги

  • Сформулируйте гипотезу до анализа. Например: «Средний чек вырос из-за новой страницы оформления заказа». Если ИИ предлагает тренд, проверьте, была ли гипотеза сформулирована заранее, а не подогнана под найденный паттерн.
  • Запросите статистику, а не только вывод. Попросите AI-ассистента указать p-value, доверительные интервалы или хотя бы размер эффекта. Если модель не может — относитесь к выводу как к гипотезе.
  • Проведите контрольный тест на случайных данных. Сгенерируйте шум с теми же параметрами (среднее, разброс, длина ряда) и прогоните тот же анализ. Если ИИ находит «тренды» и там, инструмент ненадёжен для этой задачи.
  • Используйте простые статистические критерии. Для сравнения двух групп — t-тест или U-критерий Манна-Уитни, для временных рядов — тест на стационарность или автокорреляцию. Это можно сделать в Excel, Python или R, не полагаясь на текстовый вывод модели.
  • Разделяйте описательные и предписывающие утверждения. «Конверсия упала на 2%» — факт, который можно проверить. «Нужно срочно менять воронку» — интерпретация, требующая дополнительных доказательств.

Что делать, если вы уже используете AI для аналитики

Встройте проверку в процесс. Например, попросите модель явно перечислить альтернативные объяснения: сезонность, выбросы, изменение методики сбора данных. Затем проверьте каждое из них. Полезно также запрашивать у ИИ не один, а несколько вариантов интерпретации и смотреть, устойчив ли вывод.

Если решение дорогое (запуск рекламы, изменение цен, найм), не принимайте его только на основе текстового отчёта ИИ. Сначала проведите пилотный эксперимент или A/B-тест. Это единственный способ отделить причинный эффект от корреляции и случайных колебаний.

Вывод

AI-ассистент хорошо справляется с расчётами и генерацией гипотез, но не заменяет статистическую проверку. Воспринимайте его выводы как черновик, который нужно протестировать. Такой подход снижает риск принять решение на основе красивого, но ложного инсайта.