Агентский поиск — это когда языковая модель не просто отвечает на вопрос, а сама решает, какие запросы отправить в поисковую систему, какие страницы открыть и как собрать из этого ответ. В статье на Habr автор экспериментировал с 16 моделями и 7 поисковыми инструментами, чтобы понять, как ИИ ищет информацию о компаниях. В этом материале — практические выводы и шаги для тех, кто хочет повторить такой эксперимент или внедрить агентский поиск в рабочие процессы.

Зачем нужен агентский поиск и чем он отличается от обычного

Обычный поиск по ключевым словам возвращает список ссылок, которые пользователь просматривает вручную. Агентский поиск автоматизирует этот процесс: модель формулирует запросы, вызывает поисковый API, извлекает релевантные фрагменты и синтезирует ответ. Главное отличие — в цикле обратной связи: модель может уточнять запросы на основе полученных результатов. Это полезно для сбора досье на компанию, мониторинга упоминаний или проверки фактов. Но есть и обратная сторона: качество сильно зависит от выбранной модели и поискового инструмента.

7 поисковых инструментов: критерии выбора

В эксперименте использовались разные инструменты: от классических поисковых API (Google, Bing) до специализированных решений для разработчиков (Tavily, SerpAPI, Brave Search и др.). При выборе стоит обратить внимание на:

  • Стоимость и лимиты — бесплатные тарифы часто ограничены количеством запросов в месяц.
  • Качество выдачи — насколько релевантны результаты для запросов о компаниях (например, поиск по юридическому названию может давать мусор).
  • Формат ответа — некоторые API возвращают готовые сниппеты, другие — только ссылки, которые нужно парсить.
  • Поддержка языков — для русскоязычных компаний важно, чтобы инструмент хорошо искал на русском.
  • Скорость и стабильность — агент делает несколько запросов подряд, поэтому задержки суммируются.

Типичная ошибка — выбирать самый дешёвый инструмент без тестирования на реальных запросах. Например, поиск по ИНН может не работать в универсальных API, если нет специализированных источников.

16 моделей: как оценивать качество поиска

Автор тестировал 16 open-source моделей, включая популярные семейства Llama, Mistral, Qwen и другие. Оценивать результаты стоит по нескольким критериям:

  • Полнота — нашла ли модель ключевые факты о компании (год основания, сфера деятельности, руководство).
  • Точность — нет ли фактических ошибок или галлюцинаций.
  • Ссылочность — указывает ли модель источники, чтобы можно было проверить.
  • Устойчивость к шуму — как обрабатываются противоречивые данные из разных источников.

Практический шаг: составьте небольшой бенчмарк из 10–20 компаний с известными фактами и прогоните через каждую модель. Обратите внимание, что маленькие модели (7B–8B параметров) часто хуже следуют инструкциям и могут игнорировать необходимость цитирования. Модели побольше (30B+) показывают лучшие результаты, но требуют больше ресурсов.

Типичные ошибки и как их избежать

В ходе эксперимента выявились повторяющиеся проблемы. Во-первых, модели склонны доверять первому найденному источнику, даже если он устарел или неавторитетен. Решение — явно указывать в промпте требование проверять дату публикации и использовать минимум два источника. Во-вторых, при поиске по названию компании модель может путать её с одноимёнными организациями. Помогает добавление уточняющих запросов (например, «ООО Ромашка ИНН»). В-третьих, агент может зацикливаться на одном запросе, если не находит ответ. Ограничьте количество итераций и добавьте правило: если после трёх попыток информация не найдена, вернуть «не найдено».

Ещё одна ошибка — отсутствие логирования. Без записи запросов и ответов сложно понять, почему модель ошиблась. Ведите журнал шагов агента: какие инструменты вызывались, какие фрагменты были извлечены.

Практические шаги для внедрения

Если вы хотите повторить эксперимент или построить своего агента для поиска информации о компаниях, начните с малого:

  • Выберите один поисковый инструмент с бесплатным тарифом (например, Tavily или Brave Search) и одну open-source модель (например, Qwen 2.5 7B или Llama 3.1 8B).
  • Напишите простой промпт: «Найди информацию о компании X: год основания, сфера деятельности, ключевые продукты, руководство. Используй поиск, проверь минимум два источника, укажи ссылки».
  • Реализуйте цикл: модель вызывает поисковый API, получает сниппеты, решает, нужны ли дополнительные запросы.
  • Протестируйте на 5–10 компаниях, сравните с ручным поиском.
  • Постепенно добавляйте инструменты и модели, фиксируя метрики качества.

Не гонитесь за количеством моделей и инструментов. Как показал эксперимент, даже с 16 моделями и 7 инструментами ключевым фактором остаётся качество промпта и стратегия проверки фактов. Начните с одного инструмента и одной модели, отладьте процесс, а затем масштабируйте.