Как настроить ИИ-агента для задач аналитики: опыт команды VK
Представьте: вы попросили ИИ-агента подготовить отчёт к встрече. Доступ к данным у него есть, но теперь нужно объяснить, какой отчёт использовать в качестве референса, как команда оформляет проценты и где искать свежую выгрузку.
Через день коллега ставит похожую задачу и повторяет те же пояснения.
Рабочий контекст разбросан по документации, чатам и головам людей. Так и хочется добавить скилл «Делай работу», чтобы никому больше не приходилось собирать его вручную.
С чего начать, какие пояснения хранить в общей базе и как поддерживать её в порядке? Разбираемся вместе с Севой Скворцовым, руководителем отдела аналитики рекламной монетизации VK Видео.
1. Начните с конкретной задачи
Возьмите реальную задачу, которая уже стоит перед аналитиком, например первичный разбор A/B-теста после запуска функции. Попросите агента проверить, дошло ли изменение до пользователей, как прошёл запуск и что произошло в разных сегментах аудитории. Укажите период, группы для сравнения и вид готового материала: таблица, короткие выводы или слайды. Полученный разбор сверьте с исходными данными. По ходу станет ясно, какой рабочий контекст стоит сохранить для следующих запросов.
2. Соберите рабочий контекст в одном месте
Например, запрос «Покажи топ авторов по времени просмотра» понятен коллегам, но требует расшифровки для агента: по какой метрике строить рейтинг, где лежат данные и в каких единицах записано время. Для A/B-тестов нужна и ссылка на принятый в команде протокол расчёта MDE — минимального эффекта, который тест позволяет заметить. Соберите подобные определения, источники данных и формат результатов в общей базе.
Такой контекст пригодится другим аналитикам и коллегам из смежных команд. Его можно хранить в Confluence или Markdown-файлах репозитория. Есть и другая часть контекста — то, что связано только с текущим поручением: цель анализа, решения со встречи, нужный период. Её добавляет в запрос человек, который ставит задачу: «Сравни авторов за прошлую неделю и подготовь три вывода к пятничной встрече». В следующий раз эти вводные будут другими.
3. Доведите задачу до результата
Допустим, в таблице доля показана как 0,125, а для презентации нужен формат 12,5%. Уточните это в диалоге и попросите обновить результат. После проверки расчётов отметьте пояснение для общей базы, если такой формат принят в команде. Так уточнение станет частью общего контекста и пригодится в следующем разборе.
4. Пополняйте контекст всей команды
Пояснения для ИИ-агента из рабочих диалогов тоже можно собирать с помощью агентов: например, первый отмечает новую договорённость как возможное дополнение к базе, второй проверяет, нет ли её там, сверяет доступные источники и добавляет недостающее в Markdown-файлы на GitLab.
Отдельные скиллы и подключения к данным похожи на острова. Между ними нужен «океан» командного контекста: общие значения метрик, пути к данным и привычные способы работы. Когда они записаны в одном месте, следующему аналитику не приходится заново объяснять агенту то, что знают все в команде.
5. Проверяйте актуальность базы
Проверяйте, как агент использует базу, на контрольных задачах: выбирает ли нужную метрику, обращается ли к верному источнику, соблюдает ли принятый формат. Новые записи при необходимости просматривают аналитики-разработчики. Контекст меняется вместе с данными и процессами, поэтому важно знать, когда появилась запись и когда её проверяли в последний раз. Этот механизм пока дорабатывают.
Каждое проверенное уточнение сокращает повторные пояснения и помогает следующему аналитику быстрее перейти к самой задаче. Из отдельных рабочих диалогов складывается общий контекст, с которым агенту проще помогать всей команде.