ИИ помогает спасать автотесты: как ЮMoney отлавливает падения и выбирает модели

В августе ЮMoney организовала митап Bugs Busters для QA‑специалистов. Александр, руководитель группы разработки тестовых инструментов, Максим – старший программист, и Олег – старший специалист по нагрузочному тестированию, поделились практиками применения ИИ в своей работе.

Александр продемонстрировал помощника, который автоматически разбирает упавшие e2e‑тесты. Он собирает стек‑трейс, шаги, логи бекенда и фронтенда, а также HTML‑страницу, после чего формирует запрос к LLM, получая точный диагноз и рекомендации по исправлению.

Максим рассказал, как быстро сравнивать модели: он построил оценщик на базе LLM‑судьи, подключил к нему открытый проект Langfuse и обернул всё удобным UI для работы с датасетами и отчётами. Олег показал, зачем нужна обвязка LLM‑агента, какие компоненты входят в harness, и как написать собственный слой интеграции, проверив его работоспособность.

Пропустил встречу? Записи всех докладов уже доступны в ВКонтакте, на Rutube и YouTube, так что можешь посмотреть их в любое время.