Agent Seer генерирует тесты из описания MCP‑сервера без реального окружения

Agent Seer — конвейер, который формирует проверочные сценарии, опираясь лишь на названия функций, их описания и схемы параметров MCP‑сервера. Не требуется запускать сервер, собирать ответы инструментов или вручную разметать примеры.

На семи разных MCP‑серверах система сгенерировала 337 сценариев. Основная причина падений — сложные параметры: инструмент выбирался правильно, но в аргументы подставлялось неверное значение, что простая проверка имени функции не ловит.

Для тебя это значит: меняешь схему MCP — мгновенно получаешь обновлённые дымовые и регрессионные тесты. При этом держи параметры простыми и однозначными, иначе автоматика будет подставлять ошибочные значения.

Ограничение — все сценарии синтетические, их качество оценил другой LLM. Они помогают найти нарушения контракта, но не гарантируют корректность реальных данных и бизнес‑логики.