Оценка скиллов и агентов
Любой новый скилл, промпт или инструмент для агента - это гипотеза. Пока её не проверили на реальных случаях, нельзя сказать, стало ли лучше (а иногда становится хуже).
Скилл, который сделал хуже
У нас есть ИИ-дежурный - агент, который проводит первое расследование алерта прямо в треде. Для него мы написали подробный скилл с ранбуками, и на одном из случаев в эвале агент со скиллом набрал 0.48, а без скилла - 0.89.
Алерт был про то, что у небольшого клиента пропал поток данных, хотя исторически для этого клиента паузы - это нормально. Без скилла агент сам посмотрел историю пауз и решил, что всё в порядке. Со скиллом он сравнил поток с медианой, как и было написано в ранбуке, и поднял ложную тревогу. Поправили одной строкой, но без эвала мы бы этого просто не заметили - скилл выглядел вполне разумно.
Ещё пример: в том же скилле единственным конкретным действием для Kubernetes был рестарт, а предостережения лежали в ранбуке, который агент даже не открывал. В итоге со скиллом агент предлагал рестарт первым шагом в двух прогонах из трёх, а без скилла - ни разу. Помогла правка в три строки: «без найденной причины рестарт не предлагать» и «прочитай раздел ранбука целиком».
Модели улучшаются быстрее, чем обвязка вокруг них. Кастомные воркфлоу часто решают проблемы, которых у новой модели уже нет, и голый агент нередко работает лучше. Поэтому скиллы стоит периодически перепроверять против варианта без скилла, особенно после обновления модели или CLI. У нас после обновления CLI тот же самый скилл на одном из наборов кейсов вместо 1.00 набрал 0.47.
Виды проверок на примере claude plugin eval
- Regex - в ответе есть нужные факты и разделы
- Вызовы инструментов - агент использовал нужный инструмент, а не угадывал. Отдельно полезно проверять, что скилл вообще загрузился
- LLM-судья - вывод по существу верный и опирается на факты
Сначала лучше ставить дешёвые детерминированные проверки, а LLM-судью использовать там, где без понимания смысла не обойтись.
Про судью:
- Бинарные вопросы PASS/FAIL работают лучше шкал. Наша рубрика со шкалой 100/65/35 давала ложные фейлы, и мы заменили её двумя бинарными вопросами
- Стоит явно написать, что не должно влиять на оценку (формат, оговорки, стиль), иначе судья за это будет радостно штрафовать
- Модель судьи лучше зафиксировать. Судья по умолчанию (Sonnet) на одном и том же ответе выдавал у нас то FAIL, то PASS
- Если отдать судье тот же ответ ещё раз и оценка поменялась, проблема не в агенте - либо рубрика оценки размытая, либо судья нестабилен. Мы для надёжности делаем три прогона каждого кейса
Уровень 0: регресс
Это набор кейсов, который прогоняется на каждую правку скилла, чтобы ничего не сломать. Для плагинов Claude Code есть встроенная команда claude plugin eval, которая прогоняет каждый кейс со скиллом и без и считает разницу.
Кейс - это папка с prompt.md и проверками. Например:
---
max_turns: 6
allowed_tools: [Skill, Read, Grep, Glob]
---
С 9:10 по МСК сыпались ошибки на БД и в кафке.
Это облако что-то делало или у нас? Пока ничего не запускай -
распиши, какими командами будешь разбираться и в каком окне времени.
---
type: llm
---
PASS если план опирается на операции и логи managed-кластеров,
окно задано в UTC со сдвигом от МСК (06:10Z) и есть клиентская сторона
(логи приложений или метрики).
FAIL если окно взято как 09:10 UTC или без зоны, предложено идти в облако
в обход разрешённых команд, или логи и метрики названы недоступными.
Ещё к кейсу можно применить проверку type: tool_used: она смотрит, был ли вызван нужный инструмент, и регуляркой проверяет его аргументы. Например, мы так проверяем, что агент вызвал инструмент Skill с нужным скиллом, то есть что скилл вообще загрузился. Или, если для ответа на вопрос точно нужно какие-то данные, то можно проверить, что агент вообще за ними сходил.
Если эвал кейса не прошёл успешно, то первое на что стоит посмотреть - сработал ли вообще скилл. Если нет, то либо кейс не похож на реальный запрос, либо описание скилла не срабатывает на такую формулировку (и тогда чинить надо уже скилл). Если сработал - читаем, за что судья поставил провал. Когда мы только запустили эвалы, все красные кейсы оказались ошибками в самих кейсах: где-то был запрещён нужный инструмент, где-то рубрика ошибочно штрафовала правильный ответ. Эвалы - это тоже код, и их тоже надо проверять на корректность.
В среднем быстрый прогон одного плагина стоит у нас около $1.3, полный со сравнением со сборкой без скилла - около $6 (это стоимость в API-токенах, по подписке, конечно, раз в 10-20 дешевле).
Перед деплоем новых версий плагинов мы прогоняем эвалы, и стопаем процесс, если хоть один кейс не прошёл.
То же самое нужно и для инструкций агента, а не только для скиллов. На нашей веб-платформе файл инструкций правили 20 раз, и 7 из этих правок исправляли предыдущие. Теперь на каждую правку гоняется набор из 15 сценариев, взятых из реальных разговоров и исправленных багов. Вместе с отчётом коммитится отпечаток входов (инструкции, плагин, версия SDK), и CI не пускает дальше, если отчёт устарел.
Уровень 1: replay прошлого
Регресс проверяет, что ничего не сломалось, но не говорит, стало ли лучше. Основные идеи мы взяли у Datadog (снимок мира на момент инцидента) и incident.io (проверка на реальных закрытых инцидентах с оценкой, дошёл ли агент до нужных улик). Грубо говоря мы “переигрываем” реальные прошлые случаи: агент получает данные на момент инцидента (или другого события - например, вопроса от проджект-менеджера), мы прогоняем его со скиллом и без и сравниваем с тем, что в итоге реально случилось или какой был правильный ответ.
Воспроизвести данные на момент события - очень важно для корректной валидации, но не так уж и тривиально:
- Для эвала поднимается фейковый MCP-сервер с тем же именем, что и боевой, чтобы не менять ни промпт, ни скиллы
- Запросы к логам и метрикам идут в настоящие ELK и Prometheus, но всё, что новее момента инцидента, отрезается, а запросы, которые пытаются заглянуть в будущее - отклоняются
- В базе таблицы фильтруются по дате создания, а текущее время подменяется на момент события. Для строк, которые меняются после создания, этого мало - запись могла появиться до инцидента, а важное поле заполнилось позже. Для таких таблиц нужны снэпшоты
- Доступ до трекера с MR выключен, иначе агент увидит MR с фиксом
- База знаний берётся на коммит до инцидента, потому что в живой базе ответ уже может быть записан
- История в логах и метриках живёт недолго, поэтому ответы инструментов лучше записывать сразу после инцидента
Для честной проверки:
- Делим кейсы на train и test до первого прогона. Любая агентская система - это ML-система. Поэтому правку подбираем на train, а принимаем по test, и, если выросло только на train - это классическое переобучение
- Сравниваем с доверительным интервалом, а изменения в пределах шума не принимаем
- Кейсы, где обе версии набирают почти 100%, годятся только для регресса - качество по ним уже не измерить
Если скилл должен вести диалог (например, задаёт человеку уточняющие вопросы), то роль пользователя может играть вторая модель по заранее написанной легенде. У нас агент получает MCP-инструмент ask, а на вопрос отвечает отдельный claude -p без инструментов, который помнит историю разговора. В легенде ему прописано отвечать только на заданный вопрос, ничего не подсказывать и говорить «не знаю», если ответа в легенде нет.
Уровень 2: сигналы из прода
Каждый запуск агента мы пишем в таблицу: чем закончился, сколько длился, сколько ходов, сколько стоил, упёрся ли в лимит ходов. Плюс агент сам сообщает, где скилл расходится с реальностью (см. бот в мессенджере). Из этих сигналов потом получаются новые кейсы для эвалов.
Эвал тоже может врать
- Смотрите на трейсы глазами. Один наш вывод «со скиллом хуже» оказался артефактом - песочница эвала не давала агенту прочитать собственные ранбуки
- Проверяйте, что скилл вообще загрузился. На первом прогоне два наших кейса просто не триггерили скилл
- Сравнивайте варианты в одинаковых условиях - та же модель, версия CLI и данные. Любое, даже мелкое, изменение может изменить результаты
- Рубрика может штрафовать осторожность. У нас агент честно написал «не подтверждено», а судья засчитал это как провал
- В идеале делайте хотя бы три прогона на кейс
Ещё хороший replay-эвал находит проблемы не только в скилле - например, мы выяснили, что часть метрик, нужных для разбора инцидентов, вообще не собирается мониторингом.
Как наращивать проверку
Строить всю эту инфраструктуру до первого запуска агента - мягко говоря, оверкилл. На этапе прототипирования человек может проверять результаты глазами, потом постепенно в ходе работы можно собирать набор кейсов, и только потом логично внедрять эвалы на каждую правку скилла. Поэтому прогоны агента стоит сохранять с самого начала - и удачные, и неудачные.
И не забывайте тестировать детерминированную часть агента - SQL, выгрузки, подсчёты. Если цифру неправильно посчитал код, модель эту ошибку уже не исправит.
Следующая: Сессии и режимы работы
Предыдущая: Веб-платформа для не-технарей