Метрики внедрения

Самое важное, что хочется измерить или оценить при внедрении нового процесса или инструмента — это сколько мы с этого заработаем или сколько сэкономим. Но чтобы прийти к корректному измерению эффекта, нужно пройти через несколько шагов внедрения:

• распространение ИИ-инструментов и обеспечение его работы
• изменение паттернов работы разработчиков
• адаптация процессов разработки

Сначала меняем своё поведение, а затем это поведение меняет бизнес. Это последовательный процесс, и в каждом следующем этапе фокус нужно держать на своих вещах, и соответственно метрики каждого этапа будут свои.

Хороший пример поэтапного внедрения метрик описали в компании Github.

Распространение ИИ-инструментов

На первом этапе главный фокус — распространить ИИ-инструменты по компании и сделать их использование удобным.

На этом шаге вам придётся проводить обучения, писать инструкции, отрабатывать частные проблемы, распространять знания и агитировать. Например, можно создать отдельный канал в вашем мессенджере, где можно делиться опытом и задавать вопросы, или распространить этот плейбук. Внедрение идёт в ширину.

Метрики:

• MAU / WAU / DAU — смотрим, сколько человек пишет в Claude Code хотя бы 1 промпт. Сам факт внедрения даже такой простой метрики у нас увеличил процент использования на 30% в пилотной группе. Это был своеобразным толчком разобраться и наконец установить инструмент. При этом никаких санкций за неиспользование нет, но всё равно это подталкивает людей.
• Количество сессий/промптов в день — смотрим на активность использования.

Пример собранных данных — сразу видно активных пользователей, а также пик использования в пятницу.

Изучая эти метрики, находим пользователей с околонулевым использованием и аккуратно узнаём причины. Пытаемся помочь и в успешном случае не забываем рассказать всем. Часто дело вообще не в ИИ-скептицизме, а проблемы решаются довольно просто. Так мы отловили проблемы с регистрацией аккаунта и нехваткой места на HDD.

Чтобы запустить процесс массово, мы провели две большие встречи — первая со всеми лидами техкоманд, заручились их поддержкой, обсудили план и какие действия ожидаем от них. А вторая — на весь отдел как официальный старт внедрения. К этому времени уже прошли два месяца пилотных использований, появились первые инструкции и база знаний.

Для упрощения мы выбрали один поддерживаемый ИИ-инструмент, для которого настраиваем инфру и проводим обучения.

Хорошим показателем того, что можно переходить к следующему шагу, будет покрытие более чем на 80% от юнита, на котором проводится внедрение.

Изучение паттернов разработки

Главный фокус — увеличиваем глубину использования и ищем паттерны, которые потенциально могут дать буст бизнес-метрикам.

На этом шаге начинаем изучать поведение более глубоко, лучше всего смотреть за самыми активными пользователями. Их действия могут подсказать, что действительно важно в вашей компании.

На этом этапе больше концентрируемся на практике — воркшопы в стиле «как сделать X за 10 минут с Claude Code», рассказ об успешных кейсах использования, и парное программирование. Идеальным вариантом было бы определить в каждой команде AI-энтузиаста, который следил бы за распространением знаний.

Один из разработчиков поделился, что за день собрал инструмент для быстрого визуального отсмотра двух версий модели.

Метрики:

• Количество использований инструментов и различных MCP
• Количество использований скиллов
• Сегментация задач по типам — код/тесты/ресёрч/дебаг
• Сегментация по командам и ролям
• Паттерн использования — количество промптов, количество прерываний, количество токенов, время до исчерпания лимитов, количество одновременных сессий

Важно изучать метрики отдельно на активных пользователях и на всех сразу. Активные дают пищу для размышления, что стоит рассказать на всех. А общие паттерны можно начать оформлять в процессы и регламенты.

На этом этапе стоит определиться, будете ли вы анализировать сами транскрипты сессий, и если да, то это будет обязательный сбор или opt-in. Возможный компромисс с точки зрения приватности — автоматический анализ с помощью LLM и последующим удалением всех транскриптов.

На масштабе компании вам придётся встретиться с ИИ-скептиками, особенно на этапе глубокого внедрения. Внедрение большого процесса — это марафон, важно не сгореть в середине пути, а добежать до конца. Если выбрать правила поведения в таких ситуациях заранее, то будет проще. Возможные варианты взаимодействия с ИИ-скептиками — забить и решить позже, заставить «силой», разбираться персонально с каждым и отрабатывать проблемы.

Связываем с бизнес-метриками и устаканиваем процессы

Главный фокус — смотрим влияние на бизнес-метрики и начинаем настраивать процессы с прицелом под них.

После второго шага в командах уже устоялись первые процессы, у большинства закрепились паттерны использования, начинаем измерять эффект от изменений.

Возможные метрики:

• Cycle time
• Время на ревью PR
• Время на разработку задачи
• Время на тестирование

Если ваши ресурсы и инфраструктура позволяют, то для сравнения эффекта поможет история из таск-трекеров, систем контроля версий и CI/CD пайплайнов.

По возможности пытаемся перевести в бизнес-эффект:

• Сэкономленные часы
• Прямой перевод в деньги
• Влияние на throughput команды

Получив срез текущих показателей, можно итеративно улучшать процессы и продолжать внедрение, понимая реальную картину.