Разделите качество модели и эффект процесса
Модель может правильно извлекать поля, но не сокращать время обработки, если сотрудник всё равно перепроверяет документ целиком. Поэтому оценке нужны два уровня: качество технического результата и изменение рабочего процесса.
Для агента это могут быть корректность действия и время решения обращения. Для аналитики — точность наблюдения и количество решений, которые команда приняла на его основе.
Зафиксируйте исходное состояние
До запуска измерьте текущий процесс на сопоставимых задачах. Укажите период, состав выборки и правила подсчёта. Иначе после пилота будет трудно понять, что именно изменилось.
Не сравнивайте сложные ручные случаи с простыми автоматизированными. Если состав задач различается, разделите результаты по типам.
Учтите работу с исключениями
Запишите, что происходит при недостатке данных, сбое интеграции и неверном ответе. Время ручной проверки и исправления должно входить в оценку.
Стоимость процесса включает запуск, использование модели, поддержку и участие команды. Красивый ответ в демонстрации не заменяет проверку этой общей картины.
Продолжайте наблюдение после пилота
После запуска меняются данные, нагрузка и привычки пользователей. Сохраняйте контрольный набор задач и отслеживайте причины ошибок.
У проекта должен быть владелец результата: человек, который видит метрики, разбирает исключения и принимает решение о развитии сценария.