Коммерческое предложение с правками, секундомер и согласованный документ: стоимость проверки и переделок
|

Как выбирать ИИ-модель по стоимости готового коммерческого предложения

При выборе ИИ-модели легко сравнить тарифы и решить, что более дешёвый запрос даст более выгодную автоматизацию. Для подготовки коммерческих предложений такой расчёт часто не отражает главного: сколько времени и работы потребуется, прежде чем черновик можно будет отправить клиенту.

Модель не создаёт ценность самим фактом генерации текста. Нужен принятый результат: коммерческое предложение с верными реквизитами, составом работ, условиями, ограничениями и аргументами, которые соответствуют заявке. Пока менеджер не проверил документ и не готов отвечать за его содержание, процесс не завершён.

Что входит в полную стоимость результата

Стоимость вызова модели — только одна часть. К ней добавляется время сотрудника на чтение и сверку, исправление фактов, восстановление пропущенных деталей, правку структуры и повторную генерацию. Если черновик нельзя безопасно использовать, появляется ещё одна статья: возврат к ручной подготовке документа.

Некоторые ошибки исправляются за несколько секунд. Например, неудачный заголовок или слишком длинный вводный абзац. Другие требуют заново поднять заявку, переписку и карточку сделки. Особенно опасны уверенно сформулированные неточности: выдуманный срок, отсутствующая в прайсе услуга, неверный порядок оплаты или обещание, которого компания не давала.

Поэтому оценивать модели полезно не по красоте первого ответа, а по пути от заявки до документа, принятого ответственным сотрудником. Это меняет и устройство пилота, и критерии решения.

Сначала зафиксируйте, что считается готовым КП

До теста нужен короткий стандарт приёмки. Без него один проверяющий будет считать результат готовым после косметической правки, а другой перепишет тот же текст полностью. Сравнение потеряет смысл.

Для коммерческого предложения стандарт может включать обязательные разделы, допустимые источники данных и перечень ошибок, при которых черновик отклоняется. Стоит отдельно определить, какие поля модель вправе заполнять только из CRM или заявки, а какие формулировки может предложить самостоятельно.

Полезно разделить правки на три группы:

  • фактические — реквизиты, позиции, сроки, цены, условия и другие проверяемые сведения;
  • содержательные — неверно понятая потребность, пропущенное ограничение или неподходящий состав предложения;
  • редакционные — стиль, повторы, порядок абзацев и оформление.

Такой журнал покажет не только количество вмешательств, но и их характер. Несколько стилистических правок могут быть менее существенны, чем одна ошибка в условиях сделки.

Как собрать набор для пилота

Для сравнения нужен один набор обезличенных заявок. Не стоит отбирать только аккуратно заполненные карточки: в реальном процессе встречаются короткие обращения, противоречивые комментарии, вложения и недостающие сведения. Набор должен отражать именно тот поток, с которым будут работать менеджеры.

Из заявок удаляют персональные данные и коммерчески чувствительную информацию, если правила компании не позволяют использовать их в выбранной среде. При этом важно сохранить структуру задачи. Если после обезличивания исчезли отрасль, ограничения или состав запроса, тест станет слишком простым.

Для каждой заявки желательно иметь эталонные источники: подтверждённую карточку сделки, актуальный прайс, шаблон КП и правила согласования. Эталон не обязательно должен быть идеальным готовым текстом. Его задача — позволить проверяющему однозначно установить, где модель ошиблась.

Что фиксировать во время проверки

Основная единица измерения — время от передачи заявки в процесс до готового документа. В него входит генерация, ожидание, проверка сотрудником, исправления, повторные попытки и финальное согласование. Если учитывать только скорость ответа модели, значительная часть работы останется вне отчёта.

В журнал пилота стоит заносить:

  • общее время до принятого коммерческого предложения;
  • время активной проверки и редактирования сотрудником;
  • число и тип исправлений фактов;
  • причину повторной генерации, если она потребовалась;
  • факт отклонения черновика и возврата к ручной подготовке;
  • нарушения обязательного шаблона или правил работы с данными.

Долю отклонённых черновиков лучше считать отдельно от числа правок. Документ может содержать много мелких замечаний и всё же быть пригодным. Другой выглядит убедительно, но отклоняется из-за одного выдуманного условия.

Проверяющие должны работать по одной инструкции. Если в пилоте участвуют несколько менеджеров, полезно разобрать спорные примеры до старта и договориться о границе между правкой и отклонением. Иначе оценка будет отражать личные привычки редакторов, а не качество модели.

Условный пример сравнения

Допустим, первая модель создаёт аккуратно оформленное предложение и хорошо воспроизводит деловой стиль. Однако менеджеру приходится сверять каждую позицию: модель иногда добавляет условия, которых не было в заявке. Вторая выдаёт более простой текст, но сохраняет факты и явно помечает недостающие данные.

По цене отдельного запроса первая модель может выглядеть привлекательнее. По стоимости принятого результата вывод способен измениться, потому что проверка занимает больше времени, а часть черновиков нельзя использовать. Это не универсальное преимущество второй модели. На другом наборе заявок результат может быть обратным. Именно поэтому решение принимают после пилота на собственном процессе.

Критерии отказа нужно определить заранее

Пилот не должен заканчиваться внедрением только потому, что прототип умеет создавать связный текст. До начала теста следует записать условия остановки.

Основанием для отказа может быть регулярное появление неподтверждённых фактов, пропуск обязательных условий, невозможность проверить происхождение данных или слишком высокая доля черновиков, которые менеджеры не готовы принимать. Ещё один сигнал — ситуация, когда проверка и переделка не упрощают текущую работу, а создают дополнительный этап.

Отдельно проверяются ограничения по данным и доступам. Даже качественный результат не подходит для промышленного процесса, если выбранная схема нарушает внутренние правила компании. Эти требования нельзя откладывать до завершения содержательного теста.

Какие ограничения есть у пилота

Небольшой набор заявок не воспроизводит весь будущий поток. После изменения прайса, шаблона или ассортимента качество может измениться. Результат также зависит от полноты CRM: модель не восстановит надёжно сведения, которых нет в исходных данных.

Пилот обычно проходит в более контролируемых условиях, чем ежедневная работа. В реальном процессе появляются параллельные задачи, срочные заявки и разные способы заполнения карточек. Поэтому после запуска нужны выборочные проверки и журнал причин отклонения документов.

Наконец, не все последствия удобно переводить в деньги. Риск отправить клиенту неверное условие лучше учитывать отдельным критерием качества, а не прятать внутри условной средней стоимости документа.

Как принять решение

Сводить результаты к одной цене токенов не стоит. Руководителю нужен ответ на более прикладной вопрос: какая модель и настройка процесса дают приемлемое качество при понятных затратах времени и допустимом уровне риска.

Мы подбираем модели на реальных примерах, считаем экономику и встраиваем решение в CRM или 1С.[1]

Если хотите проверить этот подход на своих заявках, посмотрите, как у нас устроены подбор и внедрение моделей.

Источники

Sources:
[1] https://virtuman.com/openai-claude — Внедрение моделей в бизнес

Похожие записи