Когда чат‑логов службы поддержки становится много, вручную их перелопачивать — мучение: легко пропустить высокорисковые формулировки, разъезжаются критерии статистики, да ещё и эмоции уводят в сторону. Я предпочитаю делать контроль качества через подход «анализ диалога»: извлекать намерение, эмоцию, ключевые сущности, а затем смотреть на такие метрики, как доля решённых обращений и скорость ответа — так гораздо эффективнее.
Как спрашивать ChatGPT / Claude / Gemini по одному и тому же диалогу
Можно вставить фрагмент диалога и сразу попросить модель выдать структурированный результат — потом загрузить в таблицу и посчитать статистику.
- Универсальный промпт:Пожалуйста, извлеки намерение пользователя, эмоцию (1–5), сущности (продукт/цена/возврат и т. п.), было ли эскалирование в жалобу, дай одно предложение с рекомендацией по улучшению и выведи в JSON
- ChatGPT:подходит, когда «правила» прописаны жёстко — например, таблица баллов для контроля качества, список запрещённых слов; вывод получается стабильнее
- Claude:лучше справляется с обобщением длинных диалогов и тонким анализом «почему эта фраза разозлила пользователя» — после чтения ощущение, будто тебя немного поучили
- Gemini:удобен для многоязычия и атрибуции каналов — например, привести смешанный китайско‑английский диалог к единому набору тегов
Сделайте контроль качества отслеживаемым KPI
По распространённой практике анализа диалогов не стоит смотреть только «решили или нет» — ещё нужно следить за: топом самых частых проблем, триггерами негативных эмоций, временем до первого ответа, долей решённых обращений. Когда поля вывода модели фиксированы, из‑за статистических критериев у вас не будут спорить каждый день.
