カスタマーサポートのチャットログが増えると、人力で読み返すのは本当にしんどい:高リスクな文言を見落とす、集計基準がバラバラになる、感情に引っ張られて判断がブレる。私は「会話分析」という考え方で品質チェックをするほうが好きだ。意図・感情・重要エンティティを抽出し、その上で解決率や応答速度などの指標を見ると、効率がかなり上がる。
同じ対話をChatGPT/Claude/Geminiにそれぞれ投げるとき、どう聞く?
対話の一部を貼り付けて、モデルに構造化結果をそのまま出力させれば、後は表に流し込んで集計できる。
- 汎用プロンプト:ユーザー意図、感情(1〜5)、製品/価格/返金などのエンティティ、クレームのエスカレーション有無、1文の改善提案を抽出し、JSONで出力してください
- ChatGPT:品質チェックの採点表やNGワード一覧のように「ルール」をきっちり書くのに向いていて、出力がより安定する
- Claude:長い対話の要約や「この発言がなぜユーザーを怒らせたのか」といった繊細な分析が得意で、読み終えると少し教えられた気分になる
- Gemini:多言語対応やチャネル帰因をついでにやるのに向いており、中英が混ざった対話を同一のタグ体系に統一できる
品質チェックを追跡可能なKPIにする
一般的な会話分析のやり方を参考にして、「解決したかどうか」だけでなく、頻出問題Top、ネガティブ感情のトリガー、初回応答時間、解決率も追うべきだ。モデルの出力フィールドを固定すれば、集計基準をめぐって毎日言い争うこともなくなる。


