ChatGPT・Claude・Gemini・Midjourneyの出力が不安定　会話分析の3つの指標で問題を素早く特定する

こんな発狂しそうな瞬間、あなたもありませんか：同じ要件をChatGPT、Claude、Geminiに投げても、回答の雰囲気が「別人に入れ替わった」みたい；Midjourneyはさらにひどくて、プロンプトが変わっていないのに、出てくる画像がまるでガチャ。感覚で罵るより、会話分析の考え方でAIに「健康診断」をして、問題を数値化するのをおすすめします。

指標1　解決率　ただ長く書けているかだけを見るな

会話分析でよく使うKPIは「解決率」。要するに、今回の出力がそのまま使えるかどうかです。私のやり方は泥臭いけど効果的：毎回の結果に「そのまま納品可／追質問が必要／完全に脱線」とラベルを付けます。1週間もすれば、誰がより安定しているか、誰が自己満で盛りがちかが見えてきます。

指標2　手戻り回数　的外れ回答の特効薬

手戻りはあなたのせいじゃなく、モデルが制約をよく落とすからです。あなたが追加した「表形式で出力して」「データを捏造しないで」「中国語で」みたいな一言を全部記録して、各ツールが平均で何文追加すれば要求どおりになるかを集計します。

• ChatGPT：構造化はだいたい得意だが、ときどき自信満々にでっち上げるので見張りが必要
• Claude：長文は安定しやすいが、細かな制約を明記しないと「やさしく脱線」する
• Gemini：情報統合は速いが、フォーマット要件は最初に釘を刺しておくのがベスト

指標3　応答体験　時間コストもコスト

会話分析では応答時間のような性能指標も見ます。記録するのは2つ：待ち時間＋読み終えた後に修正が必要だった分数。Midjourneyにもこの考え方を当てはめられます：リロール回数、バリエーション回数を「手戻り」とみなし、回数が多いほど、プロンプトやモデルの理解が不安定だということです。

私がよく使う結論の一言

「不安定な気がする」をデータ（解決率、手戻り、時間）に変えれば、プロンプトを変えるべきか、モデルを変えるべきか、ワークフローを変えるべきかが、一目で分かります。

これらのAIツールのサブスクや入口、使い方のあれこれをもっと手間なく片付けたいなら、ついでにTitikeyを覗いてみるといいです。私自身もよく使って、無駄な落とし穴を減らしています。