ChatGPT, Claude, Gemini y Midjourney tienen salidas inestables: usa 3 métricas de análisis de conversación para localizar el problema rápidamente

¿Te ha pasado también este momento desesperante?: le das el mismo requerimiento a ChatGPT, Claude y Gemini, y el estilo de la respuesta parece “como si fuera otra persona”; Midjourney es aún más absurdo: claramente el prompt no cambió, pero las imágenes salen como si estuvieras abriendo una caja sorpresa. En vez de insultar guiándote por sensaciones, recomiendo más hacerle un “chequeo” a la IA con la lógica del análisis de conversaciones y cuantificar el problema.

Métrica 1: tasa de resolución. No mires solo si escribe mucho o poco

En el análisis de conversaciones, un KPI común es la “tasa de resolución”; dicho simple, es si esta salida se puede usar directamente o no. Mi método es muy rudimentario pero efectivo: marcar cada resultado como “entregable directamente / requiere repreguntar / totalmente fuera de tema”. Una semana después podrás ver: quién es más estable y quién es más de autosatisfacerse.

Métrica 2: número de retrabajos. Especial para curar el “responder otra cosa”

El retrabajo no es porque tú seas malo; es que el modelo a menudo se salta restricciones. Anota también esa frase que agregas después, como “salida en tabla”, “no inventes datos”, “usa chino”, y calcula cuántas frases extra necesita en promedio cada herramienta para que quede bien.

• ChatGPT: normalmente se le da bien estructurar, pero a veces inventa con seguridad y tienes que vigilarlo
• Claude: es más estable en textos largos; si las restricciones de detalle no están claras, también se “desvía con suavidad”
• Gemini: integra información rápido, pero los requisitos de formato conviene dejarlos fijados desde el inicio

Métrica 3: experiencia de respuesta. El coste de tiempo también es coste

El análisis de conversaciones también mira indicadores de rendimiento como el tiempo de respuesta. Puedes registrar dos cosas: tiempo de espera + los minutos que necesitas para modificarlo tras leerlo. Con Midjourney también se puede aplicar esta lógica: toma el número de rerolls y de variantes como “retrabajo”; cuantas más veces, más indica que el prompt o la comprensión del modelo es inestable.

Una conclusión que uso mucho

Cuando conviertes el “se siente inestable” en datos (tasa de resolución, retrabajo, tiempo), queda clarísimo de un vistazo si debes cambiar el prompt, cambiar de modelo o cambiar el flujo de trabajo.

Si quieres resolver de forma más cómoda las suscripciones, accesos y el lío de uso de estas herramientas de IA, puedes pasarte por Titikey; yo también lo uso a menudo para evitar tropiezos.