Тебе тоже знаком этот момент, когда хочется взорваться: один и тот же запрос отправляешь в ChatGPT, Claude и Gemini — а стиль ответов будто «пишет другой человек»; с Midjourney ещё страннее: подсказка не менялась, а картинки получаются как в лутбоксе. Вместо того чтобы ругаться на ощущениях, я больше рекомендую подойти с логикой анализа диалогов и устроить ИИ «медосмотр», чтобы количественно измерить проблему.
Метрика №1 — доля решения: не смотри только на то, насколько длинно он пишет
В анализе диалогов часто используют KPI «доля решения» — по сути, можно ли этот результат сразу использовать. Мой способ простой, но работает: помечать каждый результат как «можно сразу сдавать / нужны уточняющие вопросы / полностью мимо темы». Через неделю будет видно: кто стабильнее, а кто больше любит самовыражаться.
Метрика №2 — число переделок: лечит ответы не по вопросу
Переделки — не потому что ты плох, а потому что модель часто упускает ограничения. Записывай каждую добавленную тобой фразу вроде «выведи таблицей», «не выдумывай данные», «пиши по-китайски» и считай, сколько в среднем нужно дописать к каждому инструменту, чтобы он попал в цель.
- ChatGPT: со структурированием обычно всё гладко, но иногда уверенно несёт чепуху — нужно контролировать
- Claude: длинные тексты стабильнее, но если ограничения не прописать чётко, может «мягко уехать в сторону»
- Gemini: быстро сводит информацию, но требования к формату лучше сразу жёстко зафиксировать
Метрика №3 — ощущение от ответа: временные затраты тоже считаются затратами
В анализе диалогов смотрят и на показатели производительности вроде времени ответа. Можно фиксировать две вещи: время ожидания + сколько минут ты потом тратишь на правки после прочтения. На Midjourney эту логику тоже можно натянуть: считать число перегенераций и число вариантов как «переделки» — чем больше, тем нестабильнее подсказка или понимание модели.
Фраза-вывод, которой я часто пользуюсь
Когда ты превращаешь «кажется, что нестабильно» в данные (доля решения, переделки, время), становится сразу понятно — менять промпт, менять модель или менять рабочий процесс.
Если хочешь без лишней головной боли разобраться с подписками на эти ИИ-инструменты, входами и всей вознёй с использованием, можешь заодно заглянуть в Titikey — я сам часто пользуюсь им, чтобы меньше наступать на грабли.
