С запуском мультимодальной модели GPT-4o ChatGPT совершил качественный скачок в голосовом общении, визуальном понимании и интерактиве в реальном времени. От мгновенного устного перевода до помощи с кодом через общий экран и глубокой интеграции с экосистемой Apple — эти нововведения меняют подход к совместной работе человека и ИИ.
Естественное голосовое общение и перевод в реальном времени
Самое заметное изменение GPT-4o — это голосовое взаимодействие. Теперь это не просто переписка: ИИ понимает интонации и эмоции, отвечая с такой же эмоциональной окраской. В сочетании с поддержкой 50 языков ChatGPT выполняет устный перевод в процессе диалога, устраняя языковые барьеры. Эта функция особенно полезна для международных конференций и изучения языков.
Совместное использование экрана и ИИ-репетитор
Благодаря функции демонстрации экрана ChatGPT может в реальном времени считывать код, диаграммы или макеты, которые показывает пользователь, и давать голосовые пояснения по указанному курсором участку. Он работает как суперрепетитор: не нужно вручную делать скриншоты или вводить длинные описания. Это значительно упрощает решение задач по программированию, видеомонтажу или анализу данных. Возможности технологии особенно перспективны в сфере образования и технической поддержки.
Инструмент памяти и персонализированный креатив
Новая функция памяти GPT-4o позволяет ИИ запоминать предпочтения пользователя на долгий срок — например, ваш любимый стиль письма или учебный план. Кроме того, ChatGPT способен генерировать персонализированный контент, такой как сказки на ночь или креативные концепции, подстраиваясь под указанный вами тембр голоса или настроение. Пользователи ChatGPT Plus также могут создавать собственные кастомные GPTs для ещё более индивидуального опыта.
Приложение для Mac и интеграция с Apple
Приложение ChatGPT для Mac активируется по сочетанию Option + Space, позволяя пользоваться сервисом в любой момент без браузера. Ещё более примечательно, что на WWDC Apple анонсировала интеграцию ChatGPT в Siri, iOS 18, iPadOS 18 и macOS Sequoia. Пользователи смогут вызывать возможности GPT-4o прямо на устройствах Apple без необходимости отдельно регистрировать аккаунт OpenAI.
Продвинутый голосовой режим скоро станет доступен всем
OpenAI уже выпустила альфа-версию продвинутого голосового режима для некоторых пользователей ChatGPT Plus. Он способен имитировать реалистичную интонацию, улавливать вздохи и смех, делая диалог более захватывающим. Полноценный запуск для всех подписчиков Plus запланирован на осень. Несмотря на задержки, связанные с обсуждением безопасности голосового синтеза, финальная версия будет сочетать безопасность и выразительность. Эти нововведения превращают ChatGPT из простого инструмента в настоящего интеллектуального компаньона.
