Новая функция Claude позволяет управлять компьютером: ИИ-помощник теперь работает с мышью и клавиатурой

Anthropic недавно выпустила обновление для Claude 3.5 Sonnet, которое кардинально меняет подход к взаимодействию с ИИ. Раньше модель могла только вести диалог, теперь же она способна видеть экран, перемещать курсор, нажимать клавиши и выполнять действия за вас. Если вы всё ещё тратите время на ручное заполнение форм или копирование данных, эта функция может полностью изменить ваш рабочий процесс. Давайте разберёмся, на что способен новый режим «управления компьютером» и в каких сценариях он оказывается полезен.

Как Claude управляет компьютером как человек?

Anthropic создала для Claude специальный API, который позволяет модели «воспринимать» интерфейс компьютера — по сути, модель смотрит на скриншоты, определяет расположение кнопок и полей ввода, а затем генерирует команды для перемещения мыши, кликов и ввода текста. Разработчики, подключив этот API, могут попросить Claude выполнить такие задачи: «Открой таблицу Excel на моём рабочем столе, скопируй числа из столбца B в веб-форму и отправь». Claude шаг за шагом проверяет экран, двигает курсор, управляет браузером — весь процесс напоминает удалённое руководство стажёром.

В бенчмарке OSWorld, оценивающем способность моделей управлять компьютером, новый Claude 3.5 Sonnet, работая только со скриншотами, набрал 14,9% — это значительно выше, чем у второго места Cradle BAAI с 7,8%. Если добавить больше действий, результат достигает 22%. Хотя это всё ещё далеко от человеческого уровня (более 70%), Claude остаётся лучшим среди ИИ-моделей в умении «пользоваться компьютером».

Значительное улучшение навыков программирования — код стал надёжнее

Помимо управления компьютером, новая версия Claude 3.5 Sonnet демонстрирует впечатляющий прогресс в программировании. В тесте SWE-bench Verified, измеряющем способность ИИ решать реальные задачи по разработке ПО, его показатель вырос с 40,6% до 49%, что превосходит все публичные модели, включая OpenAI o1-preview. После тестирования в GitLab выяснилось, что рассуждения Claude при многоэтапной разработке улучшились на 10%, а задержка не увеличилась. Другими словами, доверить ему написание полноценного веб-модуля или отладку сложного кода стало надёжнее.

Если вам нужна ещё более высокая скорость, Anthropic подготовила новое поколение Claude 3.5 Haiku. Оно стоит столько же, работает с той же скоростью, что и предыдущая версия Haiku, но по интеллекту превосходит даже старшую модель Claude 3 Opus. Особенно в кодинге: Haiku набрал 40,6% в SWE-bench Verified — лучше, чем у стартового Claude 3.5 Sonnet и GPT-4. Он идеально подходит для сценариев, где нужны частые итерации и вызовы: автоматическое тестирование, анализ логов или автодополнение кода.

Как разработчикам использовать новые возможности?

Обновлённый Claude 3.5 Sonnet уже доступен всем пользователям. Разработчики могут подключить функцию управления компьютером через Anthropic API, Amazon Bedrock и Google Cloud Vertex AI (обратите внимание — это бета-версия). Пока функция далека от идеала: прокрутка, перетаскивание и масштабирование — простые для человека действия — у Claude часто не получаются, а длительная запись экрана может прерывать задачу. Тем не менее такие компании, как Asana, Canva и Replit, уже используют её для автоматизации рутинных процессов: например, для автозаполнения форм или проверки интерфейса приложений. Claude 3.5 Haiku ожидается в конце месяца; сначала он будет работать только с текстом, а затем добавится поддержка изображений.

Если вы разработчик или просто устали от заполнения таблиц и переноса данных — попробуйте поручить Claude работу с мышью. Пусть сейчас он похож на неуклюжего новичка, но скорость его прогресса заставляет обратить на себя внимание.