Nouvelles fonctionnalités de Claude : guide pour contrôler un ordinateur via l'IA

Anthropic a récemment dévoilé une mise à jour majeure pour le modèle Claude 3.5 Sonnet, avec une toute nouvelle capacité d'exécution autonome de tâches en contrôlant directement un ordinateur. Cela signifie que Claude n'est plus un simple assistant conversationnel : il peut désormais « voir » l'écran et interagir avec l'interface comme un humain, offrant des possibilités inédites pour l'automatisation bureautique et la programmation.

Ce que change la fonction d'exécution autonome de Claude

Au cœur de cette nouveauté se trouve une API spécialement développée par Anthropic, qui permet à Claude de percevoir et d'interagir avec l'interface d'un ordinateur. Il suffit aux développeurs de fournir une instruction, et Claude la transforme en actions informatiques concrètes, comme ouvrir un navigateur, remplir un formulaire ou vérifier un tableau de calcul.

Selon les données officielles, lors du test standard OSWorld, Claude 3.5 Sonnet a obtenu un score de 14,9 % dans la compréhension des captures d'écran, ce qui est inférieur au niveau humain (70-75 %), mais dépasse déjà les autres modèles d'IA. En effectuant davantage d'étapes, le score peut atteindre 22 %.

Comment utiliser le contrôle d'ordinateur de Claude pour gagner en productivité

Pour les utilisateurs ordinaires, la capacité de Claude à manipuler un ordinateur peut considérablement réduire les opérations manuelles fastidieuses. Par exemple, lorsque vous devez compiler des informations provenant de plusieurs sources de données, il vous suffit d'indiquer votre besoin à Claude : il ouvrira automatiquement les logiciels concernés, recherchera les informations et les complétera.

Actuellement, plusieurs entreprises comme Replit, Canva et DoorDash testent déjà cette fonctionnalité. Replit l'a même utilisée pour développer un outil d'inspection d'applications qui évalue automatiquement les performances du code pendant la programmation. Cette capacité d'exécution autonome rend Claude particulièrement adapté aux flux de travail répétitifs et multi-étapes.

Nouvelle fonctionnalité de Claude : codage renforcé et gestion de tâches complexes

Outre le contrôle d'ordinateur, cette mise à jour améliore considérablement les compétences de codage de Claude. Lors du test SWE-bench Verified, le score de Claude 3.5 Sonnet est passé de 33,4 % à 49 %, surpassant tous les modèles publics, y compris OpenAI o1-preview.

Dans le test TAU-bench Retail, le score de Claude est également passé de 62,6 % à 69,2 %. Les premiers retours d'entreprises comme GitLab et Cognition montrent que le nouveau modèle excelle dans les tâches à long terme et les processus de développement logiciel multi-étapes, fonctionnant de manière stable pendant plusieurs heures. Pour les développeurs et les utilisateurs ayant besoin de traiter efficacement des tâches complexes, cette mise à jour de Claude mérite toute l'attention.