Nouvelles fonctionnalités de Claude 3.5 Sonnet expliquées en détail : capacités de pilotage de l’ordinateur et mise à niveau de l’appel d’outils

Le changement le plus notable de Claude 3.5 Sonnet cette fois-ci, c’est qu’on commence à permettre au modèle de « comprendre l’écran et manipuler la souris », en transformant des instructions en langage naturel en un véritable processus d’actions sur ordinateur. Pour celles et ceux qui ont besoin d’automatiser des tableurs, de saisir des données sur le web ou d’organiser des informations, le périmètre d’usage de Claude 3.5 Sonnet s’élargit nettement.

En quoi consiste exactement la « capacité à piloter l’ordinateur » de Claude 3.5 Sonnet ?

Claude 3.5 Sonnet a ajouté, à destination des développeurs, une approche d’API liée au pilotage de l’ordinateur : d’abord percevoir l’interface (par exemple capture d’écran/état de l’UI), puis décomposer ta demande en étapes exécutables. Il peut suivre pas à pas une chaîne du type « ouvrir le navigateur — aller à la page — repérer le champ de saisie — remplir le formulaire — envoyer », de sorte que la tâche ne reste plus au stade de simples recommandations textuelles.

Le cœur de cette capacité ne tient pas à « savoir naviguer sur Internet », mais à « savoir agir selon l’interface ». Claude 3.5 Sonnet est conçu pour continuer à faire des choix et à corriger les erreurs au fil d’un processus en plusieurs étapes ; il convient donc pour confier à l’automatisation des opérations répétitives, fastidieuses et sujettes aux erreurs.

Pour quels scénarios est-ce le plus adapté : tableurs, back-office, tests et processus répétitifs

Si ton travail se bloque souvent sur du « copier-coller + aller-retour entre pages », Claude 3.5 Sonnet aura davantage de valeur : extraire des champs depuis des données locales, les renseigner dans un formulaire en ligne ou un tableur ; saisir des informations dans un système back-office en suivant un chemin fixe ; rejouer une même procédure pour différents clients ou différents lots de données.

Pour les équipes de développement, Claude 3.5 Sonnet est aussi mieux adapté au rôle d’« exécutant outillé » : par exemple, dans un environnement de test, cliquer étape par étape, vérifier l’état des pages, consigner les résultats, puis réécrire les points anormaux dans une liste.

Programmation et usage d’outils également renforcés

En plus de pouvoir piloter un ordinateur, Claude 3.5 Sonnet a aussi été renforcé sur les tâches de programmation et d’utilisation d’outils ; l’éditeur mentionne des améliorations nettes sur des benchmarks comme HumanEval et SWE-bench Verified. L’effet le plus tangible pour toi : Claude 3.5 Sonnet est plus enclin à produire du code exécutable sous contraintes, respecte mieux les formats d’interface, et dérive moins dans les demandes en plusieurs étapes.

Si tu considères Claude 3.5 Sonnet comme un « collaborateur de projet », il est recommandé de découper la tâche en : objectif, entrée, sortie, ce qui est interdit, critères d’acceptation. Ainsi, lors de l’appel d’outils, de la génération de code et de la couverture des cas limites, il sera plus stable.

Limites connues et conseils d’usage : n’attends pas la perfection du premier coup

La capacité de pilotage de l’ordinateur de Claude 3.5 Sonnet est encore à un stade précoce ; des actions très naturelles pour un humain, comme faire défiler, glisser-déposer ou zoomer, peuvent encore être difficiles pour le modèle. Lors de tests réels, il est aussi arrivé que des erreurs de manipulation interrompent des tâches longues ; pour les opérations importantes, il est donc conseillé d’ajouter des étapes de confirmation et une stratégie de retour en arrière.

Pour utiliser Claude 3.5 Sonnet de manière plus fiable, tu peux rédiger les « actions » sous forme d’une courte liste de phrases et lui demander de rapporter l’état actuel de l’interface toutes les deux ou trois étapes. Ainsi, même si une étape échoue, tu peux rapidement identifier sur quelle page, quel composant ou quelle fenêtre de permissions ça bloque.

Accès et mise en œuvre : commencer par de petits processus

Claude 3.5 Sonnet est accessible via l’API ainsi que via des canaux de plateforme cloud ; il est préférable de commencer par des processus « petits et stables », par exemple le remplissage de formulaires sur un site fixe, ou la mise à jour d’un tableau avec des champs fixes. Une fois la structure des pages, les branches d’exception et les fenêtres de permissions bien comprises, tu pourras élargir progressivement vers des tâches plus ouvertes.

Si tu veux intégrer Claude 3.5 Sonnet en production, veille impérativement à placer à l’extérieur le contrôle des permissions, une liste blanche d’actions, et le masquage des pages sensibles, afin que Claude 3.5 Sonnet n’exécute que dans les limites autorisées — et que « savoir faire » devienne « savoir faire en toute sécurité ».