Claude 3.5 Sonnet ajoute des capacités de contrôle d'ordinateur
La nouvelle version de Claude 3.5 Sonnet se distingue principalement par son aptitude à contrôler un ordinateur. Pour cela, Anthropic a développé une API dédiée, permettant au modèle de percevoir l'interface informatique et d'interagir avec elle comme un humain. Les développeurs peuvent intégrer cette API pour que Claude exécute des actions telles que déplacer le curseur, cliquer sur des boutons, remplir des formulaires, etc.
Sur le benchmark OSWorld, Claude 3.5 Sonnet a obtenu un score de 14,9 % en mode capture d'écran uniquement, surpassant nettement les autres systèmes d'IA. Bien que le contrôle de l'ordinateur présente encore des défis comme le défilement ou le glisser-déposer, plusieurs entreprises renommées telles qu'Asana et Replit testent déjà cette fonctionnalité. Cette capacité ouvre de nouvelles possibilités pour l'automatisation de tâches répétitives.
Améliorations notables des compétences en codage et optimisation des performances
Le nouveau Claude 3.5 Sonnet a franchi un palier qualitatif dans les performances de codage. Sur le test SWE-bench Verified, son score est passé de 33,4 % à 49,0 %, surpassant plusieurs modèles de raisonnement, y compris o1-preview. Les premiers retours clients montrent que GitLab a observé une amélioration de 10 % de ses capacités de raisonnement pour les tâches DevSecOps, sans augmentation de la latence.
De plus, Claude 3.5 Haiku, le modèle le plus rapide de la nouvelle génération, excelle également dans les tâches de codage. Il a obtenu un score de 40,6 % sur SWE-bench Verified, dépassant de nombreux modèles disponibles publiquement, tout en conservant le même coût et la même vitesse que la génération précédente Haiku. Ces améliorations rendent Claude plus fiable pour les tâches complexes de génie logiciel.
Autres améliorations de performances et choix de modèles
Outre les mises à jour principales, le nouveau Claude 3.5 Sonnet progresse dans plusieurs benchmarks. Sur l'évaluation TAU-bench, son score dans le domaine de la vente au détail a augmenté de 6,6 points, atteignant 69,2 %. Claude 3.5 Haiku conserve quant à lui l'avantage du faible coût et de la grande vitesse, ce qui le rend particulièrement adapté aux produits destinés aux utilisateurs finals ou aux scénarios nécessitant des réponses rapides.
Actuellement, Claude 3.5 Sonnet est accessible à tous les utilisateurs. Les développeurs peuvent y accéder via l'API Anthropic ou des plateformes comme Amazon Bedrock. Cette mise à jour renforce non seulement la position de leader de Claude dans le domaine de la programmation, mais marque également une étape importante vers la capacité des modèles d'IA à comprendre et à interagir avec le monde numérique.
