Google a récemment déployé un outil pratique appelé « Select from screen » (Sélectionner depuis l'écran) pour l'assistant Gemini dans le navigateur Chrome. En un clic sur cet outil, l'utilisateur peut mettre en surbrillance l'onglet actif et sélectionner librement n'importe quel texte ou image. Le contenu sélectionné est automatiquement ajouté à la zone de saisie de Gemini. Cette fonctionnalité est actuellement déployée progressivement dans le cadre de Chrome 149 ; si elle n'apparaît pas immédiatement, un redémarrage du navigateur suffit pour en profiter. Elle simplifie grandement le processus d'importation d'informations issues de l'écran dans une conversation avec l'IA, rendant les questions plus intuitives et efficaces.
Parallèlement, Google a annoncé que le modèle Gemini 3.5 Flash intègre désormais une capacité d'utilisation d'ordinateur (computer use). Les développeurs peuvent appeler ce modèle via l'API Gemini pour qu'il interagisse avec les interfaces comme un humain et analyse le contenu des applications. Par exemple, 3.5 Flash peut ouvrir automatiquement l'application Gemini et renvoyer une liste classée de ses fonctionnalités. Cette avancée marque une étape supplémentaire dans la concrétisation des capacités des agents IA (AI Agent), ouvrant de nouvelles possibilités pour les tests automatisés, les assistants intelligents et d'autres scénarios.
