Google introduit un nouvel outil appelé « Sélectionner depuis l'écran » (Select from screen) pour l'assistant Gemini dans le navigateur Chrome. Cette fonctionnalité permet aux utilisateurs d'ajouter rapidement n'importe quel texte ou image de l'onglet actif à leurs invites de conversation. Il suffit de mettre en surbrillance l'onglet actif, de choisir « Sélectionner depuis l'écran » et de cadrer le contenu souhaité pour que Gemini remplisse automatiquement le champ de saisie avec l'image ou le texte sélectionné. Actuellement, cette fonction est déployée progressivement avec la version Chrome 149. Si elle n'apparaît pas immédiatement, un redémarrage du navigateur permet de l'activer. Cette mise à jour simplifie considérablement le processus de requête visuelle, permettant aux utilisateurs de faire comprendre à l'IA des éléments spécifiques de la page consultée sans avoir à effectuer de capture d'écran ou de copier-coller manuels.
Parallèlement, Google annonce que le modèle Gemini 3.5 Flash intègre désormais un outil de « computer use » (utilisation de l'ordinateur). Les développeurs peuvent appeler cette capacité directement via l'API Gemini, permettant au modèle de simuler des interactions humaines avec une interface, par exemple parcourir une application et effectuer des tâches d'analyse. Dans un exemple officiel, le modèle 3.5 Flash utilise cet outil pour « analyser l'application Gemini et renvoyer la liste des fonctionnalités classées par catégorie ». Cela signifie que le modèle ne se limite plus à la compréhension textuelle, mais peut « voir » et « manipuler » des interfaces graphiques comme un humain, ouvrant de nouvelles possibilités pour les tests automatisés, les assistants intelligents et d'autres scénarios. La fonctionnalité de « computer use » de Gemini 3.5 Flash est disponible dès aujourd'hui dans l'API Gemini.
