Google apporte une nouvelle fonctionnalité pratique à l'assistant Gemini dans le navigateur Chrome : « Select from screen » (sélection depuis l'écran). Cet outil permet aux utilisateurs d'ajouter rapidement tout texte ou image de l'onglet actif à la zone de saisie. Il suffit de cliquer sur « Select from screen » dans le menu, de survoler l'onglet pour le mettre en surbrillance, puis de sélectionner la zone souhaitée. Le contenu choisi est alors automatiquement intégré dans la zone de question de Gemini. Cette fonction est déployée progressivement avec Chrome 149 ; si elle n'apparaît pas immédiatement, un redémarrage du navigateur suffit pour l'activer.
Parallèlement, Google annonce que le modèle Gemini 3.5 Flash intègre désormais une capacité de « contrôle d'ordinateur » (computer use). Les développeurs peuvent l'invoquer via l'API Gemini pour permettre au modèle d'effectuer des opérations d'analyse, de classification, etc., dans un environnement virtuel. Dans un exemple officiel, le modèle 3.5 Flash utilise cette capacité pour « analyser l'application Gemini et renvoyer une liste de catégories de fonctionnalités ». Cela marque une étape importante dans l'évolution de l'IA, passant d'une réponse passive à une interaction active avec l'interface, ouvrant de nouvelles possibilités pour des cas comme les tests automatisés et la collecte de données.
