Chrome Geminiに「画面から選択」機能が登場 – 3.5 Flashでコンピューター操作も可能に

Googleは最近、ChromeブラウザのGeminiアシスタント向けに新機能「Select from screen」（画面から選択）をリリースしました。このツールを使うと、現在のタブ内で任意のテキストや画像を自由に囲み、素早く質問ボックスに追加できます。ユーザーはページをハイライトして内容を選ぶだけで、Geminiがその情報をもとに回答や処理を行います。本機能はChrome 149バージョンから順次展開されており、すぐに反映されない場合はブラウザを再起動することで有効化できます。

同時にGoogleは、Gemini 3.5 Flashモデルに「コンピューター使用」（Computer Use）機能を内蔵したと発表。開発者はGemini APIを通じてこの新ツールを呼び出し、モデルが人間のようにインターフェースを操作したり、アプリケーションを分析して構造化された結果を返せます。例えば、3.5 Flashはこの機能を使って「Geminiアプリケーションを分析し、分類された機能リストを返す」といった処理が可能です。これにより、自動テストやデータスクレイピングなどのシーンで、より直接的なAI駆動型ソリューションが提供されます。

今回のアップデートは、GoogleがAIとブラウザの深い統合において重要な一歩を踏み出したことを示しています。一般ユーザーにとっては、「Select from screen」がマルチモーダルな対話フローを簡素化し、開発者にとっては3.5 Flashのコンピューター使用機能がより幅広い自動化の可能性を切り開きます。これらのツールが順次実用化されるにつれ、AIの実用性はさらに向上すると期待されます。