Chrome内蔵Geminiに新機能「画面選択」、3.5 Flashがコンピュータ操作に対応

GoogleはChromeブラウザ内のGeminiアシスタントに、便利な新機能「Select from screen」（画面選択ツール）を展開中です。この機能を使うと、現在のタブに表示されている任意のテキストや画像を素早く切り取り、そのままGeminiのプロンプトボックスに追加できます。操作時はページがハイライト表示され、ユーザーは範囲を選択するだけで画像が自動的に入力エリアに貼り付けられ、より直感的に質問を投げかけられます。本機能はChrome 149から順次提供されており、まだ表示されない場合はブラウザを再起動すると有効化されます。

同時に、GoogleはGemini 3.5 Flashモデルにコンピュータ使用（computer use）ツールを内蔵したことを発表しました。開発者はGemini APIを介してこの機能を呼び出し、モデルが人間のようにデスクトップ環境を操作できるようにできます。例えば、3.5 Flashは「Geminiアプリを開き、分類後の機能リストを返す」といった動作が可能で、インターフェース要素の分析やインタラクションを実現します。この進展により、AIは自動化業務やスマートテストなどのシーンでさらに応用範囲を広げています。

ユーザー側と開発者側の両方において、2つのアップデートはそれぞれAIの利用ハードルを下げ、モデルの操作能力を拡張しています。「Select from screen」による日常的なQ&A効率の向上、そして3.5 Flashのコンピュータ操作が実用化に向かう中、GoogleはAIをChromeエコシステムと開発ワークフローにより深く統合しつつあり、将来的には視覚と操作に基づくさらに多くのスマートアシスタントアプリケーションが生まれる可能性があります。