Claude新機能でPC操作が可能に！AIアシスタントがマウスとキーボードを制御

Anthropicは先日、Claude 3.5 Sonnetに画期的なアップデートを実施しました。これまでのチャット型AIから一歩進み、画面を見て、マウスを動かし、キーボードを打つ——人間と同じようにPCを操作できるようになったのです。もしあなたが今なお手作業でフォーム入力やデータのコピー＆ペーストを行っているなら、このアップデートがあなたの働き方を根本から変えるかもしれません。さっそく、新機能「コンピューター操作」の実力と、どのようなシーンで役立つのかを見ていきましょう。

Claudeはどのように人間のようにPCを操作するのか？

AnthropicはClaude専用のAPIを構築し、AIがPC画面を「認識」できるようにしました。具体的には、スクリーンショットを取得してボタンや入力フィールドの位置を理解し、マウスの移動、クリック、キーボード入力などのコマンドを直接生成します。このAPIを組み込めば、例えば「デスクトップ上のExcelファイルを開いて、B列の数値をWebフォームにコピーし、送信する」といったタスクをClaudeに指示できます。Claudeは画面を確認しながらカーソルを動かし、ブラウザを操作する—まるで遠隔操作でインターン生に指示を出すかのような感覚です。

AIのコンピューター操作能力を評価するOSWorldベンチマークでは、新版Claude 3.5 Sonnetがスクリーンショットのみで14.9%のスコアを記録。これは2位のCradle BAAI（7.8%）を大きく上回る結果です。さらに操作ステップを増やすとスコアは22%まで向上しました。人間の70%以上には及びませんが、現時点で最も「PCを使いこなせる」AIと言えるでしょう。

コーディング能力が大幅向上、コード作成がより信頼性に

PC操作に加え、新版Claude 3.5 Sonnetはプログラミング面でも驚くべき進歩を遂げています。SWE-bench Verified（AIが実際のソフトウェア問題を解決する能力を測るベンチマーク）では、以前の40.6%から49%へとスコアが急上昇し、OpenAI o1-previewを含むすべての公開モデルを凌駕しました。GitLabのテストによると、Claudeは多段階ソフトウェア開発プロセスにおける推論能力が10%向上し、レイテンシも増加していません。つまり、本格的なWebアプリケーションモジュールの作成や複雑なコードロジックのデバッグを依頼しても、以前より信頼できる結果が得られるということです。

スピードを重視する方には、Anthropicが新たに用意したClaude 3.5 Haikuもおすすめです。前世代のHaikuと同じ価格・同じ速度でありながら、知能レベルは先代の大型モデルClaude 3 Opusを上回ります。特にコーディングタスクでは、SWE-bench Verifiedで40.6%を記録し、初期のClaude 3.5 SonnetやGPT-4を超えています。自動テスト、ログ解析、コード補完など、高速な反復と頻繁な呼び出しが必要なシーンに最適です。

開発者はこれらの新機能をどう活用できるか？

アップデート後のClaude 3.5 Sonnetは全ユーザーが利用可能です。開発者はAnthropic API、Amazon Bedrock、Google CloudのVertex AIを介してコンピューター操作機能を呼び出すことができます（ベータ版）。ただし、現時点ではまだ完璧とは言えません。スクロール、ドラッグ＆ドロップ、ズームといった人間には簡単な動作も、Claudeは頻繁に失敗します。また、長時間のスクリーン録画によりタスクが中断することもあります。それでもAsana、Canva、Replitなどの企業は、フォームの自動入力やアプリケーションのUIチェックといった反復作業の自動化にすでに活用しています。Claude 3.5 Haikuは今月下旬に公開予定で、初期はテキストのみ対応、その後画像入力も追加される見込みです。

開発者として、あるいはフォーム入力やデータ転送といった面倒な作業に日々悩まされているなら、Claudeにマウス操作を任せてみてはいかがでしょうか。まだ初心者のように不器用な部分もありますが、その進化のスピードは確実に目を引くものがあります。