Claude新功能解锁电脑操作，AI助手能控制鼠标键盘了

Anthropic最近给Claude 3.5 Sonnet带来了一项颠覆性更新——它不再只会打字聊天，而是可以像人一样看屏幕、移动鼠标、敲键盘，真正帮你操作电脑。如果你还在手动填表、复制粘贴数据，这次升级可能会彻底改变你的工作方式。下面一起来看看这个新增的“计算机操作”能力到底有多强，以及它还能在哪些场景派上用场。

Claude如何像人类一样操控电脑？

Anthropic专门为Claude打造了一套API，让它能“感知”电脑界面——说白了就是看截图、理解按钮和输入框的位置，然后直接生成鼠标移动、点击、打字等命令。开发者接入这套API后，可以要求Claude帮你完成这类任务：“打开我桌面上的Excel表格，把B列的数字复制到网页表单里，然后提交”。Claude会一步步检查屏幕、移动光标、操作浏览器，整个过程就像你在远程指挥一个实习生干活。

在评测模型计算机使用能力的OSWorld基准测试中，新版的Claude 3.5 Sonnet仅靠截图就能取得14.9%的得分，远超第二名Cradle BAAI的7.8%。如果给它更多操作步骤，成绩还能提升到22%。虽然和人类70%以上的水平还有差距，但它已经是目前AI里最会“用电脑”的一个了。

编码能力大幅提升，写代码更靠谱

除了操作电脑，新版Claude 3.5 Sonnet在编程方面的进步同样惊人。SWE-bench Verified（一个衡量AI解决实际软件问题能力的基准）上，它的得分从之前的40.6%跃升至49%，超越了包括OpenAI o1-preview在内的所有公开模型。GitLab测试后发现，Claude在多步骤软件开发流程中的推理能力提升了10%，而且延迟没有增加。换句话说，让它帮忙写一个完整的Web应用模块，或者调试复杂的代码逻辑，都比以前更可靠。

如果你对速度有更高要求，Anthropic还准备了新一代的Claude 3.5 Haiku——它和上一代Haiku价格一样、速度相近，但智能水平甚至超过了老大哥Claude 3 Opus。尤其在编码任务上，Haiku在SWE-bench Verified拿到40.6%，比最初的Claude 3.5 Sonnet和GPT-4都强。适合那些需要快速迭代、频繁调用的场景，比如自动化测试、日志分析或者代码补全。

开发者怎么用上这些新能力？

升级后的Claude 3.5 Sonnet已经对所有用户开放。开发者可以通过Anthropic API、Amazon Bedrock以及Google Cloud的Vertex AI来调用电脑操作功能（注意是测试版）。不过目前这个功能还远谈不上完美——滚动、拖拽、缩放这些人类觉得很简单的事，Claude做起来经常翻车，有时候还会因为长时间录屏导致任务中断。但像Asana、Canva、Replit这些公司已经在用它来自动化重复性流程，比如自动填写表单、检查应用界面表现等。Claude 3.5 Haiku则预计在月底上线，初期只支持文本，后续会加入图像输入。

如果你是个开发者，或者经常被填表格、数据搬运这类琐事折磨，不妨试试让Claude来帮你点鼠标。虽然它现在还像个笨手笨脚的新手，但进步速度已经让人不得不留意了。