Claude ปลดล็อกฟีเจอร์ใหม่ควบคุมคอมพิวเตอร์ สั่ง AI ขยับเมาส์กดคีย์บอร์ดได้จริง

Anthropic เพิ่มอัปเดตครั้งใหญ่ให้ Claude 3.5 Sonnet – ตอนนี้มันไม่ใช่แค่พิมพ์แชทได้อีกต่อไป แต่ยังมองหน้าจอ ขยับเมาส์ กดคีย์บอร์ดเหมือนมนุษย์ ช่วยคุณทำงานคอมพิวเตอร์จริง ๆ ถ้าคุณยังกรอกฟอร์มหรือคัดลอกข้อมูลด้วยมือ อัปเกรดนี้จะเปลี่ยนวิธีการทำงานของคุณไปตลอด มารู้จักความสามารถใหม่ "ควบคุมคอมพิวเตอร์" ว่าทรงพลังแค่ไหน และใช้ในสถานการณ์ใดได้บ้าง

Claude ควบคุมคอมพิวเตอร์เหมือนมนุษย์ได้อย่างไร?

Anthropic ออกแบบ API พิเศษให้ Claude เพื่อ "รับรู้" อินเทอร์เฟซคอมพิวเตอร์ – ง่าย ๆ คือดูภาพหน้าจอ เข้าใจตำแหน่งปุ่มและช่องกรอกข้อมูล แล้วสร้างคำสั่งเลื่อนเมาส์ คลิก พิมพ์ โดยตรง นักพัฒนาที่เชื่อมต่อ API นี้สามารถสั่งให้ Claude ทำงานเช่น "เปิดไฟล์ Excel บนเดสก์ท็อป คัดลอกตัวเลขในคอลัมน์ B ไปวางในฟอร์มเว็บ แล้วกดส่ง" Claude จะค่อย ๆ ตรวจสอบหน้าจอ เลื่อนเคอร์เซอร์ ควบคุมเบราว์เซอร์ เหมือนคุณสั่งงานพนักงานฝึกหัดจากระยะไกล

ในการทดสอบ OSWorld ซึ่งวัดความสามารถของโมเดลในการใช้คอมพิวเตอร์ Claude 3.5 Sonnet เวอร์ชันใหม่ทำคะแนน 14.9% จากแค่ดูภาพหน้าจอ มากกว่า Cradle BAAI ที่ได้ 7.8% และหากให้ขั้นตอนการทำงานมากขึ้น คะแนนก็เพิ่มถึง 22% แม้จะยังห่างจากมนุษย์ที่ได้ 70%+ แต่ตอนนี้มันคือ AI ที่ "ใช้คอมพิวเตอร์เป็น" มากที่สุด

ความสามารถเขียนโค้ดดีขึ้นอย่างเห็นได้ชัด โค้ดที่เขียนเชื่อถือได้มากขึ้น

นอกจากควบคุมคอมพิวเตอร์แล้ว Claude 3.5 Sonnet เวอร์ชันใหม่ยังก้าวหน้าในด้านการเขียนโปรแกรมอย่างน่าทึ่ง ในการทดสอบ SWE-bench Verified ซึ่งวัดความสามารถของ AI ในการแก้ปัญหาซอฟต์แวร์จริง คะแนนพุ่งจาก 40.6% เป็น 49% แซงหน้าโมเดลสาธารณะทั้งหมดรวมถึง OpenAI o1-preview เมื่อ GitLab ทดสอบพบว่า Claude มีความสามารถในการให้เหตุผลในกระบวนการพัฒนาซอฟต์แวร์หลายขั้นตอนเพิ่มขึ้น 10% โดยไม่เพิ่มเวลาแฝง กล่าวคือ การให้มันช่วยเขียนโมดูลเว็บแอปพลิเคชันครบชุด หรือดีบักโค้ดซับซ้อน มีความน่าเชื่อถือกว่าเดิม

ถ้าคุณต้องการความเร็วสูงขึ้น Anthropic ยังมี Claude 3.5 Haiku รุ่นใหม่ – ราคาเท่าเดิม ความเร็วใกล้เคียง Haiku รุ่นก่อน แต่ระดับความฉลาดเกิน Claude 3 Opus รุ่นพี่ โดยเฉพาะงานเขียนโค้ด Haiku ทำคะแนน 40.6% ใน SWE-bench Verified เก่งกว่า Claude 3.5 Sonnet รุ่นแรกและ GPT-4 เหมาะกับงานที่ต้องวนซ้ำเร็วและเรียกใช้บ่อย เช่น การทดสอบอัตโนมัติ วิเคราะห์ล็อก หรือเติมโค้ดให้สมบูรณ์

นักพัฒนาใช้งานฟีเจอร์ใหม่เหล่านี้ได้อย่างไร?

Claude 3.5 Sonnet ที่อัปเกรดแล้วเปิดให้ผู้ใช้ทุกคนใช้งานแล้ว นักพัฒนาสามารถเรียกใช้ฟังก์ชันควบคุมคอมพิวเตอร์ผ่าน Anthropic API, Amazon Bedrock และ Vertex AI ของ Google Cloud (โปรดทราบว่าเป็นรุ่นทดสอบ) แต่ฟีเจอร์นี้ยังไม่สมบูรณ์ – การเลื่อน ลาก วาง ขยาย เบื้องต้นที่มนุษย์ทำได้ง่าย Claude มักพลาด บางครั้งงานหยุดชะงักเพราะบันทึกหน้าจอนานเกินไป อย่างไรก็ตาม บริษัทอย่าง Asana, Canva, Replit เริ่มใช้มันทำงานซ้ำซ้อนอัตโนมัติ เช่น กรอกฟอร์ม ตรวจสอบ UI แอป Claude 3.5 Haiku คาดว่าจะเปิดตัวภายในสิ้นเดือนนี้ รองรับเฉพาะข้อความก่อน และเพิ่มการรับภาพในภายหลัง

ถ้าคุณเป็นนักพัฒนา หรือถูก折磨ด้วยงานกรอกฟอร์ม ย้ายข้อมูล ลองให้ Claude ช่วยคลิกเมาส์ดู แม้ตอนนี้มันยังเหมือนมือใหม่หัดเดิน แต่ความเร็วในการพัฒนาก็ทำให้ต้องจับตามอง