Claude ฟีเจอร์ใหม่ทำงานเองได้: คู่มือการควบคุมคอมพิวเตอร์ด้วย AI

Anthropic เพิ่มความสามารถใหม่ให้โมเดล Claude 3.5 Sonnet ด้วยฟีเจอร์ควบคุมคอมพิวเตอร์โดยตรง ซึ่งหมายความว่า Claude ไม่ใช่แค่ผู้ช่วยสนทนาทั่วไปอีกต่อไป แต่มันสามารถ "มอง" หน้าจอและใช้งานอินเทอร์เฟซได้เหมือนมนุษย์ สร้างความเป็นไปได้ใหม่ให้กับการทำงานอัตโนมัติและการเขียนโปรแกรม

Claude ฟีเจอร์ทำงานเอง: มีอะไรเปลี่ยนแปลงบ้าง

หัวใจของฟีเจอร์นี้คือ API ที่ Anthropic สร้างขึ้นโดยเฉพาะ ช่วยให้ Claude สามารถรับรู้และโต้ตอบกับอินเทอร์เฟซคอมพิวเตอร์ได้ นักพัฒนาเพียงป้อนคำสั่ง Claude ก็จะแปลงเป็นขั้นตอนการทำงานจริง เช่น เปิดเบราว์เซอร์ กรอกฟอร์ม หรือตรวจสอบสเปรดชีต

จากข้อมูลทางการ ในการทดสอบมาตรฐาน OSWorld Claude 3.5 Sonnet ทำคะแนนได้ 14.9% ในการทำความเข้าใจภาพหน้าจอ ซึ่งต่ำกว่าระดับมนุษย์ที่ 70-75% แต่สูงกว่าโมเดล AI อื่น ๆ เมื่อทำงานหลายขั้นตอน คะแนนสามารถเพิ่มขึ้นเป็น 22%

วิธีใช้การควบคุมคอมพิวเตอร์ของ Claude เพื่อเพิ่มประสิทธิภาพการทำงาน

สำหรับผู้ใช้ทั่วไป ความสามารถในการควบคุมคอมพิวเตอร์ของ Claude ช่วยลดขั้นตอนที่ซ้ำซากได้อย่างมาก เช่น เมื่อคุณต้องการรวบรวมข้อมูลจากหลายแหล่ง เพียงบอกความต้องการให้ Claude ทราบ มันก็จะเปิดซอฟต์แวร์ที่เกี่ยวข้อง ค้นหาข้อมูล และกรอกข้อมูลให้อัตโนมัติ

ปัจจุบันหลายบริษัท เช่น Replit, Canva และ DoorDash เริ่มทดสอบฟีเจอร์นี้แล้ว Replit ถึงขั้นพัฒนาเครื่องมือตรวจสอบแอปพลิเคชันเฉพาะที่ใช้ Claude ประเมินโค้ดโดยอัตโนมัติระหว่างการเขียนโปรแกรม ความสามารถในการทำงานเองนี้ทำให้ Claude เหมาะกับงานที่มีขั้นตอนซ้ำ ๆ และหลายขั้นตอน

ฟีเจอร์ใหม่ของ Claude: ความสามารถด้านโค้ดและการทำงานหลายขั้นตอนที่ทรงพลังยิ่งขึ้น

นอกเหนือจากความสามารถในการควบคุมคอมพิวเตอร์ การอัปเดตครั้งนี้ยังเพิ่มประสิทธิภาพด้านการเขียนโปรแกรมอย่างมาก ในการทดสอบ SWE-bench Verified Claude 3.5 Sonnet ทำคะแนนเพิ่มขึ้นจาก 33.4% เป็น 49% แซงหน้าโมเดลอื่น ๆ ทั้งหมดที่เปิดเผยต่อสาธารณะ รวมถึง OpenAI o1-preview

ในการทดสอบ TAU-bench ด้านการค้าปลีก Claude ทำคะแนนเพิ่มขึ้นจาก 62.6% เป็น 69.2% ข้อมูลตอบรับเบื้องต้นจาก GitLab และ Cognition แสดงให้เห็นว่าโมเดลใหม่ทำงานได้ดีในงานระยะยาวและขั้นตอนการพัฒนาซอฟต์แวร์ที่ซับซ้อน โดยสามารถทำงานต่อเนื่องได้หลายชั่วโมง สำหรับนักพัฒนาและผู้ใช้ที่ต้องการจัดการงานซับซ้อนอย่างมีประสิทธิภาพ การอัปเกรดครั้งนี้ของ Claude ถือว่าน่าจับตามองอย่างยิ่ง