Claude 3.5 Sonnet เปิดตัวฟีเจอร์ใหม่: ความสามารถควบคุมคอมพิวเตอร์และใช้งานเครื่องมือที่อัปเกรดแล้ว

อัปเดตล่าสุดของ Claude 3.5 Sonnet ที่น่าสนใจที่สุดคือความสามารถใหม่ที่ทำให้โมเดล "มองเห็นหน้าจอและควบคุมเมาส์" ได้ โดยแปลงคำสั่งภาษาธรรมชาติเป็นขั้นตอนการดำเนินงานจริงบนคอมพิวเตอร์ สำหรับผู้ที่ต้องการทำงานอัตโนมัติ เช่น กรอกตารางเว็บไซต์ ป้อนข้อมูล และจัดระเบียบวัสดุ ขอบเขตการใช้งาน Claude 3.5 Sonnet ก็ถูกขยายออกไปอย่างชัดเจน

“ความสามารถควบคุมคอมพิวเตอร์” ของ Claude 3.5 Sonnet คืออะไรกันแน่

Claude 3.5 Sonnet เพิ่มแนวทาง API ด้านการควบคุมคอมพิวเตอร์สำหรับนักพัฒนา: เริ่มจากรับรู้หน้าต่างระบบ (เช่น ภาพหน้าจอ/สถานะอินเทอร์เฟซ) จากนั้นแยกความต้องการของคุณออกเป็นขั้นตอนที่ปฏิบัติได้ สามารถดำเนินการตามขั้นตอนต่าง ๆ เช่น “เปิดเบราว์เซอร์ → ไปที่หน้าเว็บ → หาตำแหน่งช่องป้อนข้อมูล → กรอกแบบฟอร์ม → ส่งข้อมูล” ซึ่งทำให้งานไม่หยุดอยู่แค่คำแนะนำแบบข้อความอีกต่อไป

ความสามารถนี้ไม่ได้อยู่ที่ “สามารถใช้อินเทอร์เน็ตได้หรือไม่” แต่อยู่ที่ “สามารถดำเนินการตามอินเทอร์เฟซได้หรือไม่” Claude 3.5 Sonnet ถูกออกแบบมาให้สามารถตัดสินใจและแก้ไขข้อผิดพลาดอย่างต่อเนื่องในขั้นตอนการทำงานที่ซับซ้อน เหมาะสำหรับมอบหมายงานที่ซ้ำซ้อน ยิบย่อย และมีโอกาสผิดพลาดสูงให้ระบบอัตโนมัติจัดการ

เหมาะกับสถานการณ์แบบไหน: งานตาราง ระบบแบ็กเอนด์ การทดสอบ และขั้นตอนซ้ำ ๆ

หากงานของคุณมักติดขัดกับ “การคัดลอกวางและสลับหน้าไปมา” Claude 3.5 Sonnet จะมีคุณค่ามากขึ้น: เช่น ดึงข้อมูลจากเอกสารท้องถิ่นไปกรอกในฟอร์มออนไลน์หรือสเปรดชีต ป้อนข้อมูลในระบบแบ็กเอนด์ตามเส้นทางที่กำหนด หรือรันกระบวนการชุดเดิมซ้ำสำหรับลูกค้าหรือข้อมูลต่างชุด

สำหรับทีมพัฒนา Claude 3.5 Sonnet ยังเหมาะกับบทบาท “ผู้ปฏิบัติงานที่มีเครื่องมือ” เช่น คลิกตามขั้นตอนในสภาพแวดล้อมทดสอบ ตรวจสอบสถานะหน้าเว็บ บันทึกผล และเขียนรายการจุดผิดปกติกลับไป

การเขียนโปรแกรมและการใช้เครื่องมือก็ได้รับการเสริมความเข้มแข็งเช่นกัน

นอกจากควบคุมคอมพิวเตอร์ได้ Claude 3.5 Sonnet ยังได้รับการปรับปรุงในด้านการเขียนโปรแกรมและการใช้งานเครื่องมือ โดยทางการระบุว่ามีการพัฒนาอย่างเห็นได้ชัดในการประเมิน HumanEval และ SWE-bench Verified สิ่งที่คุณจะสัมผัสได้ชัดเจนคือ: Claude 3.5 Sonnet มีความยินดีมากขึ้นที่จะให้โค้ดที่รันได้ตามเงื่อนไขที่กำหนด ปฏิบัติตามรูปแบบอินเทอร์เฟซได้ดียิ่งขึ้น และมีความเบี่ยงเบนน้อยลงในความต้องการที่มีหลายขั้นตอน

หากคุณมอง Claude 3.5 Sonnet เป็น “ผู้ร่วมมือในโครงการ” แนะนำให้แบ่งงานออกเป็น: เป้าหมาย อินพุต เอาต์พุต สิ่งที่ต้องไม่ทำ และเกณฑ์การยอมรับ ด้วยวิธีนี้จะทำให้มีเสถียรภาพมากขึ้นเมื่อเรียกใช้เครื่องมือ สร้างโค้ด หรือเติมเงื่อนไขขอบเขตที่ขาดหายไป

ข้อจำกัดที่ทราบและคำแนะนำการใช้งาน: อย่าคาดหวังให้สมบูรณ์แบบในครั้งเดียว

ความสามารถด้านการควบคุมคอมพิวเตอร์ของ Claude 3.5 Sonnet ยังอยู่ในช่วงเริ่มต้น การกระทำที่มนุษย์ทำได้ตามธรรมชาติ เช่น การเลื่อนหน้าจอ ลากและวาง หรือซูม อาจยังเป็นเรื่องยากสำหรับโมเดล ในการทดสอบจริงยังเคยเกิดกรณีที่การดำเนินการผิดพลาดทำให้งานระยะยาวหยุดชะงัก ดังนั้นสำหรับการดำเนินการที่สำคัญ แนะนำให้เพิ่มขั้นตอนยืนยันและแผนการย้อนกลับ

หากต้องการใช้ Claude 3.5 Sonnet ให้มีเสถียรภาพมากขึ้น สามารถเขียน “การกระทำ” เป็นรายการประโยคสั้น ๆ และกำหนดให้มันรายงานสถานะอินเทอร์เฟซปัจจุบันทุกสองสามขั้นตอน แม้ขั้นตอนหนึ่งจะล้มเหลว ก็จะสามารถระบุตำแหน่งที่ติดขัดได้อย่างรวดเร็ว เช่น ติดอยู่ที่หน้าใด ตัวควบคุมใด หรือป็อปอัปขอสิทธิ์ใด

วิธีการเข้าถึงและประยุกต์ใช้: เริ่มจากกระบวนการเล็ก ๆ ก่อน

คุณสามารถใช้ Claude 3.5 Sonnet ผ่าน API และแพลตฟอร์มคลาวด์ โดยเหมาะสำหรับเริ่มต้นจากกระบวนการที่ “เล็กและแน่นอน” ก่อน เช่น การกรอกแบบฟอร์มบนเว็บไซต์ที่กำหนดไว้ การอัปเดตตารางด้วยฟิลด์ที่แน่นอน เมื่อคุณเข้าใจโครงสร้างหน้าเว็บ สาขาย่อยที่อาจผิดปกติ และป็อปอัปสิทธิ์ต่าง ๆ แล้ว จึงค่อยขยายขอบเขตไปยังงานที่เปิดกว้างมากขึ้น

หากคุณต้องการเชื่อมต่อ Claude 3.5 Sonnet กับสภาพแวดล้อมการทำงานจริง ต้องมั่นใจว่ามีการควบคุมสิทธิ์ รายการอนุญาตการดำเนินการ และการบล็อกหน้าที่ละเอียดอ่อนที่ชั้นนอก ทำให้ Claude 3.5 Sonnet ดำเนินการได้เฉพาะภายในขอบเขตที่อนุญาตเท่านั้น เพื่อเปลี่ยนจาก “สามารถทำงานได้” เป็น “สามารถทำงานได้อย่างปลอดภัย”