Chrome Gemini เพิ่มเครื่องมือเลือกหน้าจอ 3.5 Flash ได้ความสามารถควบคุมคอมพิวเตอร์

Google กำลังเพิ่มเครื่องมือใหม่ให้กับผู้ช่วย Gemini ในเบราว์เซอร์ Chrome ที่มีชื่อว่า "เลือกจากหน้าจอ" (Select from screen) ฟีเจอร์นี้ช่วยให้ผู้ใช้สามารถเลือกข้อความหรือรูปภาพใดๆ บนแท็บปัจจุบันเพื่อเพิ่มลงในข้อความสนทนาได้อย่างรวดเร็ว เพียงแค่ไฮไลต์แท็บปัจจุบัน เลือก "เลือกจากหน้าจอ" แล้วลากกรอบครอบคลุมเนื้อหาที่ต้องการ Gemini จะนำรูปภาพหรือข้อความที่เลือกมาใส่ในช่องอินพุตโดยอัตโนมัติ ปัจจุบันฟีเจอร์นี้กำลังทยอยปล่อยพร้อมกับ Chrome 149 หากยังไม่เห็นทันที ให้รีสตาร์ทเบราว์เซอร์เพื่อเปิดใช้งาน การอัปเดตนี้ช่วยลดขั้นตอนการสอบถามข้อมูลแบบภาพได้อย่างมาก ผู้ใช้ไม่ต้องจับภาพหน้าจอหรือคัดลอกข้อความด้วยตนเองอีกต่อไป แค่ให้ AI เข้าใจองค์ประกอบเฉพาะบนหน้าเว็บที่กำลังดูได้ทันที

ในเวลาเดียวกัน Google ยังประกาศว่า โมเดล Gemini 3.5 Flash มีเครื่องมือใช้งานคอมพิวเตอร์ (computer use) ในตัวแล้ว นักพัฒนาสามารถเรียกใช้ความสามารถนี้ผ่าน Gemini API ได้ทันที โดยให้โมเดลจำลองการทำงานของมนุษย์บนอินเทอร์เฟซ เช่น เรียกดูหน้าต่างแอปพลิเคชันและดำเนินการวิเคราะห์ ตัวอย่างอย่างเป็นทางการแสดงให้เห็นว่า 3.5 Flash ใช้เครื่องมือนี้ "วิเคราะห์แอป Gemini และส่งคืนรายการฟีเจอร์ที่จัดหมวดหมู่" นั่นหมายความว่าโมเดลไม่ได้จำกัดอยู่แค่การเข้าใจข้อความอีกต่อไป แต่สามารถ "มองเห็น" และ "ดำเนินการ" กับอินเทอร์เฟซกราฟิกได้เหมือนมนุษย์ ซึ่งเปิดโอกาสใหม่ ๆ ให้กับระบบทดสอบอัตโนมัติ ผู้ช่วยอัจฉริยะ และอื่นๆ ฟังก์ชันใช้งานคอมพิวเตอร์ของ Gemini 3.5 Flash พร้อมใช้งานใน Gemini API แล้วตั้งแต่วันนี้

จาก "เลือกจากหน้าจอ" ไปจนถึง "ใช้งานคอมพิวเตอร์" Google กำลังยกระดับ AI จาก "คู่สนทนา" ไปเป็นเอเจนต์ที่ "ทำงานบนหน้าจอ" โดยกำเนิด ฟีเจอร์แรกช่วยลดอุปสรรคในการโต้ตอบระหว่างผู้ใช้ทั่วไปกับ AI ส่วนฟีเจอร์หลังเปิดประตูให้นักพัฒนาสามารถทำงานอัตโนมัติกับอินเทอร์เฟซกราฟิกที่ซับซ้อนได้ง่ายขึ้น เมื่อ Chrome และ Gemini บูรณาการกันอย่างลึกซึ้ง ในอนาคต AI อาจท่องเว็บ กรอกฟอร์ม หรือดำเนินงานหลายขั้นตอนได้เหมือนมนุษย์ ซึ่งนับเป็นก้าวสำคัญอีกก้าวหนึ่งสู่ผู้ช่วยดิจิทัลอเนกประสงค์ อย่างไรก็ตาม ความสมดุลระหว่างประสิทธิภาพอัตโนมัติกับความเป็นส่วนตัวของผู้ใช้ยังคงเป็นประเด็นที่ต้องให้ความสำคัญอย่างต่อเนื่อง