Google กำลังเปิดตัวเครื่องมือใหม่สำหรับ Gemini ในเบราว์เซอร์ Chrome ที่ชื่อว่า "เลือกจากหน้าจอ (Select from screen)" ฟีเจอร์นี้ช่วยให้ผู้ใช้สามารถเลือกข้อความหรือรูปภาพใดๆ จากแท็บปัจจุบันแล้วส่งไปยังช่องถามคำถามของ Gemini ได้ทันที โดยไม่ต้องแคปหน้าจอหรือคัดลอกและวางด้วยตนเอง เมื่อคลิกที่เครื่องมือนี้ แท็บปัจจุบันจะถูกไฮไลต์ จากนั้นคุณสามารถเลือกพื้นที่ที่ต้องการให้ Gemini วิเคราะห์ ฟีเจอร์นี้กำลังทยอยเปิดตัวเป็นส่วนหนึ่งของอัปเดต Chrome 149 หากยังไม่เห็นตัวเลือก ให้รีสตาร์ทเบราว์เซอร์เพื่อเปิดใช้งาน
ในเวลาเดียวกัน Google ประกาศว่า โมเดล Gemini 3.5 Flash มีความสามารถในการควบคุมคอมพิวเตอร์ในตัวแล้ว นักพัฒนาสามารถเรียกใช้ความสามารถนี้ผ่าน Gemini API เพื่อให้โมเดลควบคุมอินเทอร์เฟซหน้าจอโดยตรงเพื่อทำการวิเคราะห์ ตัวอย่างที่แสดงให้เห็นว่า 3.5 Flash สามารถเปิดแอป Gemini อัตโนมัติ เรียกดูฟังก์ชันต่างๆ และส่งคืนรายการฟังก์ชันที่จัดหมวดหมู่ได้อย่างชัดเจน ความก้าวหน้านี้หมายความว่า AI assistant ไม่เพียงเข้าใจข้อความหรือรูปภาพอีกต่อไป แต่ยังสามารถ "ปฏิบัติการ" ซอฟต์แวร์ได้เหมือนมนุษย์ เปิดโอกาสใหม่สำหรับการทดสอบอัตโนมัติ ตัวแทนอัจฉริยะ และสถานการณ์ RPA โมเดลดังกล่าวเปิดใช้งานแล้วใน Gemini API ตั้งแต่วันนี้
