Google이 Chrome 브라우저의 Gemini에 새로운 'Select from screen' 도구를 출시합니다. 사용자는 Gemini 프롬프트 상자 옆 버튼을 클릭해 현재 탭을 강조 표시하고, 화면의 모든 텍스트나 이미지를 자유롭게 선택할 수 있으며, 선택한 내용이 자동으로 대화에 추가됩니다. 이 기능은 Chrome 149 버전과 함께 점진적으로 배포되며, 즉시 표시되지 않으면 브라우저를 다시 시작하면 활성화됩니다. 이로써 화면 정보를 AI 어시스턴트에 입력하는 과정이 크게 간소화되어, 빠른 질문이나 페이지 요소 분석에 적합합니다.
한편, Google은 Gemini 3.5 Flash 모델에 '컴퓨터 제어(computer use)' 도구가 내장되었다고 발표했습니다. 개발자는 Gemini API를 통해 이 기능을 호출하여 모델이 인터페이스를 직접 조작할 수 있습니다. 예를 들어 Gemini 애플리케이션을 자동으로 분석하고 분류된 기능 목록을 반환하는 것이 가능합니다. 이는 AI가 화면 내용을 이해할 뿐만 아니라 사용자 행동을 시뮬레이션하여 복잡한 작업을 수행할 수 있음을 의미합니다. 현재 3.5 Flash의 컴퓨터 제어 기능은 API 사용자에게 공개되었습니다.
