Google이 Chrome 브라우저의 Gemini 어시스턴트를 위해 '화면에서 선택(Select from screen)'이라는 새로운 도구를 도입했습니다. 이 기능을 사용하면 현재 탭에 표시된 모든 텍스트나 이미지를 빠르게 대화 프롬프트에 추가할 수 있습니다. 사용자는 현재 탭을 활성화한 뒤 '화면에서 선택'을 클릭하고 원하는 영역을 드래그하면, Gemini가 자동으로 선택한 이미지나 텍스트를 입력창에 채워 넣습니다. 현재 이 기능은 Chrome 149 버전부터 순차적으로 배포 중이며, 바로 보이지 않을 경우 브라우저를 재시작하면 활성화됩니다. 이번 업데이트로 시각적 쿼리 과정이 크게 간소화되어, 사용자가 수동으로 스크린샷을 찍거나 복사·붙여넣기 하지 않아도 AI가 현재 페이지의 특정 요소를 이해할 수 있게 되었습니다.
또한 Google은 Gemini 3.5 Flash 모델에 컴퓨터 사용(computer use) 도구를 내장했다고 발표했습니다. 개발자는 Gemini API에서 이 기능을 바로 호출하여 모델이 인간처럼 인터페이스를 조작하도록 할 수 있습니다. 예를 들어 애플리케이션 UI를 탐색하고 분석 작업을 수행하는 식입니다. 공식 데모에서 3.5 Flash는 이 도구를 활용해 "Gemini 앱을 분석하고 카테고리별로 정리된 기능 목록을 반환"했습니다. 이는 모델이 더 이상 텍스트 이해에만 국한되지 않고, 그래픽 인터페이스를 '보고' '조작'할 수 있음을 의미하며, 자동화 테스트, 스마트 어시스턴트 등 다양한 시나리오에 새로운 가능성을 열어줍니다. Gemini 3.5 Flash의 컴퓨터 사용 기능은 즉시 Gemini API에서 사용 가능합니다.
