Gemini in Chrome, 화면 선택 도구 및 3.5 Flash 컴퓨터 제어 기능 추가

Google이 최근 Chrome 브라우저 내 Gemini 어시스턴트에 실용적인 ‘Select from screen’(화면에서 선택) 도구를 추가했습니다. 사용자가 이 도구를 클릭하면 현재 탭이 하이라이트되며 텍스트나 이미지를 자유롭게 선택할 수 있고, 선택한 내용이 자동으로 Gemini 프롬프트 상자에 추가됩니다. 이 기능은 현재 Chrome 149의 일부로 단계적으로 배포 중이며, 바로 보이지 않더라도 브라우저를 재시작하면 사용할 수 있습니다. 화면 정보를 AI 대화에 불러오는 과정을 크게 간소화하여 질문을 더 직관적이고 효율적으로 만들어 줍니다.

동시에 Google은 Gemini 3.5 Flash 모델에 컴퓨터 사용(computer use) 능력이 내장되었다고 발표했습니다. 개발자는 Gemini API를 통해 이 모델을 호출하여 사람처럼 인터페이스를 조작하고 앱 콘텐츠를 분석할 수 있습니다. 예를 들어 3.5 Flash는 Gemini 앱을 자동으로 열고 분류된 기능 목록을 반환할 수 있습니다. 이는 AI 에이전트(AI Agent) 능력이 더욱 실용화되었음을 의미하며, 자동화 테스트, 스마트 어시스턴트 등 다양한 시나리오에 새로운 가능성을 열어줍니다.

평가와 전망: Chrome의 화면 선택 도구부터 모델의 자율 제어 능력까지, Google은 AI의 인간-기계 상호작용 경계를 두 가지 방향으로 확장하고 있습니다. 일반 사용자에게 ‘Select from screen’은 사용门槛을 낮춰 주며, 개발자에게 컴퓨터 사용 기능은 더 강력한 자동화 애플리케이션이 곧 등장할 것임을 예고합니다. 앞으로 이러한 도구는 브라우저와 AI 어시스턴트의 기본 기능이 될 가능성이 높습니다.