Claude 3.5 '컴퓨터 사용' 기능 출시: 화면을 보고 마우스·키보드 조작하는 인간 같은 AI

Claude 3.5의 이번 업데이트에서 가장 주목할 만한 점은 '컴퓨터 사용'(Computer Use) 능력입니다. 이 AI는 단순한 대화를 넘어서서 화면에 표시된 내용을 이해하고, 마우스 이동과 클릭, 키보드 입력을 시뮬레이션할 수 있습니다. 업무 프로세스 실행, 다양한 양식 작성, 소프트웨어 내 다단계 작업이 필요한 사용자에게 Claude 3.5는 직접 행동하는 조력자에 가까워졌습니다.

Claude 3.5의 '컴퓨터 사용'이란 정확히 무엇인가요?

Claude 3.5의 컴퓨터 사용 기능은 이 AI 모델이 사람과 유사하게 데스크톱 애플리케이션이나 웹 인터페이스와 상호작용하도록 하는 것입니다. 먼저 화면의 요소(버튼, 입력창 등)를 인식한 후, 커서를 이동시키고, 버튼을 클릭하거나, 필요한 텍스트를 입력하는 결정을 내립니다. 중요한 점은 사용자의 "시스템 데이터를 직접 읽지 않는다"는 것이며, 제공받은 스크린샷(화면 이미지)과 사용자 지시에 기반해 단계를 실행합니다.

공식적으로 Claude 3.5의 컴퓨터 사용 기능은 아직 공개 베타 테스트 단계에 있습니다. 따라서 작업 중간에 멈추거나, 잘못된 위치를 클릭하거나, 프로세스가 불안정할 수 있다는 점을 강조하고 있습니다. 완벽한 전과정 자동화를 기대하기보다는, 작업 속도를 높여주는 '반자동 도구'로 접근하는 것이 현실적입니다.

어떤 작업에서 Claude 3.5가 생산성을 눈에 띄게 높일까요?

수십 번 반복되는 클릭과 입력이 필요한 작업에서 Claude 3.5의 효용성이 두드러집니다. 대표적인 예로는 백오피스 시스템에 데이터를 한 건씩 입력하는 작업, 여러 페이지에 걸친 복사·붙여넣기, 정해진 규칙에 따른 파일 다운로드 및 정리, 웹 양식의 각 필드에 데이터 채우기 등이 있습니다. 인터페이스의 구성 요소가 비교적 일정하고 작업 흐름이 표준화되어 있다면, Claude 3.5가 단순 반복적인 '육체 노동'을 사용자의 '감독 하에 이루어지는 작업'으로 전환해 줄 수 있습니다.

팀 차원에서는 Claude 3.5를 프로세스 검증 용도로 활용할 수 있습니다. 표준 운영 절차(SOP)를 Claude 3.5가 실행하도록 하면, 어떤 단계에서 가장 오류가 발생하기 쉬운지, 어떤 페이지의 안내 문구가 불명확하거나 버튼 배치가 비합리적인지를 빠르게 찾아낼 수 있습니다.

Claude 3.5 컴퓨터 사용 기능을 어떻게 활용하나요? (개발자 관점)

현재 Claude 3.5의 컴퓨터 사용 능력은 주로 개발자들을 위해 API를 통해 베타 버전으로 제공되고 있으며, Amazon Bedrock과 Google Cloud Vertex AI 같은 플랫폼에서도 구축이 가능합니다. 일반적인 사용 패턴은 '현재 화면의 스크린샷 또는 인터페이스 상태 정보'와 '달성해야 할 다음 목표'를 Claude 3.5에 함께 전달하여, 실행 가능한 마우스 클릭 및 키보드 입력 액션 시퀀스를 생성받는 것입니다.

실제 운영 시에는 Claude 3.5의 활동 범위를 명확히 제한하는 설정이 권장됩니다. 조작을 허용할 페이지나 애플리케이션을 지정하고, 예기치 않은 팝업 창 발생 시 대응 방침을 정의하며, 중요한 액션 전에는 반드시 사용자의 추가 확인을 받도록 하는 것입니다. 특히 결제 처리, 주문 최종 제출, 데이터 삭제와 같은 고위험 작업은 반드시 인공 확인 단계를 거치도록 해야 합니다.

함께 소개된 업데이트: Claude 3.5 Sonnet과 Haiku도 강화되었습니다

컴퓨터 사용 기능 외에도, Claude 3.5 Sonnet 모델은 "더욱 강력해진 소프트웨어 엔지니어링 모델"로 자리매김했습니다. 코드 작성 및 도구 사용 능력이 특별히 향상되어, 일상적인 코딩, 버그 수정, 코드 저장소 분석을 필요로 하는 사용자에게 유용합니다. 이 경우 단순히 대화를 잘 하는 것보다, 안정적으로 지시를 따르고 논리적으로 추론하는 Claude 3.5의 능력이 더 중요합니다.

한편, Claude 3.5 Haiku 모델은 더 빠른 응답 속도와 더 낮은 비용을 장점으로 내세웁니다. 따라서 고객 상담 응대, 간단한 질의응답, 빠른 응답이 필수적인 제품 기능 등 사용자와의 고빈도 상호작용이 필요한 시나리오에 적합합니다. 모델 선택은 간단합니다. 복잡하고 심층적인 작업에는 Claude 3.5 Sonnet을, 빠른 처리와 대규모 확장이 필요하면 Claude 3.5 Haiku를 선택하세요.

안전 및 사용 시 주의사항: Claude 3.5를 '완전 자동화' 도구로 생각하지 마세요

Anthropic은 이번 업데이트된 기능들이 철저한 안전 평가를 거쳤으며, 미국과 영국의 AI 안전 연구 기관들과의 협력을 통해 배포 전 테스트를 수행했다고 밝혔습니다. 동시에 이 기능들의 위험 수준은 기존의 안전 기준과 부합한다고 평가했습니다. 그럼에도 불구하고, Claude 3.5의 컴퓨터 사용 기능의 본질은 '인터페이스를 조작할 수 있는 능력'입니다. 과도한 권한이 부여되면 사소한 실수가 실제 금전적 손실이나 데이터 손상과 같은 중대한 결과로 이어질 수 있습니다.

따라서 더 안전한 사용법은 Claude 3.5에 최소한의 필요 권한만 부여하고, 접근 가능한 웹사이트와 애플리케이션을 엄격히 제한하며, 모든 조작 내역을 로그로 기록하는 것입니다. 또한 핵심적인 제출(Submit) 작업 전에는 반드시 사용자의 최종 확인을 받도록 설정해야 합니다. 이렇게 할 때 Claude 3.5는 믿을 수 있는 보조 도구가 되며, 통제 불가능한 자동화 스크립트가 되지 않습니다.