Claude 3.5 컴퓨터 사용 기능 심층 분석: API로 화면 인식, 마우스 클릭, 자동 입력 구현

Claude 3.5의 가장 눈에 띄는 업데이트는 '대화'를 '작업 실행'으로 확장한 것입니다. 화면을 보고, 커서를 움직이고, 버튼을 클릭하며 텍스트를 입력할 수 있어, 개발자들은 Claude 3.5가 단순히 제안을 하는 것을 넘어 인터페이스에서 단계별로 작업을 수행할 수 있게 되었습니다.

Claude 3.5 '컴퓨터 사용'이 정확히 무엇인가요?

Claude 3.5는 공개 베타 버전에서 '컴퓨터 사용(computer use)' 기능을 제공하며, 핵심은 모델이 사람처럼 컴퓨터 인터페이스를 사용할 수 있도록 하는 것입니다. 화면 내용을 기반으로 판단한 후 마우스 이동, 클릭 및 키보드 입력과 같은 작업을 실행합니다.

강조할 점은, Claude 3.5 공식적으로 이를 실험 기능으로 명시하고 있다는 것입니다: 사용 가능하지만, 버벅거림, 잘못된 단계 진행 또는 잘못된 위치 클릭이 발생할 수 있습니다. 먼저 통제된 환경에서 테스트한 후 실제 비즈니스 프로세스에 점진적으로 적용하는 것이 적합합니다.

Claude 3.5로 어떤 '다단계 작업'을 할 수 있나요?

전통적인 자동화는 스크립트와 유사하여 인터페이스 변화에 쉽게 무너질 수 있습니다. Claude 3.5의 가치는 '현재 화면을 이해할 수 있다'는 점에 있어, 페이지를 넘나들고, 다양한 양식을 처리하며 단계가 많은 프로세스에 더 적합합니다. 예를 들어 웹사이트 백엔드에서 요구사항에 따라 항목별로 설정하거나, 도구에서 일련의 설정을 완료하거나, 정보를 형식에 맞춰 시스템에 입력하는 등입니다.

일부 팀은 Claude 3.5가 수십에서 수백 단계가 필요한 UI 네비게이션 작업을 수행하도록 탐구하고 있으며, 이를 통해 프로세스 검증, 운영 경로 실행 또는 반복적인 데이터 입력을 지원할 수 있습니다.

Claude 3.5는 어떤 플랫폼에서 사용 가능하며, 어떻게 접속하나요?

Claude 3.5의 컴퓨터 사용 능력은 현재 주로 API 시나리오에 개방되어 있으며, 개발자는 Anthropic API에서 호출하거나 Amazon Bedrock 및 Google Cloud Vertex AI에서 관련 기능을 구축할 수 있습니다. AWS 측에서 모델 이름을 찾는다면, 문서에서 Claude 3.5 Sonnet V2와 같은 표시가 나타날 수 있습니다.

실제 구현 시, Claude 3.5를 '작업을 수행하는 에이전트'로 간주하고, 외부에 프로세스 제어 계층을 추가하는 것이 좋습니다: 접근 가능한 페이지 범위를 제한하고, 주요 단계에 확인점을 두며, 각 단계의 스크린샷과 입력을 기록하여 재생 및 문제 해결을 용이하게 합니다.

Claude 3.5 사용 전 알아야 할 제한 사항과 보안 정보

Claude 3.5는 여전히 잘못 클릭하거나, 입력을 빠뜨리거나, 버튼을 오해할 수 있으므로, '감독 없는 자동화'로 간주해서는 안 됩니다. 더 안전한 접근법은 Claude 3.5를 먼저 테스트 환경에서 실행해 본 후, 점진적으로 권한을 확대하고, 고위험 작업(결제, 삭제, 되돌릴 수 없는 양식 제출)을 반드시 수동 확인이 필요한 것으로 변경하는 것입니다.

보안 측면에서, Claude 3.5의 업그레이드 버전은 배포 전 테스트를 거쳤으며, 미국과 영국의 인공 지능 안전 연구 기관과 협력 평가를 진행했습니다. Anthropic은 ASL-2 표준이 이 모델에 여전히 적용된다고 밝혔습니다. 기업이나 팀에게 이러한 정보는 '기준 설명'에 가깝지만, 실제 보안은 Claude 3.5에 부여한 권한의 범위와 감사 및 롤백을 잘 준비했는지에 달려 있습니다.