Claude 3.5: Guía para desarrolladores sobre cómo automatizar tareas viendo la pantalla y controlando el mouse

Lo más destacado de la actualización de Claude 3.5 no es que converse mejor, sino que comienza a aprender a "usar la computadora". La versión mejorada Claude 3.5 Sonnet refuerza la capacidad de codificación y también introduce la función de uso de computadora en beta pública: puede ver la pantalla, mover el cursor, hacer clic en botones y escribir texto. Para quienes trabajan en automatización y asistentes inteligentes, este es un camino nuevo y práctico.

Actualización del modelo Claude 3.5: Sonnet más potente, Haiku más rápido

Anthropic lanzó simultáneamente la versión mejorada Claude 3.5 Sonnet y el nuevo Claude 3.5 Haiku. La empresa enfatiza que las mejoras en Claude 3.5 Sonnet son "integrales", especialmente destacadas en tareas de ingeniería de software y codificación.

Si te preocupan más la velocidad y el costo, Claude 3.5 Haiku se enfoca en baja latencia y mayor capacidad de seguir instrucciones, posicionado para productos de usuario y tareas de subagentes. En términos simples: Claude 3.5 Sonnet se inclina hacia el "límite de capacidad", mientras que Claude 3.5 Haiku prioriza la "velocidad de respuesta y relación calidad-precio".

¿Qué es la función de uso de computadora? Hacer que Claude 3.5 opere interfaces como un humano

El uso de computadora (computer use) es una capacidad en beta pública de Claude 3.5, actualmente dirigida principalmente a escenarios de API. Su núcleo no es invocar una interfaz de herramienta fija, sino permitir que el modelo comprenda la interfaz actual "viendo la pantalla", y luego ejecute operaciones como mover el cursor, hacer clic y entrada de teclado.

Es importante notar que el uso de computadora de Claude 3.5 aún está en fase experimental, y la empresa admite que puede ser "un poco complicado y propenso a errores". Por lo tanto, es más adecuado para flujos que se puedan revertir y verificar, no para operaciones críticas irreversibles de una sola vez.

¿Qué flujos puede automatizar Claude 3.5?

Cuando una tarea requiere decenas o incluso cientos de operaciones de UI, el uso de computadora de Claude 3.5 tiene valor: por ejemplo, configurar elementos uno por uno en el backend de una web, llenar formularios a través de páginas en herramientas empresariales, o completar consultas y entradas en sistemas de tickets de múltiples pasos. Su ventaja es que "puede seguir la interfaz", sin necesidad de escribir scripts separados para cada página.

Varios equipos ya están explorando capacidades similares, utilizando Claude 3.5 en flujos de trabajo más largos. Al implementarlo en la práctica, se recomienda convertir los nodos clave en "puntos de confirmación", haciendo que Claude 3.5 genere capturas de pantalla o resúmenes de estado después de cada segmento, para facilitar la verificación manual o programática.

Canales de lanzamiento e información de seguridad: No ignores la evaluación previa a la implementación

La versión mejorada de Claude 3.5 Sonnet ya está disponible para los usuarios, mientras que la función de uso de computadora se ofrece en beta pública a través de API, y se puede construir en Anthropic API, Amazon Bedrock y Google Cloud Vertex AI. En el lado de AWS, es posible que la veas con el nombre Claude 3.5 Sonnet V2.

En términos de seguridad, la empresa reveló que colaboró con instituciones de investigación de seguridad de IA en Estados Unidos y Reino Unido para realizar pruebas previas a la implementación, y considera que su estándar ASL-2 sigue siendo aplicable. Para los desarrolladores, el consejo más realista es: agregar límites de permisos, registros de operación y respaldos para fallos al uso de computadora de Claude 3.5, priorizando primero hacer sólido el "controlable, verificable y detenible".