Copilot Studio de Microsoft está implementando una nueva funcionalidad llamada “computer use” (“uso del ordenador”) con ella se va a poder llevar a cabo la automatización en la interfaz de usuario trabajando desde el ordenador.
De momento está en fase de prueba y evaluación, solo está disponible para usuarios con entornos de Estados Unidos que realicen una solicitud para poder tener acceso anticipado.
En este enlace tienes la información desde la web oficial de Microsoft:
Announcing new computer use in Microsoft Copilot Studio for UI automation.
Características principales de Copilot Studio computer use
¿Y que es lo que nos permite esta nueva capacidad?
Pues hará que las empresas podrán usar Copilot Studio para crear agentes de IA que traten los sitios web y las aplicaciones de escritorio como si fueran herramientas para automatizar tareas.
Con “computer use” en Copilot Studio, los usuarios vamos a poder crear agentes que automaticen tareas en interfaces de usuario en aplicaciones de escritorio y navegador, incluidas Edge, Chrome y Firefox.
Además los agentes van a poder manejar tareas incluso cuando no exista una API disponible para conectarse directamente al sistema.
Este “computer use”, permite a los agentes interactuar con sitios web y aplicaciones de escritorio haciendo clic en botones, seleccionando menús y escribiendo en los campos de la pantalla.
Si una persona puede llevar a cabo acciones en la web, el agente también puede hacer lo mismo.
El “computer use” se adapta automáticamente a los cambios en las aplicaciones y los sitios web.
Se ajusta en tiempo real utilizando el razonamiento incorporado para solucionar problemas por sí solo, por lo que el trabajo continúa sin interrupciones y minimizando los errores.
También se basa en las sólidas medidas de seguridad de Copilot Studio, esto ayuda a garantizar el cumplimiento de los estándares de la organización.
Además, esta nueva funcionalidad se ejecuta en la infraestructura alojada por Microsoft, lo que significa que las organizaciones no necesitan administrar sus propios servidores.
Los datos empresariales permanecen dentro de los límites de Microsoft Cloud y no se usan para entrenar el modelo.
Así se acelera la implementación y se logra reducir el mantenimiento y los costes de infraestructura.
Algunos casos de uso:
- Entrada de datos automatizada: imagina un escenario en el que una empresa necesita introducir grandes volúmenes de datos de diversas fuentes en un sistema centralizado. Con “computer use” puede automatizar este proceso, reduciendo el esfuerzo manual y minimizando los errores.
- Investigación de mercado: En el departamento de marketing pueden aprovechar la herramienta para automatizar la recopilación de datos desde de varias fuentes on line para realizar análisis, obteniendo información valiosa y sin necesidad de intervención manual.
- Procesamiento de facturas: Para los departamentos financieros, la herramienta puede automatizar la extracción de datos de las facturas e introducirlos en los sistemas contables, agilizando todo el proceso de facturación y reduciendo los errores manuales.
“Computer use” reeinventa la Automatización Robótica de Procesos (RPA)
Los agentes con “computer use”, están transformando la automatización robótica de procesos (RPA). Permiten que la automatización sea accesible para los usuarios más allá de los desarrolladores profesionales de RPA.
En Copilot Studio, “computer use” aborda los desafíos de RPA y hace que la automatización sea más inteligente e intuitiva:
- Responde a los cambios en tiempo real: cuando cambian los botones o las pantallas, la herramienta sigue funcionando sin interrumpir el flujo.
- Es fácil de usar: puede describir lo que desea en lenguaje natural, sin necesidad de codificación, y probar y refinar el mensaje en tiempo real.
- Está construido con inteligencia: el agente ve lo que está en la pantalla y toma decisiones inteligentes en tiempo real, incluso en entornos complejos o en constante cambio.
- Viene con visibilidad completa: se puede ver un historial de la actividad de “computer use”, incluidas las capturas de pantalla capturadas y los pasos de razonamiento.
Copilot Studio es la plataforma de agentes de extremo a extremo diseñada para ayudar a las organizaciones a alcanzar sus objetivos operativos y de IA.
Desde Creativity Spark te ayudamos a optimizar procesos con IA, mejorar la productividad e impulsar la innovación con la tecnología Copilot Studio en particular y todo lo relacionado con la Power Platform de Microsoft.