A Inteligência Artificial (IA) está a evoluir para além da produção de textos e respostas, passando a executar tarefas directamente em sites e programas informáticos através de uma capacidade conhecida como computer use, que permite interpretar o conteúdo do ecrã, clicar, escrever e navegar em interfaces digitais de forma autónoma.

A tecnologia permite que sistemas de IA realizem operações repetitivas, como preencher formulários, consultar registos e interagir com plataformas que não dispõem de interfaces de programação de aplicações (API), mecanismos que permitem a diferentes programas trocar informações directamente.

A funcionalidade ganhou maior visibilidade em Outubro de 2024, quando a Anthropic disponibilizou uma versão beta pública do recurso no modelo Claude 3.5 Sonnet. Posteriormente, a OpenAI, a Google e empresas chinesas também desenvolveram soluções com capacidades semelhantes.

O computer use funciona através de um ciclo de observação e acção. Primeiro, o sistema recebe uma captura do ecrã e identifica os elementos relevantes. Em seguida, determina a operação a realizar, que pode consistir num clique, na digitação de texto, na deslocação pela página ou na utilização de teclas específicas.

Apesar de utilizar a interface de forma semelhante a uma pessoa, a IA não toca fisicamente no mouse nem no teclado. Em vez disso, envia comandos que são executados pelo ambiente informático, geralmente através de um navegador ou de uma máquina virtual. Após cada operação, uma nova captura do ecrã permite verificar o resultado e ajustar as acções seguintes.

Esta capacidade é particularmente útil para automatizar tarefas em sistemas empresariais antigos, portais públicos e páginas electrónicas que não oferecem integração directa com outras aplicações. Em vez de depender exclusivamente de ligações técnicas entre plataformas, o agente de IA pode interagir com os serviços através da interface disponibilizada ao utilizador.

O recurso é normalmente integrado em agentes de Inteligência Artificial, sistemas capazes de planear e executar sequências de tarefas com determinado grau de autonomia. Ao contrário de um chatbot convencional, que se limita a fornecer instruções, um agente equipado com computer use pode executar as operações necessárias para concluir uma tarefa, verificar os resultados e corrigir determinados erros.

Contudo, a possibilidade de conceder a uma IA controlo sobre interfaces digitais também levanta questões de segurança. Erros de interpretação podem levar à execução de operações incorrectas, enquanto instruções maliciosas escondidas em páginas electrónicas podem tentar manipular o comportamento do sistema. Por isso, a utilização desta tecnologia exige limites de acesso, supervisão humana e mecanismos de confirmação para operações sensíveis, como pagamentos, alterações de dados ou eliminação de ficheiros.

Fonte: Tecmundo