Agentes de IA com cartão na mão: como criar travas para compras, mensagens e decisões irreversíveis
A inteligência artificial está deixando de ser apenas uma ferramenta que responde perguntas e produz conteúdo.
ESPECIAL
Rayan
10/20/20269 min read
A inteligência artificial está deixando de ser apenas uma ferramenta que responde perguntas e produz conteúdo. Com o avanço dos agentes de IA, sistemas já podem executar tarefas em diferentes plataformas, consultar informações, enviar mensagens, preencher formulários e interagir com ferramentas corporativas. Em determinadas configurações, também podem iniciar compras, contratar serviços ou alterar dados importantes.
Essa evolução abre oportunidades para automatizar processos, reduzir tarefas operacionais e ganhar produtividade. Mas também traz uma questão que precisa fazer parte do planejamento desde o início: o que acontece quando um agente de IA toma uma decisão errada e tem permissão para executá-la?
Um erro em uma resposta gerada por IA pode ser corrigido antes de sua publicação. Uma compra realizada, um e-mail enviado ao destinatário errado ou uma alteração feita em um sistema financeiro podem produzir consequências que não são tão simples de reverter.
É nesse contexto que a governança de agentes de IA se torna essencial. Mais do que definir o que a tecnologia pode fazer, é necessário estabelecer limites claros sobre o que ela pode executar sozinha, quais ações dependem de aprovação humana e como interromper uma operação quando algo foge do esperado.
O que muda quando a IA deixa de recomendar e passa a executar?
Em uma interação tradicional, a inteligência artificial recebe uma solicitação e devolve uma resposta. A pessoa analisa o resultado e decide o que fazer com ele.
Um agente de IA pode operar de maneira diferente. Dependendo das ferramentas, integrações e permissões disponíveis, ele pode interpretar um objetivo, planejar etapas, consultar sistemas externos e executar ações para alcançar o resultado esperado.
Imagine, por exemplo, um agente configurado para organizar a rotina comercial de uma empresa. Ele pode identificar oportunidades em um CRM, preparar mensagens para potenciais clientes, atualizar informações e sugerir os próximos contatos. Se também tiver autorização para enviar mensagens, poderá iniciar conversas sem que alguém revise cada texto individualmente.
O mesmo princípio vale para compras e operações administrativas. Um agente pode pesquisar fornecedores, comparar preços e preparar um pedido. Se tiver acesso à ferramenta de pagamento e permissão para concluir transações, poderá ir além da recomendação.
O risco não está simplesmente em utilizar inteligência artificial. Está na combinação entre autonomia, acesso a recursos e capacidade de produzir consequências reais.
Quanto maior o impacto de uma ação, maior deve ser o cuidado com as permissões concedidas ao agente.
Um modelo de ameaças acessível para agentes de IA
Na segurança da informação, um modelo de ameaças ajuda a identificar o que pode dar errado, quais recursos precisam ser protegidos e quais controles podem reduzir os riscos.
Esse raciocínio também pode ser aplicado à governança de agentes de IA, sem exigir que a empresa comece por uma arquitetura complexa.
O primeiro passo é identificar quais ações o agente pode realizar e quais consequências elas podem produzir.
1. Compras realizadas sem autorização adequada
Um agente encarregado de encontrar fornecedores pode interpretar incorretamente uma necessidade, selecionar um produto inadequado ou comprar uma quantidade superior à solicitada. Também pode tomar decisões com base em informações desatualizadas ou em condições comerciais que não foram consideradas.
Se houver acesso direto a um cartão corporativo ou a uma plataforma de pagamentos, um erro operacional poderá se transformar em prejuízo financeiro.
Para reduzir esse risco, a empresa pode estabelecer limites por transação, tetos de gastos por período, listas de fornecedores autorizados e exigência de aprovação humana acima de determinados valores.
Também é importante separar a pesquisa da compra. O agente pode ter autonomia para comparar preços e preparar pedidos, enquanto a confirmação do pagamento permanece sob responsabilidade de uma pessoa autorizada.
2. Mensagens enviadas para a pessoa errada
Um agente conectado a e-mail, CRM ou aplicativos de mensagens pode enviar informações para destinatários incorretos, utilizar um tom inadequado ou compartilhar dados que não deveriam sair do ambiente interno.
Em uma operação comercial, isso pode comprometer um relacionamento com um cliente. Em áreas que lidam com informações confidenciais, pode representar um problema de privacidade e segurança.
Uma medida importante é diferenciar a preparação de uma mensagem do seu envio. O agente pode redigir o conteúdo, identificar o destinatário e organizar o contexto, mas determinadas comunicações devem passar por uma etapa de aprovação.
A empresa também pode definir categorias de mensagens que exigem revisão obrigatória, como propostas comerciais, comunicações jurídicas, informações financeiras e conteúdos que envolvam dados pessoais.
Para tarefas de menor risco, como confirmações operacionais padronizadas, o envio automático pode ser permitido desde que existam regras claras e mecanismos de monitoramento.
3. Alterações difíceis de desfazer
Nem toda ação irreversível envolve dinheiro. Excluir registros, modificar permissões de acesso, cancelar contratos, publicar informações ou alterar configurações críticas também pode gerar consequências relevantes.
Um agente pode executar uma instrução corretamente do ponto de vista técnico, mas interpretá-la de maneira inadequada para o contexto da empresa.
Por isso, operações que envolvam exclusão permanente, cancelamento, publicação externa ou mudanças importantes em sistemas precisam de controles específicos.
Entre as medidas possíveis estão exigir uma confirmação explícita, criar cópias de segurança, manter versões anteriores dos registros e oferecer uma etapa de simulação antes da execução.
Quando a reversão não for possível, a aprovação prévia se torna ainda mais importante.
Seis controles para uma governança de agentes de IA mais segura
Não é necessário proibir toda forma de autonomia para reduzir os riscos. O objetivo é permitir que o agente execute tarefas dentro de limites previamente definidos, reservando as decisões de maior impacto para processos de controle adequados.
1. Separar leitura de execução
Ter acesso a uma informação não significa que o agente precisa ter autorização para modificá-la.
Um sistema pode consultar dados de clientes sem poder editar cadastros, analisar pedidos sem conseguir concluí-los ou comparar fornecedores sem ter permissão para realizar pagamentos.
Essa separação reduz o impacto de erros e limita o que um agente comprometido ou mal configurado consegue fazer.
Sempre que possível, a empresa deve começar com permissões de leitura e ampliar os acessos somente quando houver uma necessidade operacional clara.
2. Aplicar o princípio do menor privilégio
Cada agente deve ter somente as permissões necessárias para cumprir sua função.
Um agente responsável por preparar relatórios, por exemplo, não precisa acessar dados de pagamento nem alterar configurações administrativas. Da mesma forma, um assistente comercial não deveria ter acesso irrestrito a todos os registros e documentos da organização.
As permissões também devem ser específicas por ferramenta, usuário, tipo de informação e operação, quando a tecnologia permitir.
O princípio do menor privilégio diminui a superfície de risco e torna mais fácil identificar quais recursos podem ser afetados por uma falha.
3. Exigir confirmação para ações de alto impacto
Nem toda tarefa precisa de aprovação humana. Se cada etapa depender de uma confirmação, a automação pode perder boa parte de sua utilidade.
O caminho mais eficiente é classificar as ações conforme o risco.
Atividades de baixo impacto, como organizar informações ou gerar rascunhos, podem ser automatizadas. Ações de impacto intermediário, como atualizar registros comerciais, podem exigir validações específicas. Operações de alto impacto, como realizar pagamentos elevados, excluir dados permanentemente ou enviar comunicações sensíveis, devem depender de aprovação explícita.
Essa aprovação precisa apresentar informações suficientes para uma decisão consciente: o que será feito, por qual motivo, com quais dados e quais consequências são esperadas.
Uma confirmação genérica não resolve o problema se a pessoa não consegue compreender a ação que está autorizando.
4. Definir limites operacionais
As permissões não precisam funcionar apenas como uma escolha entre permitir e bloquear. Também podem estabelecer limites objetivos.
Um agente de compras pode pesquisar qualquer fornecedor, mas só concluir pedidos dentro de um orçamento determinado. Um agente de atendimento pode responder a perguntas frequentes, mas encaminhar reclamações sensíveis para uma pessoa. Um agente de marketing pode preparar campanhas, mas não publicar alterações de orçamento acima de um valor predefinido.
Essas regras podem considerar valores financeiros, frequência de operações, tipos de destinatário, categorias de dados e quantidade de ações executadas em determinado período.
O importante é que os limites sejam claros, verificáveis e aplicados pelo sistema, em vez de depender exclusivamente de instruções escritas em linguagem natural.
5. Manter registros das ações executadas
A empresa precisa conseguir responder a perguntas básicas: o que o agente fez, quando fez, com quais informações, por qual motivo e sob qual autorização?
Os registros de auditoria ajudam a investigar incidentes, identificar padrões de erro e verificar se as regras estão sendo respeitadas.
Sempre que possível, os logs devem registrar a solicitação recebida, a ação proposta, a aprovação concedida, o resultado da execução e eventuais falhas.
Também é necessário proteger esses registros contra alterações indevidas e definir políticas de retenção e acesso compatíveis com a sensibilidade das informações.
Registrar tudo indiscriminadamente, porém, não é uma boa solução. Os logs devem ser úteis para auditoria sem armazenar dados pessoais ou informações confidenciais além do necessário.
6. Criar um mecanismo de interrupção
Todo agente com capacidade de executar ações relevantes precisa ter uma forma de interromper sua operação.
Esse controle pode incluir revogação de permissões, suspensão de integrações, bloqueio de novas transações e interrupção de tarefas em andamento.
A empresa também deve definir quem pode acionar esse mecanismo e em quais situações ele deve ser utilizado.
É importante entender que interromper um agente não desfaz automaticamente tudo o que ele já executou. Uma mensagem enviada continuará entregue, e uma transação concluída poderá exigir um processo separado de cancelamento ou reembolso.
Por isso, o mecanismo de interrupção deve fazer parte de um plano de resposta a incidentes, com procedimentos para avaliar os danos, conter o problema e recuperar a operação.
A importância de tratar instruções externas como potenciais ameaças
Existe outro risco que merece atenção: agentes de IA podem receber informações de fontes externas, como páginas da internet, documentos, e-mails e mensagens de usuários.
Esses conteúdos podem conter instruções maliciosas ou manipuladoras. Em um ataque conhecido como injeção de prompt, por exemplo, uma informação externa tenta induzir o agente a ignorar suas regras, revelar dados ou executar ações não autorizadas.
Imagine um agente que pesquisa fornecedores e recebe um documento com instruções para enviar informações internas a um endereço desconhecido. Se ele tratar o conteúdo consultado como uma ordem legítima, poderá ultrapassar os limites definidos pela empresa.
A proteção não deve depender apenas de pedir ao modelo que ignore instruções suspeitas. É necessário separar instruções confiáveis de conteúdo externo, limitar as ferramentas disponíveis e validar as ações antes de executá-las.
Mesmo que o agente interprete uma instrução de maneira equivocada, as permissões e os controles externos devem impedir que essa interpretação resulte automaticamente em uma operação indevida.
Como implementar esses controles na prática
A governança de agentes de IA pode começar com um processo simples, aplicado a um único caso de uso antes de ser ampliado para outras áreas.
O primeiro passo é mapear as tarefas que o agente deverá executar e identificar quais sistemas, dados e recursos financeiros estarão envolvidos.
Em seguida, a empresa deve classificar as ações conforme o impacto potencial, estabelecer permissões mínimas e determinar quais operações podem ser automáticas e quais exigem aprovação.
Antes de liberar o agente para uso real, vale testar cenários de falha: o que acontece se ele selecionar o destinatário errado, receber uma instrução maliciosa, interpretar um valor incorretamente ou tentar executar uma operação acima do limite permitido?
Esses testes precisam verificar não apenas se o agente responde adequadamente, mas se os controles realmente bloqueiam as ações proibidas.
Depois da implantação, a organização deve acompanhar os registros, revisar permissões periodicamente e atualizar os limites conforme o comportamento observado e as mudanças no processo.
Uma boa prática é começar em um ambiente de testes, utilizar dados fictícios quando possível e ampliar a autonomia gradualmente, com critérios claros para cada etapa.
Governança não é um obstáculo à automação
A adoção de agentes de IA não precisa significar escolher entre produtividade e segurança. Com controles adequados, é possível automatizar tarefas repetitivas e, ao mesmo tempo, preservar a supervisão humana sobre decisões relevantes.
O desafio é entender que autonomia não deve ser concedida de maneira indiscriminada. Um agente capaz de consultar informações não precisa necessariamente poder alterá-las. Um agente capaz de preparar uma compra não precisa ter autorização para concluir qualquer pagamento. E um agente que executa tarefas rotineiras não precisa decidir sozinho sobre ações que podem comprometer a empresa ou seus clientes.
A governança de agentes de IA transforma essas preocupações em regras operacionais: permissões proporcionais à função, limites verificáveis, confirmações para ações críticas, registros de auditoria e mecanismos de interrupção.
À medida que esses sistemas passam a interagir diretamente com clientes, fornecedores e plataformas corporativas, a capacidade de controlar suas ações será tão importante quanto a capacidade de executá-las.
A pergunta que deve orientar cada implementação não é apenas o que a inteligência artificial consegue fazer, mas o que ela está autorizada a fazer, em quais condições e com quais mecanismos de proteção.
Porque, quando um agente de IA ganha autonomia para agir no mundo real, a segurança precisa estar presente antes do primeiro clique.