Jota Oliveira
Voltar ao blog

Automação

Agentes de IA: como medir se a supervisão acompanha o trabalho

Cartões de papel passam por uma estação coral de conferência sobre um trilho teal, ao lado de uma ampulheta, até uma bandeja amarela.

Para acompanhar agentes de IA, uma equipe pode começar registrando quais ações passam por verificação, quanto demora a revisão e quais exceções precisam de atenção humana. Minha recomendação é testar esse acompanhamento em um fluxo pequeno, antes de ampliar a autonomia.

Em uma análise sobre o desenvolvimento de IA, a Anthropic descreve três medidas de supervisão: cobertura das ações monitoradas, tempo até a revisão e proporção de atividades bloqueadas ou sinalizadas. O relato apresenta dados internos de agosto de 2026 e distingue verificações anteriores à execução de análises posteriores. É um retrato da própria operação, não uma garantia de segurança nem uma referência universal para outras empresas. A página foi consultada em 12 de novembro; ela não informa uma data de publicação visível.

Um ensaio para a sua equipe

Considere um exemplo fictício: um agente prepara alterações em um sistema de chamados, mas uma pessoa decide quando elas entram em produção. O exercício abaixo é uma proposta editorial, sem eficácia medida.

  1. Defina o conjunto observado. Durante uma semana, registre cada alteração preparada pelo agente, a verificação prevista e se ela ocorreu. Inclua as tentativas interrompidas. Sem esse conjunto, contar apenas os casos revisados esconde o trabalho que ficou de fora.
  2. Marque os horários. Anote quando a alteração ficou pronta e quando alguém a examinou. Separe a validação automática da revisão humana. Um teste executado imediatamente e uma decisão aguardando dois dias descrevem situações diferentes.
  3. Registre o motivo da exceção. Falta de dados, dúvida sobre a regra de negócio e mudança fora do escopo pedem respostas diferentes. Anote também quem assumiu o caso e se houve resolução.

Nesse ensaio, um relatório curto por alteração deve permitir abrir a diferença de código, localizar o teste e identificar a decisão pendente. O objetivo proposto é facilitar a revisão com evidências suficientes para a pessoa responsável.

Como interpretar o registro

Uma queda nas exceções pode significar melhora, mas também uma verificação que deixou de perceber problemas. Confira alguns casos aprovados e revise se as regras continuam adequadas. Cobertura informa o que passou pelo controle; a qualidade desse controle exige investigação própria.

Esse acompanhamento complementa a definição do que conta como entrega em uma automação e do que precisa de revisão no código delegado. Para começar, escolha um único fluxo e combine quem examina as exceções antes de aumentar o volume.

Fonte: Anthropic, Measurements for understanding the pace of AI development inside frontier labs.

Continue a leitura

Duas mãos de papel passam uma pequena montagem modular teal sobre uma base amarela de inspeção, com uma peça coral separada ao lado.

Agentes de código: defina o que precisa ser revisado

Antes de delegar código a um agente, combine o comportamento esperado, os limites da mudança e a evidência que permitirá revisar a entrega.

Ler artigo
Documento de papel com um espaço quadrado vazio repousa em um suporte de teste amarelo, ao lado da peça teal que falta e de documentos completos.

Agentes de IA: teste dados incompletos antes de automatizar

Ao testar agentes de IA, inclua pedidos com dados incompletos e confira se a automação pede a informação que falta antes de agir.

Ler artigo