Antes de delegar uma análise à IA, registre o que você pretende medir e por quê. Um agente pode calcular corretamente e ainda conduzir a comparação por um critério que você aceitou sem examinar.
Em 27 de outubro, a Anthropic publicou um estudo com 50 analistas que usaram Claude Code numa tarefa estatística sobre uma cooperativa fictícia. Os pesquisadores sortearam qual alternativa o agente defenderia em decisões com mais de uma opção razoável. Nas quatro escolhas analíticas, os participantes seguiram a preferência do agente em 86% dos casos. O experimento reforçou essas preferências deliberadamente e usou uma tarefa e um modelo; o número não mede a frequência desse comportamento no trabalho cotidiano. Leia o estudo.
Para quem trabalha com software, isso sugere uma pergunta útil na revisão: o que foi decidido antes de o cálculo começar? Uma tabela pode estar coerente com a métrica escolhida e responder mal à necessidade da equipe.
Um ensaio com a fila de bugs
Imagine uma equipe fictícia que quer avaliar se uma mudança no atendimento dos bugs funcionou. Ela pode observar o tempo médio até o encerramento ou a proporção de chamados reabertos. Cada medida ilumina uma parte do problema. Fechar rapidamente pode conviver com retrabalho, e reduzir reaberturas pode exigir mais tempo na primeira correção.
Minha proposta é escrever três linhas antes de abrir o agente: qual decisão precisa ser tomada, qual medida representa a melhoria desejada e qual alternativa também merece ser calculada. Depois, peça os dois resultados com o mesmo período e a mesma população de chamados. Confira os registros usados e as exclusões. Se as medidas apontarem em direções diferentes, explique qual delas deve pesar mais para aquela decisão.
Esse registro não impede você de mudar de ideia. Ele permite localizar a mudança: apareceu uma evidência nova, uma necessidade antes esquecida ou apenas uma justificativa convincente? A responsabilidade pela escolha fica mais fácil de discutir quando a alternativa permanece visível.
O exercício é uma recomendação editorial, ainda sem validação por este estudo. Comece numa análise pequena, com dados que sua equipe pode usar. A definição compartilhada da métrica se conecta à discussão sobre dados com contexto; a conferência da entrega continua em o que revisar no código delegado.