Erro de IA tratado como falha da pessoa: o que medir

Um erro em rotina com IA pode nascer em três lugares: no modelo, no dado que chegou até ele ou na decisão de quem operou. Cada origem pede dono diferente. Erro de modelo se resolve com ajuste, troca de escopo ou limite de uso. Erro de dado se resolve na entrada, com validação e padronização. Erro de decisão se discute com a pessoa, o contexto e o tempo disponível.

A contagem começa por uma definição única de erro, escrita e aceita pelos times que operam e pelos que revisam. Sem isso, cada área conta de um jeito e a soma não serve para decidir nada. Definida a origem, o mesmo caso pode ser classificado por duas pessoas sem divergência relevante.

Para descontar erro de modelo, é preciso saber o que o modelo entregou no instante da decisão, não o que ele entrega depois de ajustado. Isso exige registro mínimo no fluxo: resposta apresentada, ação tomada pela pessoa, tempo disponível e fonte consultada. Sem esse registro, a discussão recai sobre memória e versão de cada lado.

A conferência costuma funcionar por amostragem revisada, com uma segunda pessoa refazendo o caso a partir do mesmo registro. A amostra precisa cobrir turnos, volumes e tipos de caso, não só os dias tranquilos. O que se procura não é achar culpado, e sim verificar se a origem foi classificada do modo correto.

A decomposição não elimina erro, não garante qualidade e não substitui apuração de conduta quando houver descumprimento claro de regra. Ela também não serve quando o volume de casos é pequeno a ponto de a amostra não sustentar conclusão, nem quando o erro é raro e fora do padrão previsto.

Outro limite é o tempo. A conta mede o que já aconteceu, com o dado disponível. Se a fonte de entrada muda de formato toda semana ou o escopo do modelo muda sem aviso, a série perde comparabilidade e a leitura do período anterior deixa de valer. Nesse caso, o primeiro passo é estabilizar a rotina, não medir desempenho.