Resposta direta
Mede-se pela divergência entre a decisão da automação e a decisão que um responsável humano sustenta, registrada caso a caso. O critério de acerto precisa ser escrito antes, com exemplos do que conta como erro grave e erro tolerável. Sem esse critério, qualquer avaliação vira opinião. A medição exige amostra revisada por alguém com autoridade sobre a decisão, registro do motivo da correção e leitura periódica do conjunto. O que se acompanha não é a média, e sim a natureza das correções: se são de forma, de critério ou de exceção não prevista. Mudança no tipo de erro importa mais do que a quantidade.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata da medição em operação de uma tarefa de julgamento já entregue à automação, com foco no tipo de erro e em quem responde pela revisão.
O critério vem antes do número
Uma tarefa de julgamento não tem resposta única verificável por regra. Isso não impede medir. Impede apenas medir por acerto bruto. O caminho é fixar antes o que conta como erro grave, o que conta como erro tolerável e quem tem autoridade para decidir quando há discordância.
Esse critério é escrito com exemplos reais do trabalho, não com definição abstrata. Se duas pessoas da operação não classificam os mesmos casos da mesma forma, o critério ainda não está pronto para servir de medida. A automação herda essa ambiguidade, não a elimina.
O que a revisão precisa registrar
A medida útil vem de amostra revisada por alguém que já respondia por aquela decisão. Registrar apenas concorda ou discorda perde informação. O registro precisa dizer o motivo da correção e a que categoria ela pertence.
Três categorias bastam para começar: forma, critério e exceção não prevista. Correção de forma indica ajuste de apresentação. Correção de critério indica que a regra entregue à automação está mal definida. Exceção não prevista indica caso que o processo já não cobria antes de automatizar.
O que a medição não resolve
Medir divergência não diz se a decisão está certa do ponto de vista do negócio. Ela mostra onde a automação e o revisor discordam. A escolha entre as duas decisões é matéria de responsabilidade, não de métrica.
A medição também não cobre o que nunca chega à revisão. Casos em que a automação decide e ninguém confere ficam fora da amostra por construção. Se esses casos forem relevantes, o desenho da revisão precisa mudar antes de qualquer conclusão sobre qualidade.
Recurso prático
Registro mínimo para medir uma tarefa de julgamento automatizada
| Dimensão | O que registrar na revisão |
|---|---|
| Aderência ao critério | Se a decisão automática segue a regra escrita para erro grave e erro tolerável |
| Tipo de correção | Se o revisor corrige forma, critério ou exceção não prevista |
| Responsável pela revisão | Quem tinha autoridade para sustentar aquela decisão antes da automação |
| Efeito na decisão final | O que mudou para o cliente, o custo ou o prazo quando a automação errou |
O erro comum é medir só a taxa de acerto. Ela esconde a diferença entre erro de forma e erro de critério. O segundo indica que a regra entregue à automação está mal definida, e nenhum ajuste de modelo corrige isso.
Sobre o que está escrito aqui
Conceitos relacionados: divergência aceitável · amostra revisada · critério de erro grave · responsável pela decisão · registro de correção. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Material sensível para fornecedor: fluxo de l… — documento sensível enviado a serviço externo
- Documento sensível em serviço externo: o que… — documento sensível enviado a serviço externo
Páginas relacionadas
O mesmo problema em outro objetivo
- Julgamento entregue à automação: onde o critério se perde — Diagnosticar
- Julgamento entregue à automação: o que precisa de dono — Organizar um processo
- Tarefa de julgamento na automação: o que comparar — Comparar alternativas
- Julgamento entregue à automação: o que fica registrado — Orientar implementação
- Tarefa de julgamento na automação: o que exigir no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Decisão difícil: quando a IA é usada para adiar a conversa — Mapa de onde a IA assume a comunicação de decisões difíceis, o que precisa voltar para a conversa direta e quem responde por cada caso.
- Resposta de IA aceita sem conferência: onde fixar o aceite — Processo para definir quem assume a resposta de IA, o que fica visível antes do aceite e o que acontece quando o erro aparece depois.
- Classificação: como comparar regra, revisão humana e modelo — Coloca lado a lado regra, revisão humana e modelo na classificação, com erro aceitável, custo de revisão e responsabilidade como critério.
- Modelo escolhido por reputação: como testar antes de escalar — Descreve como separar reputação de ajuste ao processo e quais critérios observar antes de ampliar o uso de um modelo de IA.
- Sem caso extremo: como avaliar IA pela demanda comum — Descreve como montar a avaliação de IA a partir da demanda comum da operação, com amostra, critério de aceite e responsável definidos.