Resposta direta
A avaliação de IA começa pela rotina, não pelo incidente. Os casos são separados por consequência do erro: o que exige correção imediata, o que passa por revisão, o que não tem efeito prático. A amostra sai dessas classes, não do que é fácil demonstrar. O critério de aceite é definido antes de ver o resultado, junto com o nome de quem responde pelo erro que escapar. Isso mostra onde o sistema pode entrar e onde a decisão continua humana. Caso extremo serve para comunicar risco, não para medir operação.
- Objetivo
- Orientar implementação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a avaliação como amostragem por consequência do erro, com critério de aceite fechado antes do resultado, em vez de conjunto de teste ou de regra de supervisão de agente.
Amostra tirada da fila real
A amostra sai da fila que o time já atende, no estado em que o caso chega: texto truncado, anexo faltando, planilha com coluna trocada, pedido escrito às pressas. Caso organizado para demonstração mede outra coisa e produz um resultado que não se repete na segunda-feira.
A seleção precisa reproduzir a proporção da fila, inclusive o caso repetitivo que ninguém mostra. Quando a distorção é intencional, para cobrir um tipo raro, isso fica registrado junto com a amostra. Sem esse registro, o resultado é lido como se valesse para o volume inteiro.
Classe de consequência define o critério
Cada caso recebe uma classe pelo custo de errar: correção imediata, revisão antes de sair, sem efeito prático. A classe não depende do assunto nem da dificuldade técnica, depende do que acontece depois do erro. Um resumo errado em rascunho interno e um resumo errado enviado ao cliente caem em classes diferentes.
O critério de aceite é escrito por classe antes de ver o resultado: qual erro é tolerado, qual exige revisão obrigatória e quem assina a liberação. Definido depois, o número vira negociação sobre a conta já feita, e a discussão passa a ser sobre a métrica, não sobre a operação.
O que a avaliação não decide
A avaliação cobre o que foi amostrado. Não prova comportamento em situação que não apareceu, não acompanha mudança de volume, de versão do modelo ou de regra do negócio, e não substitui monitoramento depois que o sistema entra. Amostra pequena por classe sustenta decisão provisória, não conclusão firme.
Ela também não define responsabilidade. Dizer que um erro é aceitável em uma classe é decisão de quem responde pela operação, com o custo de correção na mesa, não conclusão do teste. Quem avalia entrega evidência e limite; quem assina assume o risco que sobra.
Recurso prático
Custo esperado do erro por classe de consequência
CEC = V × p × S
- V
- casos por semana
- volume de casos da classe que passam pela etapa em que a IA atua
- p
- fração
- proporção de erro observada na amostra daquela classe, antes de qualquer correção
- S
- R$ por caso
- custo médio de corrigir um caso errado naquela classe, incluindo retrabalho e tempo de quem revisa
O erro comum é calcular a média de erro de todas as classes. A média esconde a classe em que um erro custa caro, que é justamente a que decide se o sistema entra. O cálculo é feito classe por classe e só depois somado.
Conceitos usados nesta página
- Critério de aceite — Critério de aceite é a condição objetiva que define quando uma entrega, tarefa ou automação é considerada concluída — verificável por quem recebe, não por quem produziu.
Sobre o que está escrito aqui
Conceitos relacionados: classe de consequência · amostra de rotina · critério de aceite · erro tolerado por classe · revisão humana. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Respostas incorretas de IA: como comparar as… — respostas incorretas
- Respostas incorretas: o que decidir antes de… — respostas incorretas
Páginas relacionadas
O mesmo problema em outro objetivo
- IA sem erro evidente: como saber se ela está sob controle — Diagnosticar
- Sem caso extremo: como avaliar IA pela demanda comum — Organizar um processo
- Avaliação de IA sem caso extremo: o que comparar — Comparar alternativas
- Avaliação de IA: medir o erro comum, não o caso extremo — Explicar medição
- Tarefa comum com IA: o que avaliar antes de contratar — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Promessa de automação total: o que registrar no contrato — Critérios para avaliar e contratar automação anunciada como total: escopo da decisão, caminho da exceção, dono da revisão e critério de aceite.
- Automação sem revisão: onde o erro passa em silêncio — Roteiro para checar uma proposta de automação total e identificar quais decisões ficam sem revisão, sem dono e sem registro de divergência.
- Modelo escolhido por reputação: como colocar em teste — Descreve como tratar a indicação de mercado como lista de candidatos e usar critério de aceite, teste pequeno e registro para sustentar a escolha.
- Resposta longa confundida com resposta boa: o que medir — Separa tamanho de utilidade na avaliação de respostas de IA: critério de aceite, o que medir e onde o corte não resolve.
- Tarefa de julgamento na automação: o que exigir no contrato — O que separar entre execução e julgamento antes de contratar automação, que critérios registrar e o que a automação não decide.