Resposta direta
A avaliação feita só com casos fáceis mede o desempenho onde quase todo método acerta. O que falta é a fatia da distribuição em que a resposta correta depende de dado ausente, ambiguidade ou exceção de processo. Medir exige registrar, para cada acerto, o grau de dificuldade do caso e o custo do erro, e depois comparar o desempenho entre as faixas. A diferença entre faixas é o número que interessa. Uma nota única, sem essa quebra, não sustenta decisão de produção nem indica onde revisar.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a nota de avaliação como medida enviesada pela amostra e trata a queda entre faixas de dificuldade como o resultado a acompanhar.
Amostra escolhida por quem já conhece a resposta
Um conjunto de teste costuma nascer dos casos que a equipe lembra e consegue descrever. São casos limpos, com dado completo e resposta única. A avaliação roda nessa amostra e devolve um número alto. O número é real; o que ele mede é estreito.
O problema é de composição, não de cálculo. A média mistura casos em que qualquer método acerta com casos em que a resposta depende de contexto que ninguém escreveu. Somados, os primeiros escondem os segundos. A nota sobe e a operação não acompanha.
Medir por faixa e por custo do erro
A medida útil separa os casos por grau de dificuldade antes de calcular qualquer taxa. Uma faixa reúne casos completos; outra, casos com dado faltante; outra, casos que exigem exceção de processo. A diferença de desempenho entre faixas diz o que a nota única esconde.
Cada faixa pede duas medidas. A taxa de acerto, quando o sistema responde. E a taxa de abstenção, quando ele declara não saber. Sistemas que sempre arriscam resposta parecem melhores na taxa de acerto e piores no custo do erro. Separar as duas métricas evita essa distorção.
O que a medição por faixa não resolve
Faixa de dificuldade é uma classificação feita por pessoas. Dois revisores podem discordar sobre onde um caso cai. Sem critério escrito e sem medida de concordância entre revisores, a matriz repete o mesmo problema em outra forma.
Ela também não cobre o caso que ninguém previu. Um erro novo aparece primeiro na operação, não na amostra. Medir melhor não elimina esse risco; reduz a chance de confundir ausência de erro com ausência de caso difícil. A decisão de ir para produção segue sendo decisão sobre risco aceito, com revisão definida.
Recurso prático
Faixa do caso e a medida que a nota única esconde
| Faixa do caso | Medida que a nota única esconde |
|---|---|
| Casos completos, com resposta única | Acerto e tempo de conferência; serve de piso, não de resultado |
| Casos com dado faltante ou ambíguo | Acerto e abstenção, medidos em separado |
| Casos que dependem de exceção de processo | Acerto e custo de cada erro tolerado na operação |
| Casos raros, pouco presentes na amostra | Quantidade de exemplos disponíveis; abaixo do mínimo, registrar como desconhecido |
| Erro com impacto financeiro, legal ou sobre pessoa | Quem revisa, em quanto tempo e com qual critério de escalonamento |
O erro mais comum é somar todas as faixas em uma nota só. A faixa fácil passa a definir o resultado e a queda de desempenho fica invisível justamente onde ela acontece.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de teste · distribuição real de casos · faixa de dificuldade · taxa de abstenção · custo do erro. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Agente sem supervisão: riscos e onde colocar… — agentes sem supervisão
- Busca em documentos com IA: quando ajuda e qu… — ferramentas isoladas
Páginas relacionadas
O mesmo problema em outro objetivo
- Conjunto de teste fácil demais: onde a avaliação engana — Diagnosticar
- Teste só com casos fáceis: o que a avaliação não mede — Organizar um processo
- Teste só com casos fáceis: o que a comparação esconde — Comparar alternativas
- Casos fáceis na avaliação: como incluir dificuldade — Orientar implementação
- Avaliação só com casos fáceis: o que exigir do fornecedor — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Avaliar resposta de IA antes de produção: um conjunto de teste que caiba na rotina — Como montar um conjunto de teste com casos reais, o que medir e o critério de aprovação por tipo de uso.
- Resposta de IA sem revisão: como escolher o filtro certo — Compara três formas de filtrar resposta de IA antes do envio: revisão integral, amostragem e limite por tipo de resposta. Aponta critério de escolha e limites.
- Modelo escolhido por reputação: o que verificar na contratação — O que separar entre reputação e evidência ao contratar um modelo de IA: critérios de avaliação, responsabilidade e o que fica fora do contrato.
- Equipe sem treinamento antes da ferramenta: o que comparar — Compara treinar a equipe antes da ferramenta, escolher a ferramenta primeiro e rodar um piloto, pelo critério do custo do erro em cada tarefa.
- Resposta de IA sem fonte: como localizar a origem — Descreve uma rotina de verificação para respostas de IA sem fonte citada, com critérios de rastreio, registro e decisão sobre uso.