Resposta direta
Medir classificação é comparar a saída do sistema com um padrão definido por quem responde pela decisão. A medição precisa separar duas coisas: acerto no rótulo principal e custo do erro por tipo de rótulo. Errar um caso raro e errar um caso frequente não têm o mesmo peso. O conjunto de casos já classificados por pessoas precisa ficar fixo e ser reavaliado a cada mudança de regra, dado ou modelo. O número de acerto, isolado, diz pouco: não informa onde o erro se concentra nem se o processo a montante já estava errado.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata do critério de medição e de quem responde por ele, não do uso nem da escolha da ferramenta.
O que comparar antes de confiar no número
Toda medida de classificação precisa de um padrão. Sem casos já classificados por pessoas que respondem pela decisão, o número mede apenas concordância com o próprio sistema. Esse conjunto deve sair de casos reais e incluir os difíceis de propósito, não só os evidentes.
O conjunto e a regra de avaliação precisam ficar fixos. Se o critério muda a cada rodada, a comparação perde sentido. Vale registrar quem classificou, com que informação e em que momento, porque boa parte da discordância vem de contexto que o sistema nunca recebeu.
Erro tem peso diferente por rótulo
Uma classe rara pode concentrar o erro mais caro. Classificar mal um caso de baixo volume e alto impacto não se corrige com o mesmo esforço de classificar mal um caso frequente e de baixo impacto. A medição precisa separar o erro por tipo de rótulo e indicar o custo de cada tipo.
Esse custo raramente é só financeiro. Envolve retrabalho, prazo, exposição e tempo de quem revisa. Quando não há base para estimar, o caminho é declarar o que deveria ser medido e manter amostragem até existir histórico.
O que a medição não resolve
Medir classificação não corrige dado de entrada incompleto, critério não escrito nem decisão tomada em outro sistema. Se a etapa anterior entrega caso ambíguo, a taxa de acerto mede o processo inteiro, não o classificador.
A medida também não garante estabilidade. Mudança de volume, de regra de negócio ou de comportamento do público desloca o que era acerto. O número vale para o período e o critério em que foi feito, e precisa ser refeito quando o contexto muda.
Recurso prático
O que cada número de classificação informa
| Medida | Leitura correta e limite |
|---|---|
| Acerto no rótulo principal | Mostra a proporção de casos no rótulo mais provável; não separa erro barato de erro caro. |
| Erro por categoria | Aponta onde o erro se concentra; não diz se o caso já chegava ambíguo da etapa anterior. |
| Divergência entre revisor e sistema | Revela onde o critério não está escrito; não mede o impacto no processo seguinte. |
O erro mais comum é acompanhar apenas o acerto total e tratar esse número como qualidade do processo inteiro, sem olhar qual erro específico aparece e quem decide o que fazer com ele.
Sobre o que está escrito aqui
Conceitos relacionados: taxa de acerto por rótulo · conjunto de casos rotulado por pessoas · erro por categoria · custo do erro por classe · revisão por amostragem. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Classificação automática: onde usar e onde não — triagem manual de textos
- Atendimento com IA: o que pode ir para o clie… — atendimento com IA sem regra
Páginas relacionadas
O mesmo problema em outro objetivo
- Classificação que erra: como localizar a causa — Diagnosticar
- Classes conflitantes entre áreas: critério, dono e revisão — Organizar um processo
- Classificação: como comparar regra, revisão humana e modelo — Comparar alternativas
- Erro de classificação: quem responde no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Resposta longa tratada como boa: onde entra o critério — Descreve por que extensão é lida como qualidade em respostas de IA e como amarrar o critério de aceite ao uso declarado antes da aprovação.
- Resposta de IA aceita sem conferência: o que comparar — Compara três formas de tratar resposta de IA: conferir tudo, conferir por amostra e aceitar com critério definido, com o custo de cada escolha.
- Resposta de IA sem revisão: como escolher o filtro certo — Compara três formas de filtrar resposta de IA antes do envio: revisão integral, amostragem e limite por tipo de resposta. Aponta critério de escolha e limites.
- Agente que age sem registro: o que comparar — Compara quatro formas de deixar rastro na execução de agentes, o que cada uma registra, o custo operacional e onde costuma falhar.
- Automação sem revisão: como separar promessa de processo — Roteiro para transformar a promessa de automação total em etapas com dono, ponto de revisão e critério de reversão.