Resposta direta
Classificação errada quase nunca tem uma causa só. Antes de trocar de ferramenta, vale separar quatro origens: o rótulo usado como referência, o critério que define cada categoria, o dado que chega na entrada e o ponto em que alguém revisa o resultado. Cada uma falha de forma diferente e pede correção diferente. O diagnóstico consiste em medir onde o erro se concentra e qual dessas quatro origens explica a maior parte dele.
- Objetivo
- Diagnosticar
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata o erro de classificação como sintoma de processo, não de modelo, e indica o que medir para chegar à origem.
Onde o erro aparece primeiro
O primeiro passo é localizar onde o erro se concentra. Isso costuma ser feito com uma amostra de casos já classificados, agrupando os erros por categoria, por origem do registro e por quem fez a marcação. O padrão que aparece nesse agrupamento indica qual das origens merece atenção primeiro.
Erro espalhado por todas as categorias costuma apontar para o critério ou para o dado de entrada. Erro concentrado em uma ou duas categorias costuma apontar para o rótulo de referência ou para a fronteira entre elas.
Rótulo e critério antes de trocar de ferramenta
Rótulo de referência é o conjunto de exemplos usado para dizer o que está certo. Se dois casos parecidos têm marcas diferentes, nenhum modelo aprende a distinção e a medida de acerto perde sentido. Vale medir a discordância entre quem marca antes de discutir desempenho.
Critério é a regra que define por que um item pertence a uma categoria. Quando o critério existe só na cabeça de quem decide, a classificação muda conforme a pessoa e a semana. Nesse caso, o trabalho é escrever o critério e testá-lo em casos de fronteira.
O que esse diagnóstico não resolve
O diagnóstico mostra de onde o erro vem. Ele não decide se vale automatizar a classificação, nem estima ganho de margem. Também não define quem responde pelo erro quando ele chega ao cliente ou ao relatório final.
Se o volume é pequeno, se o critério muda com frequência ou se o custo do erro é alto e difícil de reverter, a classificação pode seguir manual. Não encontrar erro na amostra não é prova de que o processo está correto.
Recurso prático
Quatro origens do erro de classificação
| Origem | O que medir |
|---|---|
| Rótulo de referência | Casos parecidos com marcas diferentes no conjunto usado como referência |
| Critério de decisão | Concordância entre duas pessoas ao classificar os mesmos itens |
| Dado de entrada | Registros com campo ausente, texto cortado ou informação incompleta |
| Ponto de revisão | Quantos casos revisados mudam de categoria e por qual motivo |
O erro mais comum é trocar o rótulo de referência pela opinião de quem revisa, sem registrar o critério. Sem esse registro, o próximo diagnóstico recomeça do zero.
Conceitos usados nesta página
- Critério de decisão — Critério de decisão é a base explícita sobre a qual uma escolha é feita: o que será considerado, com qual peso e o que elimina uma alternativa antes da comparação.
Sobre o que está escrito aqui
Conceitos relacionados: rótulo de referência · critério de decisão · dado de entrada · fila de revisão · matriz de confusão. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Apoio comercial com IA: onde faz sentido e on… — não saber por onde começar
- Classificação automática: onde usar e onde não — triagem manual de textos
Páginas relacionadas
O mesmo problema em outro objetivo
- Classes conflitantes entre áreas: critério, dono e revisão — Organizar um processo
- Classificação: como comparar regra, revisão humana e modelo — Comparar alternativas
- Classificação: como medir acerto sem esperar reclamação — Explicar medição
- Erro de classificação: quem responde no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Piloto de IA parado: o que comparar antes de continuar — Os caminhos possíveis para um piloto de IA que não entrou na rotina, o que observar em cada um e onde cada escolha costuma falhar.
- Resultado de IA sem origem: o que registrar antes de usar — Descreve os campos que acompanham o resultado de IA, dado de entrada, instrução, versão e responsável, e o que o registro não resolve.
- Análise parada no relatório: o que falta para virar rotina — Define o que precisa estar pronto antes de uma análise entrar na rotina: dono, frequência, dado de origem, critério de decisão e revisão.
- Processo que ninguém documentou: onde a IA trava — O que verificar em um processo não documentado antes de aplicar IA: onde o conhecimento está, quem responde e o que medir.
- Revisão humana que supera o ganho: como medir — Separa tempo de revisão, espera em fila e correção e compara com o processo anterior para indicar se o ganho existe ou apenas mudou de lugar.