Resposta direta
A escolha entre regra, revisão humana e modelo se decide por três medidas: taxa de erro que o processo tolera, custo de revisar item por item e quem responde pelo erro. Regra serve quando o critério é estável e escrito. Revisão humana serve quando o volume é baixo ou o erro tem consequência alta. Modelo serve quando o critério muda com o caso e há exemplos rotulados para medir. Nenhum dos três elimina revisão por completo. A comparação só fecha depois de rodar os mesmos casos nas três alternativas e olhar onde cada uma erra.
- Objetivo
- Comparar alternativas
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Compara regra, revisão humana e modelo pelos mesmos casos e critérios, em vez de defender uma alternativa.
O que separa regra, revisão humana e modelo
Regra classifica por condição escrita: se o campo tem tal valor, o item cai em tal grupo. Funciona quando o critério é estável e alguém consegue descrevê-lo sem exceção. O limite aparece quando o critério depende de contexto ou de texto livre, e a regra passa a acumular exceções.
Modelo classifica por padrão aprendido de exemplos rotulados. Aceita critério que muda com o caso, mas depende desses exemplos e da medição de erro. Revisão humana fica no meio: não escala, porém absorve ambiguidade e responde pelo caso duvidoso. A comparação é entre essas três trocas, não entre tecnologia e pessoas.
A comparação precisa do mesmo conjunto de casos
Uma comparação útil pega uma amostra de casos já resolvidos, com a classificação correta conhecida, e roda as três alternativas sobre ela. O que se mede é onde cada uma erra, não quantas acerta no total. Erro em item de alto valor pesa diferente de erro em item de rotina.
Também entram na conta o tempo de cada revisão, quem faz a revisão e o que acontece quando a classificação está errada. O custo de revisar item por item costuma decidir mais que a taxa de acerto isolada.
O que a comparação não resolve
A comparação não define o critério de classificação. Se duas áreas discordam sobre o que é a classe certa, regra, revisão e modelo vão reproduzir a discordância, com mais consistência apenas. Também não garante que a amostra usada representa o que chega depois.
Ela não elimina a fila de revisão. Mesmo a melhor alternativa erra em algum ponto, e alguém precisa responder por isso. E não fecha a decisão para sempre: mudança de volume, de fonte de dados ou de critério pede nova medição.
Recurso prático
Antes de comparar as alternativas de classificação
- Amostra de casos já resolvidos, com a classe correta registrada por quem responde pela decisão.
- Taxa de erro aceitável definida antes do teste, separada por tipo de item.
- Custo de uma revisão humana medido em tempo e em responsável, não estimado.
- Ponto de checagem definido para o caso em que a classificação tem consequência alta.
- Registro de onde cada alternativa errou, com o caso concreto, e não só o total de acertos.
O erro mais comum é comparar pelo total de acertos. Duas alternativas podem ter a mesma taxa e errar em itens de peso muito diferente; o que decide é onde cada uma erra e quem assume essa fila.
Sobre o que está escrito aqui
Conceitos relacionados: exemplos rotulados · taxa de erro aceitável · fila de revisão · amostra de casos resolvidos · responsável pela decisão. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Avaliar resposta de IA antes de produção: um… — respostas incorretas
- Apoio comercial com IA: onde faz sentido e on… — não saber por onde começar
Páginas relacionadas
O mesmo problema em outro objetivo
- Classificação que erra: como localizar a causa — Diagnosticar
- Classes conflitantes entre áreas: critério, dono e revisão — Organizar um processo
- Classificação: como medir acerto sem esperar reclamação — Explicar medição
- Erro de classificação: quem responde no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Piloto de IA sem critério: como reconstruir a avaliação — Descreve como reconstruir o critério de sucesso de um piloto de IA já em curso, o que exigir antes de escalar e quais limites a medição não cobre.
- Equipe sem casos de IA: o que a tarefa precisa ter — Roteiro de perguntas para levantar tarefas da equipe e identificar onde a IA teria função, com critérios de decisão, dado disponível e custo de erro.
- Resposta de IA entra sem conferência: quem assina a decisão — Descreve como localizar onde a resposta de IA entra no processo sem conferência, quem responde pelo aceite e o que medir para reduzir o risco.
- Tarefa de julgamento na automação: o que exigir no contrato — O que separar entre execução e julgamento antes de contratar automação, que critérios registrar e o que a automação não decide.
- Piloto de IA sem critério: como decidir continuar ou parar — Define o que registrar antes do piloto de IA começar: decisão esperada, indicador de comparação, responsável pela leitura do resultado e regra de encerramento.