Resposta direta
Monte um conjunto de casos reais — pelo menos vinte, incluindo os difíceis e os ambíguos — e defina o que é resposta aceitável para cada um. Rode o conjunto, classifique as respostas e calcule a taxa de aceitação. O critério de aprovação depende do uso: sugestão interna tolera mais erro que comunicação ao cliente. Sem conjunto de teste, a avaliação é impressão sobre os primeiros casos, que costumam ser os mais fáceis.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Insiste em incluir os casos difíceis no conjunto — onde a avaliação por impressão sempre falha.
Por que a primeira impressão engana
Nos primeiros testes, escolhemos sem perceber os casos fáceis — e a IA parece melhor do que é. O erro aparece em produção, nos casos de borda que ninguém testou.
O conjunto de teste existe para forçar a passagem pelos casos difíceis antes que eles cheguem ao cliente.
O que medir além da aceitação
Registre o tipo de falha: informação ausente, informação inventada, formato errado, tom inadequado. Cada tipo pede correção diferente — instrução, dado de entrada ou ponto de revisão.
Acompanhe também a estabilidade: a mesma entrada produz a mesma resposta? Variação alta em tarefa repetitiva indica que o fluxo precisa de mais restrição.
Limites
Taxa de aceitação alta não garante ausência de erro grave. Um erro raro e grave pode passar em qualquer conjunto pequeno.
Por isso o critério de aprovação combina taxa e consequência: quanto maior o impacto do erro, maior o conjunto exigido e menor a autonomia.
Recurso prático
Como montar o conjunto de teste
- Reúna pelo menos vinte casos reais do trabalho, não exemplos inventados.
- Inclua de propósito os casos ambíguos e os que já deram errado no passado.
- Escreva, para cada caso, o que é uma resposta aceitável.
- Rode o conjunto completo e classifique cada resposta: aceita, aceita com ajuste, recusada.
- Calcule a taxa de aceitação e compare com o critério definido para o tipo de uso.
- Repita o conjunto sempre que mudar instrução, modelo ou formato de entrada.
Conjunto pequeno e real ensina mais que bateria grande e artificial.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de teste · taxa de aceitação · caso ambíguo · critério de aprovação. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Custo por resultado — Ligar qualidade a custo
- Agente sem supervisão — Definir limites
Páginas relacionadas
O mesmo problema em outro objetivo
- Erros em respostas de IA: como rastrear a origem da falha — Diagnosticar
- Respostas erradas de IA: como tratar a falha na rotina — Organizar um processo
- Respostas incorretas de IA: como comparar as falhas — Comparar alternativas
- Respostas incorretas em IA: contenção na operação — Orientar implementação
- Respostas incorretas: o que decidir antes de contratar — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Casos fáceis na avaliação: como incluir dificuldade — Descreve como identificar casos fáceis num conjunto de teste de IA, repor dificuldade por tipo de erro e registrar critério de aprovação.
- Conjunto de teste fácil demais: onde a avaliação engana — Explica por que uma amostra formada só por casos fáceis produz avaliação otimista e quais sinais indicam que o conjunto de teste precisa ser refeito.
- Avaliação só com casos fáceis: o que a nota esconde — Explica por que uma avaliação restrita a casos fáceis superestima o desempenho de IA e quais medidas mostram o que ficou fora do teste.
- Modelo escolhido por reputação: como colocar em teste — Descreve como tratar a indicação de mercado como lista de candidatos e usar critério de aceite, teste pequeno e registro para sustentar a escolha.
- Teste só com casos fáceis: o que a avaliação não mede — Mostra por que uma avaliação só com casos fáceis engana, o que incluir no conjunto de teste e como registrar dificuldade, origem e responsável pela decisão.