Resposta direta
Casos fáceis servem para verificar se o fluxo funciona, não para estimar desempenho. O conjunto de teste precisa registrar, para cada exemplo, de onde ele veio, qual o grau de dificuldade e quem decide se a resposta está aceitável. Casos fáceis entram como linha de base. O que muda a decisão são os casos ambíguos, incompletos e fora do padrão, colhidos da operação real e revisados por quem responde pelo processo. Sem essa distinção, a avaliação mede a facilidade dos exemplos escolhidos, não a capacidade do sistema. O critério é separar a aprovação do fluxo da aprovação da resposta.
- Objetivo
- Organizar um processo
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Foca na escolha dos casos de teste, em de onde vêm, que dificuldade cobrem e quem aprova cada um, e não no tamanho do conjunto nem no roteiro de execução.
O acerto médio esconde a dificuldade
Uma avaliação que soma acertos e erros trata casos de peso muito diferente como iguais. Um exemplo simples, com todas as informações na ordem prevista, e um exemplo ambíguo, com dado faltando, recebem o mesmo ponto. O total fica alto e não diz onde o sistema quebra.
O que se quer saber é o comportamento por faixa. Se o desempenho cai nos casos incompletos ou fora do padrão, a média não revela. Separar faixas e olhar cada uma muda a decisão sobre ir para produção, restringir o uso ou reescrever a regra.
A origem dos casos define o que o teste vale
Conjunto de teste montado por quem construiu o sistema tende a repetir os exemplos que já funcionam. A amostra precisa vir da operação: chamados reais, dúvidas recorrentes, registros de retrabalho. Cada caso carrega de onde veio e por que entrou.
Cada exemplo precisa de um responsável pelo aceite. Sem isso, o julgamento vira opinião de quem está na sala. O responsável pela regra de negócio diz se a resposta está aceitável; o responsável técnico diz se o erro é de dado, de fluxo ou de critério.
O que esse processo não resolve
Separar faixas melhora a avaliação, mas não prevê o comportamento em produção. Ela mostra o que foi medido, naquele período, com aqueles casos. Situações novas, mudança no dado de entrada ou uso por outra equipe ficam fora.
Também não substitui monitoramento. A avaliação decide se vale começar; depois, cabe acompanhar a correção manual e os erros que chegam pela operação. E há limite de custo: manter muitos casos revisados consome tempo de quem entende do assunto, e esse tempo compete com outras prioridades.
Recurso prático
Faixas de dificuldade no conjunto de teste
| Faixa de dificuldade | O que ela mostra e quem aprova |
|---|---|
| Trivial, entrada completa e formato previsto | Mostra se o fluxo executa ponta a ponta; aprovação técnica, não de negócio |
| Completo, mas com linguagem fora do padrão | Mostra se a resposta se sustenta fora do texto de treino; revisão de quem atende |
| Faltando dado essencial | Mostra se o sistema pede o que falta em vez de preencher; decisão de quem responde pelo processo |
| Ambíguo, com duas leituras possíveis | Mostra o critério de desempate; aprovação de quem define a regra de negócio |
| Caso real que gerou erro ou retrabalho | Mostra se a correção permanece; acompanhamento do responsável pela operação |
O erro comum é olhar a quantidade de acertos no total e não o desempenho por faixa. Um conjunto com muitos casos triviais pode apresentar bom resultado geral e esconder falha justamente nos casos que chegam com mais frequência na operação.
Conceitos usados nesta página
- Critério de aceite — Critério de aceite é a condição objetiva que define quando uma entrega, tarefa ou automação é considerada concluída — verificável por quem recebe, não por quem produziu.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de teste · casos de borda · amostra colhida da operação · critério de aceite · revisão por responsável. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Agente sem supervisão: riscos e onde colocar… — agentes sem supervisão
- Avaliar resposta de IA antes de produção: um… — respostas incorretas
Páginas relacionadas
O mesmo problema em outro objetivo
- Conjunto de teste fácil demais: onde a avaliação engana — Diagnosticar
- Teste só com casos fáceis: o que a comparação esconde — Comparar alternativas
- Avaliação só com casos fáceis: o que a nota esconde — Explicar medição
- Casos fáceis na avaliação: como incluir dificuldade — Orientar implementação
- Avaliação só com casos fáceis: o que exigir do fornecedor — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Modelo escolhido por reputação: como colocar em teste — Descreve como tratar a indicação de mercado como lista de candidatos e usar critério de aceite, teste pequeno e registro para sustentar a escolha.
- Avaliar resposta de IA antes de produção: um conjunto de teste que caiba na rotina — Como montar um conjunto de teste com casos reais, o que medir e o critério de aprovação por tipo de uso.
- Resposta de IA aceita sem conferência: o que comparar — Compara três formas de tratar resposta de IA: conferir tudo, conferir por amostra e aceitar com critério definido, com o custo de cada escolha.
- Teste de IA sem gabarito: o que fica no contrato — Descreve como estruturar a avaliação de um sistema de IA sem respostas certas prontas, definindo amostra, critério de aceite e responsável pela decisão.
- Promessa de automação total: o que registrar no contrato — Critérios para avaliar e contratar automação anunciada como total: escopo da decisão, caminho da exceção, dono da revisão e critério de aceite.