Resposta direta
Uma avaliação feita só com casos fáceis compara versões, não capacidades. Quando tudo acerta, o placar empata por falta de tensão, e a escolha passa a depender de ruído. A alternativa prática é separar o que já funciona do que ainda falha: manter o conjunto fácil como verificação de regressão e criar uma faixa de casos difíceis por tipo de falha, extraída da operação. Sem essa separação, qualquer diferença observada entre duas versões precisa ser tratada como indeterminada até que exista caso capaz de distinguir.
- Objetivo
- Comparar alternativas
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Compara caminhos para lidar com um conjunto de teste fácil, em vez de ensinar a montar o conjunto.
O placar empata por falta de tensão
Quando todas as respostas de teste estão certas, a diferença entre duas versões vem de variação, não de capacidade. O número sobe ou desce sem indicar qual caminho é melhor.
O efeito prático é uma decisão travada: a equipe troca de versão por impressão, ou mantém a atual por inércia. Nenhuma das duas escolhas se apoia em evidência.
Três caminhos e o custo de cada um
Primeiro caminho: manter o conjunto fácil como está e tratá-lo como verificação de regressão. É barato e rápido. Não decide escolha entre versões.
Segundo: acrescentar casos difíceis por tipo de falha, retirados da operação. Aumenta o poder de distinção e também o esforço de manutenção, porque caso difícil envelhece e precisa de revisão.
Terceiro: usar amostra cega da produção, sem seleção, como referência de comparação. Mostra o que acontece de fato, mas traz ruído de casos raros e exige alguém para julgar a resposta.
O que a comparação fácil não entrega
A comparação vale para o que foi testado e para mais nada. Conjunto fácil não estima desempenho em caso ambíguo, em entrada incompleta ou em pedido fora do padrão.
Também não substitui critério de aceitação. Se ninguém definiu o que é resposta aceitável, mais casos apenas produzem mais divergência de julgamento. E não mede custo de erro: acertar o fácil e errar o caso de margem pode parecer boa avaliação.
Recurso prático
O que verificar antes de comparar versões com teste fácil
- Separe os casos por dificuldade e registre quantos ficaram em cada faixa; faixa vazia significa comparação sem base.
- Liste os tipos de falha que a operação já produziu e verifique qual deles tem caso no conjunto atual.
- Recolha amostra recente da operação sem filtro de qualidade e compare o desempenho nela com o desempenho no conjunto fácil.
- Defina o critério de decisão antes de ver o resultado: empate no fácil não decide; só decide diferença em caso difícil.
- Registre por escrito qual decisão fica em aberto enquanto não existir caso difícil.
O erro mais comum é tirar o caso fácil do conjunto quando ele falha. O fácil serve para detectar regressão; o difícil serve para decidir.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de teste · faixa de dificuldade · caso de regressão · amostra de produção · tipo de falha. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Por onde começar com IA: o que avaliar antes — não saber por onde começar com IA
- Falta de ponto de partida com IA: como triar… — não saber por onde começar
Páginas relacionadas
O mesmo problema em outro objetivo
- Conjunto de teste fácil demais: onde a avaliação engana — Diagnosticar
- Teste só com casos fáceis: o que a avaliação não mede — Organizar um processo
- Avaliação só com casos fáceis: o que a nota esconde — Explicar medição
- Casos fáceis na avaliação: como incluir dificuldade — Orientar implementação
- Avaliação só com casos fáceis: o que exigir do fornecedor — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Avaliar resposta de IA antes de produção: um conjunto de teste que caiba na rotina — Como montar um conjunto de teste com casos reais, o que medir e o critério de aprovação por tipo de uso.
- Modelo escolhido por reputação: o que verificar na contratação — O que separar entre reputação e evidência ao contratar um modelo de IA: critérios de avaliação, responsabilidade e o que fica fora do contrato.
- Modelo escolhido por reputação: como colocar em teste — Descreve como tratar a indicação de mercado como lista de candidatos e usar critério de aceite, teste pequeno e registro para sustentar a escolha.
- Agente que só roda com alguém olhando: o que preparar — Sequência de itens que precisam existir antes de um agente rodar sem alguém conferindo cada execução, do registro à alçada de decisão.
- Processo não documentado: como comparar rotas de IA — Compara quatro rotas para aplicar IA a um processo sem documentação e o que cada uma exige de quem conhece a operação.