Resposta direta
A avaliação feita só com casos fáceis mede o que a solução já acerta e deixa de fora o que decide o custo em produção. O sinal aparece na composição do conjunto de teste: se ele reúne entradas limpas, completas e previsíveis, a taxa de acerto não informa o comportamento diante de exceção, dado faltante ou ambiguidade. Na contratação, o ponto de atenção é o gabarito, quem definiu a resposta correta, e a classificação dos erros por consequência. Sem essa distinção, um número alto de acertos convive com falhas caras que ninguém mediu.
- Objetivo
- Orientar avaliação e contratação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata o que a proposta esconde ao escolher os casos, e não como montar um conjunto de teste por conta própria.
O que uma demonstração costuma deixar de fora
Demonstração raramente é avaliação. Os casos apresentados tendem a ser entradas limpas, completas e bem formatadas, escolhidas por quem já conhece o comportamento da solução. Isso mostra que o fluxo funciona em condição controlada. Não mostra o que acontece no resto do dia.
O que decide o custo está fora dessa amostra: exceção de regra, dado faltante, campo preenchido fora do padrão, pedido ambíguo e caso que exige decisão de negócio. São esses os pontos que geram retrabalho e conferência manual.
Composição do conjunto de teste e responsável pelo gabarito
O conjunto de teste precisa refletir a operação, não a facilidade de montagem. Isso significa declarar quais tipos de caso entram, em que proporção aproximada, e reservar uma parte para os casos raros que a equipe já reconhece como problemáticos.
Cada caso precisa de resposta correta definida por alguém com responsabilidade sobre o processo. Quando dois avaliadores discordam do gabarito, a discordância é dado relevante: pode indicar ambiguidade no processo, não na solução. Proposta que apresenta só a taxa de acerto agregada omite essa informação.
Limites desta checagem
Um conjunto melhor de casos não prova desempenho em produção. A distribuição das entradas muda, aparecem formatos que ninguém previu, e o que funcionou no teste pode degradar sem sinal claro. Avaliação pontual e monitoramento são coisas distintas.
A checagem também não resolve responsabilidade sobre erro. Definir quem revisa, quem responde pelo resultado e qual falha é tolerável continua sendo decisão da operação. Sem isso, nenhum conjunto de teste sustenta a contratação.
Recurso prático
Da proposta à checagem do conjunto de teste
- Listar quais tipos de caso entram na avaliação e a origem de cada um.
- Separar casos fáceis de casos limite: exceção de regra, dado incompleto, formato fora do padrão e pedido ambíguo.
- Pedir a distribuição dos casos por tipo, não apenas a taxa de acerto agregada.
- Verificar quem definiu o gabarito e como a divergência entre avaliadores foi tratada.
- Classificar os erros por consequência: erro que gera retrabalho, erro que chega ao cliente, erro sem efeito.
- Registrar o que fica fora da avaliação, como mudança de distribuição em produção e monitoramento contínuo.
O ponto mais ignorado é o gabarito. Conjunto de teste sem responsável declarado pela resposta correta costuma ser um recorte das opiniões de quem montou a demonstração.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de teste · gabarito · casos limite · distribuição dos casos por tipo · classificação de erro por consequência. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Busca em documentos com IA: quando ajuda e qu… — ferramentas isoladas
- Apoio comercial com IA: onde faz sentido e on… — não saber por onde começar
Páginas relacionadas
O mesmo problema em outro objetivo
- Conjunto de teste fácil demais: onde a avaliação engana — Diagnosticar
- Teste só com casos fáceis: o que a avaliação não mede — Organizar um processo
- Teste só com casos fáceis: o que a comparação esconde — Comparar alternativas
- Avaliação só com casos fáceis: o que a nota esconde — Explicar medição
- Casos fáceis na avaliação: como incluir dificuldade — Orientar implementação
Outras leituras em IA aplicada e agentes
- Avaliar resposta de IA antes de produção: um conjunto de teste que caiba na rotina — Como montar um conjunto de teste com casos reais, o que medir e o critério de aprovação por tipo de uso.
- Modelo escolhido por reputação: o que verificar na contratação — O que separar entre reputação e evidência ao contratar um modelo de IA: critérios de avaliação, responsabilidade e o que fica fora do contrato.
- Modelo escolhido por reputação: como colocar em teste — Descreve como tratar a indicação de mercado como lista de candidatos e usar critério de aceite, teste pequeno e registro para sustentar a escolha.
- Custo por resposta fora do previsto: como organizar a apuração — Organiza a apuração do custo por resposta: o que medir, quem responde pelo desvio e onde o processo para por falta de dado.
- Respostas incorretas de IA: como comparar as falhas — Comparativo de métodos para confrontar erros de modelos de linguagem, os custos de cada abordagem e os limites de confiar apenas em métricas numéricas.