Resposta direta
A avaliação está contaminada na escolha dos casos. Quando o conjunto é montado por quem construiu a solução, ou aproveitando o que já funcionava, ele mede a parte fácil do problema. A correção começa pela origem de cada caso: registrar como ele chegou ao conjunto, quem o classificou como representativo e qual dificuldade ele traz. Sem isso, qualquer taxa de acerto descreve o teste, não a operação. A resposta é refazer a amostra antes de discutir modelo, fornecedor ou ajuste fino.
- Objetivo
- Diagnosticar
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a composição da amostra como objeto de diagnóstico, e não o desempenho do modelo.
Os sinais que aparecem antes do número
Um conjunto fácil costuma ter três marcas. Os casos foram escritos por quem projetou a solução, não coletados da operação. As respostas esperadas cabem em uma linha e não admitem mais de uma leitura. E não existe registro de caso em que a decisão correta seria recusar, pedir informação ou encaminhar para uma pessoa.
Quando essas marcas aparecem juntas, a taxa de acerto mede a facilidade da amostra. O número sobe porque o problema foi reduzido, não porque a solução melhorou. A discussão seguinte, sobre modelo ou fornecedor, parte de uma base que não descreve a rotina.
A distância entre o caso escolhido e o caso que chega
Um caso difícil não é o caso longo. É o que chega incompleto, com dado divergente entre dois sistemas, com pedido que mistura duas situações ou com regra que mudou no meio do período. Esses são os casos que decidem se a solução pode operar sem supervisão constante.
A verificação prática separa os casos por motivo de dificuldade e compara a proporção de cada grupo com a que aparece nos registros de entrada. Se a amostra concentra casos de leitura única e a entrada traz muitos casos ambíguos, a avaliação descreve uma operação que não existe.
O que a revisão da amostra não resolve
Refazer a amostra não melhora o desempenho da solução. Ela apenas mostra onde o desempenho é fraco. Também não define qual erro é tolerável: isso é decisão de negócio, ligada a custo, risco e reversibilidade de cada caso.
E não substitui o acompanhamento em produção. Um conjunto revisado continua sendo uma fotografia do período em que foi montado. Mudanças de regra, de volume ou de perfil de entrada exigem nova coleta. A amostra corrigida é o começo do acompanhamento, não o fim da avaliação.
Recurso prático
Onde o conjunto de teste perde contato com a operação
- Listar a origem de cada caso: trazido por quem construiu a solução, retirado do histórico de entrada ou escolhido por ser exemplo claro.
- Marcar a dificuldade esperada de cada caso: ambíguo, incompleto, com dado divergente entre sistemas ou com exceção de regra.
- Comparar a proporção de cada grupo de dificuldade com a que aparece nos registros reais de entrada.
- Identificar quem aprovou cada caso como representativo e se essa pessoa participa da construção da solução.
- Definir quais casos faltam e refazer a coleta antes de olhar a taxa de acerto.
O erro mais comum é medir dificuldade pelo tamanho do texto ou pela confiança que a solução demonstrou no caso, em vez de medi-la pela frequência com que o caso aparece na operação.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de teste · viés de seleção · caso difícil · taxa de acerto · amostra de avaliação. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Ferramentas isoladas: como medir o impacto no… — ferramentas isoladas
- Respostas erradas de IA: como tratar a falha… — respostas incorretas
Páginas relacionadas
O mesmo problema em outro objetivo
- Teste só com casos fáceis: o que a avaliação não mede — Organizar um processo
- Teste só com casos fáceis: o que a comparação esconde — Comparar alternativas
- Avaliação só com casos fáceis: o que a nota esconde — Explicar medição
- Casos fáceis na avaliação: como incluir dificuldade — Orientar implementação
- Avaliação só com casos fáceis: o que exigir do fornecedor — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Sem caso extremo: como avaliar IA pela demanda comum — Descreve como montar a avaliação de IA a partir da demanda comum da operação, com amostra, critério de aceite e responsável definidos.
- Avaliar resposta de IA antes de produção: um conjunto de teste que caiba na rotina — Como montar um conjunto de teste com casos reais, o que medir e o critério de aprovação por tipo de uso.
- Classificação automática: onde usar e onde não — Quatro condições para classificar texto com IA, o que fazer com o caso duvidoso e como medir acerto.
- Modelo escolhido por reputação: o que provar antes de escalar — Modelo já escolhido por reputação: como montar a prova na operação, com amostra de casos reais, critério de aceite e custo por caso aceito.
- Modelo escolhido por reputação: como colocar em teste — Descreve como tratar a indicação de mercado como lista de candidatos e usar critério de aceite, teste pequeno e registro para sustentar a escolha.