Resposta direta
Um conjunto de referência só serve se a equipe souber o que ele cobre e quem decide o que é resposta correta. Antes de confiar em qualquer nota, vale checar três pontos: se os casos representam o trabalho real, se existe critério escrito de acerto e se dois avaliadores chegam ao mesmo julgamento. O resto é consequência. Onde esses pontos falham, a nota mede o conjunto, não o comportamento do sistema em produção.
- Objetivo
- Diagnosticar
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata da validade do próprio conjunto de referência, e não de montar um teste novo nem de julgar uma resposta isolada.
Cobertura antes de volume
Conjunto grande não é conjunto bom. O que decide é a origem dos casos. Se todos vieram do mesmo tipo de pedido, do mesmo período ou de exemplos criados internamente, a nota reflete esse recorte e não a operação. O primeiro trabalho é conferir a procedência de cada caso.
Também importa a distribuição de dificuldade. Um conjunto só com casos fáceis produz nota alta e nenhuma informação útil. Casos raros e de borda precisam estar presentes na proporção em que de fato aparecem, ou ser declarados à parte, para que a leitura da nota seja honesta.
Quem decide o que é acerto
Sem critério escrito, cada avaliação vira opinião. O critério precisa dizer o que é resposta aceitável, o que é erro tolerável e o que é erro grave. Isso é decisão de negócio, não de quem opera o sistema. Quem responde pela área deve assinar esse critério.
Depois vem o acordo entre avaliadores. Dois julgamentos independentes sobre os mesmos casos mostram onde a definição é ambígua. Divergência não é falha da equipe: é diagnóstico de que o critério ainda não está fechado. Onde houve discordância, o critério precisa ser reescrito.
O que o conjunto não prova
A nota do conjunto não prova comportamento em produção. Ela não cobre o que não foi incluído, não mede custo por resposta, tempo de espera, efeito do volume nem o que acontece quando o dado de entrada chega incompleto. Um bom resultado no conjunto convive com problemas sérios na operação.
O conjunto também envelhece. Acervo, política de atendimento e produto mudam, e casos antigos passam a medir um mundo que não existe mais. Sem revisão periódica de cobertura, a nota continua sendo calculada e deixa de orientar decisão. Esse limite não se resolve com mais casos: resolve com data de validade e responsável pela revisão.
Recurso prático
Roteiro de revisão do conjunto de referência
- Listar a origem de cada caso e marcar quais vieram da operação real e quais foram escritos apenas para teste.
- Classificar cada caso por dificuldade e comparar a proporção com a do trabalho diário, incluindo casos raros e de borda.
- Escrever, por caso, o que conta como acerto, o que é erro tolerável e o que é erro grave, antes de qualquer medição.
- Pedir que dois avaliadores julguem a mesma amostra sem combinar resposta e registrar onde discordam.
- Levar as discordâncias a quem responde pela área, fixar o critério e separar uma parte dos casos que ficará guardada para conferência futura.
O erro mais comum é ajustar o sistema contra o conjunto antes de saber se o conjunto mede a coisa certa. Corrigir a IA com base em referência mal definida apenas torna o erro mais difícil de enxergar.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de referência · critério de acerto · acordo entre avaliadores · casos de borda · cobertura de casos. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Apoio comercial com IA: onde faz sentido e on… — não saber por onde começar
- Classificação automática: onde usar e onde não — triagem manual de textos
Páginas relacionadas
Outras leituras em IA aplicada e agentes
- Teste só com casos fáceis: o que a avaliação não mede — Mostra por que uma avaliação só com casos fáceis engana, o que incluir no conjunto de teste e como registrar dificuldade, origem e responsável pela decisão.
- Teste de IA sem gabarito: o que fica no contrato — Descreve como estruturar a avaliação de um sistema de IA sem respostas certas prontas, definindo amostra, critério de aceite e responsável pela decisão.
- Custo de IA sem base de comparação: o que medir antes — A página monta a base de comparação entre IA, processo manual e arranjo híbrido: custo por unidade entregue, retrabalho e supervisão.
- Tarefa comum com IA: o que avaliar antes de contratar — Como avaliar IA numa rotina comum: linha de base, tolerância a erro, custo por tarefa e critério de aceite definidos antes do piloto.
- Custo de IA que muda todo mês: como medir por etapa — Explica como medir custo de IA por etapa, separar custo fixo de variável e identificar o que fazer quando o gasto varia sem motivo claro.