Resposta direta
Sem conjunto de referência, o teste se apoia em três coisas: a própria operação como fonte de casos, um critério de aceite escrito antes de ver o resultado e alguém com autoridade para reprovar. A amostra sai do trabalho real, como chamados, laudos e planilhas em uso, e não de exemplos escolhidos pelo fornecedor. O que não se consegue medir vira pergunta em aberto, registrada. Contratar assim exige aceitar que a primeira rodada constrói o gabarito; ela não o confirma.
- Objetivo
- Orientar avaliação e contratação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a ausência de gabarito como ponto de partida do contrato, e não como obstáculo a resolver antes de contratar.
O que substitui o gabarito
Um conjunto de referência é uma lista de casos com a resposta considerada correta. Quando ele não existe, a alternativa é usar o trabalho que já passa pela equipe. Casos reais carregam o desfecho: o que foi aprovado, o que voltou, o que gerou retrabalho.
Isso não equivale a um gabarito, mas produz base melhor do que exemplos inventados para o teste. A condição é que o critério seja escrito e assinado antes da leitura do resultado, senão a avaliação se ajusta ao que o sistema entregou.
Quem responde pelo caso
Cada caso precisa de um dono que saiba dizer se a resposta está aceitável. Em geral é quem já faz esse julgamento hoje: o analista que revisa o laudo, o supervisor que libera o desconto, o técnico que fecha o chamado.
Sem esse dono, a discussão vira opinião. A avaliação avança quando existe registro da discordância: dois avaliadores sobre a mesma amostra e uma decisão sobre o que fazer quando não concordam.
O que a avaliação não cobre
Amostra retirada da operação não representa tudo que o sistema vai encontrar. Casos raros, entradas malformadas e situações novas ficam de fora. A avaliação mede o que foi testado, não o que pode aparecer depois.
Ela também não indica se o desempenho se mantém ao longo do tempo. O comportamento muda quando o processo muda, quando o dado de entrada muda ou quando o volume cresce. Isso exige nova rodada, com data e responsável definidos no contrato, e não uma aprovação única.
Recurso prático
Como montar a amostra e o critério sem gabarito
- Selecionar casos reais do trabalho atual, com o desfecho registrado: aprovado, devolvido, retrabalhado
- Escrever o critério de aceite antes de rodar o sistema sobre a amostra
- Rodar duas pessoas em separado sobre os mesmos casos e comparar os julgamentos
- Registrar as discordâncias e definir quem tem autoridade para encerrar a avaliação
O erro mais comum é deixar o fornecedor escolher os casos de teste. Ele tende a selecionar exemplos em que o sistema já funciona, e o resultado deixa de servir para decidir.
Conceitos usados nesta página
- Critério de aceite — Critério de aceite é a condição objetiva que define quando uma entrega, tarefa ou automação é considerada concluída — verificável por quem recebe, não por quem produziu.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de referência · critério de aceite · amostra de casos reais · avaliação com dois avaliadores · registro de discordância. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Falta de ponto de partida com IA: como triar… — não saber por onde começar
- Indecisão de partida em IA: como medir a perd… — não saber por onde começar
Páginas relacionadas
O mesmo problema em outro objetivo
- Teste de IA sem gabarito: o que serve de referência — Organizar um processo
- Sem gabarito: como comparar duas versões de IA — Comparar alternativas
- Teste de IA sem gabarito: o que serve de referência — Orientar implementação
Outras leituras em IA aplicada e agentes
- Sem caso extremo: como avaliar IA pela demanda comum — Descreve como montar a avaliação de IA a partir da demanda comum da operação, com amostra, critério de aceite e responsável definidos.
- Modelo escolhido por reputação: o que provar antes de escalar — Modelo já escolhido por reputação: como montar a prova na operação, com amostra de casos reais, critério de aceite e custo por caso aceito.
- Treinamento ausente: o que resolver antes da ferramenta — O que precisa estar definido antes de treinar a equipe em uma ferramenta de IA, como ancorar o treino na operação real e o que a capacitação não resolve.
- Caso de uso sem dono: o que decidir antes de contratar — O que verificar antes de contratar um caso de uso de IA que a operação não assumiu, do dono provisório ao critério de aceite e ao orçamento de manutenção.
- Erro de IA tratado como falha da pessoa: onde fica a causa — Roteiro para separar falha de dado, de processo e de pessoa quando uma resposta de IA sai errada e a cobrança recai sobre quem usou.