Resposta direta
Sem conjunto de referência, a avaliação se apoia em comparação e em critério de decisão, não em resposta certa. O processo parte de casos reais recolhidos do fluxo, define que decisão cada saída precisa sustentar e registra onde dois revisores discordam. A comparação entre duas versões da mesma rotina, sobre os mesmos casos, mostra se algo mudou ou apenas trocou de erro. O conjunto de referência, quando existir, passa a ser consequência do processo: os casos de acordo, com consequência prática observada, viram o gabarito inicial.
- Objetivo
- Organizar um processo
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata o caso em que não existe gabarito e substitui a resposta certa por critério de decisão e registro de discordância entre revisores.
Critério antes de resposta
Quando não há gabarito, o teste começa na decisão que a saída precisa sustentar. Antes de olhar qualquer resposta, o time escreve o que torna uma saída aceitável: que informação ela precisa conter, que erro é tolerável, o que obriga revisão humana. Sem esse critério escrito, a avaliação vira opinião sobre texto.
A escrita do critério incomoda porque expõe discordância entre áreas. Isso é útil. O desacordo sobre o que é aceitável aparece no começo, quando ainda custa pouco, e não depois que a saída já está em uso.
Amostra e comparação no lugar do gabarito
Os casos de teste saem do fluxo real, recolhidos como aconteceram, incluindo os que ninguém escolheria. Os casos difíceis tendem a ser justamente onde o critério falha. A seleção precisa de responsável nomeado, senão a amostra reflete apenas o que é fácil entregar.
Sem resposta certa, a comparação entre duas versões passa a ser o teste. As duas rodam sobre os mesmos casos, e o revisor avalia sem saber qual versão gerou cada saída. O que se registra não é a nota, mas a discordância: o caso, o critério aplicado e o motivo do desacordo.
O que esse processo não resolve
Teste por comparação não prova correção. Ele mostra mudança, não acerto. Duas versões podem piorar juntas, e um critério mal escrito produz acordo em torno de um erro. O processo também não substitui observação em produção: casos que só aparecem depois do uso continuam fora da amostra.
Quando a decisão tem consequência jurídica, financeira ou de segurança, comparação entre revisores não é suficiente. Esses casos exigem revisão especializada e registro formal, mesmo com volume pequeno. Processo leve não cobre risco alto.
Recurso prático
O que usar no lugar do gabarito
| Quando falta referência | O que entra no lugar |
|---|---|
| Não existe resposta certa única | Critério de decisão: o que a saída precisa permitir que alguém faça ou decida |
| Os casos raros são caros e pouco frequentes | Amostra dirigida do fluxo real, com o caso registrado como ocorreu |
| Duas versões parecem equivalentes | Comparação cega sobre os mesmos casos, com o revisor sem saber qual versão gerou cada saída |
O erro mais comum é tratar a cautela do revisor como medida de qualidade. A discordância aponta onde o critério não está escrito, não onde o modelo errou.
Conceitos usados nesta página
- Critério de decisão — Critério de decisão é a base explícita sobre a qual uma escolha é feita: o que será considerado, com qual peso e o que elimina uma alternativa antes da comparação.
Sobre o que está escrito aqui
Conceitos relacionados: critério de decisão · amostra de casos reais · registro de discordância · revisor independente · comparação entre versões. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Ferramentas de IA dispersas: onde o fluxo se… — ferramentas isoladas
- Ferramentas isoladas: como integrar sem gerar… — ferramentas isoladas
Páginas relacionadas
O mesmo problema em outro objetivo
- Sem gabarito: como comparar duas versões de IA — Comparar alternativas
- Teste de IA sem gabarito: o que serve de referência — Orientar implementação
- Teste de IA sem gabarito: o que fica no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Julgamento entregue à automação: o que precisa de dono — Organiza a tarefa de julgamento entregue à automação: separar critério, responsável e exceção, com registro de decisão e revisão por amostragem.
- Análise parada no relatório: o que falta para virar rotina — Define o que precisa estar pronto antes de uma análise entrar na rotina: dono, frequência, dado de origem, critério de decisão e revisão.
- Processo que ninguém documentou: onde a IA trava — O que verificar em um processo não documentado antes de aplicar IA: onde o conhecimento está, quem responde e o que medir.
- Equipe sem treinamento antes da ferramenta: o que comparar — Compara treinar a equipe antes da ferramenta, escolher a ferramenta primeiro e rodar um piloto, pelo critério do custo do erro em cada tarefa.
- Processo que ninguém documentou: o que registrar antes da IA — O que registrar de um processo não documentado antes de aplicar IA, e onde esse registro falha por depender de memória e de acordos informais.