Resposta direta
Quando não existe conjunto de referência, a referência se constrói a partir da operação. Seleciona-se uma amostra de casos reais que já foram resolvidos por pessoas, registra-se a decisão correta e as razões dela, e transforma-se isso em rubrica. O julgamento passa a ser feito por critério explícito, não por comparação com gabarito pronto. O trabalho é de curadoria e acordo, não de ferramenta. Se as pessoas da operação não concordam sobre o que é uma resposta aceitável, nenhum teste resolve: o desacordo é o problema a resolver primeiro.
- Objetivo
- Orientar implementação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Parte do caso em que não há gabarito algum e trata o desacordo entre avaliadores como o dado principal a resolver, não como ruído.
O material bruto já existe na operação
Quem quer testar IA costuma procurar um conjunto de respostas corretas já etiquetadas. Raramente ele existe. O que existe é histórico de atendimento, pareceres, laudos, chamados encerrados e planilhas de decisão. Esse material não está organizado, mas registra julgamento humano em situação real.
A primeira tarefa é amostrar. Escolher casos que representem o que aparece no dia, incluindo os difíceis: exceção, pedido ambíguo, dado faltando. A amostra precisa ser pequena o suficiente para ser revisada e diversa o suficiente para não virar retrato de um único tipo de caso.
Critério explícito no lugar do gabarito
Sem resposta pronta, o teste se apoia em rubrica: o que torna uma saída aceitável, o que a torna inaceitável, o que é tolerável. A rubrica descreve a decisão, não a redação exata. Isso permite avaliar saídas diferentes que resolvem o mesmo caso.
Duas ou três pessoas da operação avaliam a mesma amostra em separado. Onde discordam, aparece a definição em falta. O registro dessa discordância é o produto mais útil do exercício: ele mostra o que ainda não foi decidido por ninguém.
O que essa abordagem não resolve
Rubrica construída internamente não mede qualidade absoluta nem compara fornecedores. Ela mede aderência ao critério que a própria operação definiu. Se o critério estiver errado, o teste confirma o erro com consistência.
Também não substitui acompanhamento em produção. Casos mudam, o vocabulário muda, o sistema muda. A referência envelhece e precisa de revisão periódica. E há limite de custo e tempo: cada caso revisado consome hora de quem sabe julgar, e esse recurso é escasso.
Recurso prático
Da amostra ao critério de aceite
- Levantamento de casos reais já encerrados, com a decisão tomada e o motivo registrado.
- Seleção de amostra diversa, com casos fáceis, ambíguos e exceções.
- Escrita da rubrica com critérios de aceite, recusa e tolerância, descrevendo a decisão e não a redação.
- Julgamento da mesma amostra por dois avaliadores em separado, com discussão das divergências.
- Fechamento da definição em falta, registro da versão da rubrica e revisão quando a operação mudar.
O erro mais comum é transformar a rubrica em lista de preferências de quem a escreveu. Se o critério não for aceito por quem julga na operação, o teste passa a medir obediência à planilha, não qualidade da saída.
Sobre o que está escrito aqui
Conceitos relacionados: rubrica de avaliação · amostra de casos reais · julgamento em separado por dois avaliadores · registro de decisão de aceite · produção sombreada. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Busca em documentos com IA: quando ajuda e qu… — ferramentas isoladas
- Atendimento com IA: o que pode ir para o clie… — atendimento com IA sem regra
Páginas relacionadas
O mesmo problema em outro objetivo
- Teste de IA sem gabarito: o que serve de referência — Organizar um processo
- Sem gabarito: como comparar duas versões de IA — Comparar alternativas
- Teste de IA sem gabarito: o que fica no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Casos fáceis na avaliação: como incluir dificuldade — Descreve como identificar casos fáceis num conjunto de teste de IA, repor dificuldade por tipo de erro e registrar critério de aprovação.
- IA contratada por área: o que padronizar primeiro — O que fazer quando cada área contrata ferramenta de IA por conta própria: registro comum, exigência mínima de contratação e responsável nomeado.
- Tarefa de julgamento na automação: o que exigir no contrato — O que separar entre execução e julgamento antes de contratar automação, que critérios registrar e o que a automação não decide.
- Treinamento ausente antes da ferramenta: sinais na operação — Critérios para separar falta de treino de falta de processo antes de decidir pela ferramenta, e os limites dessa leitura na prática.
- Ferramentas isoladas: como organizar o fluxo de trabalho — Critérios para mapear entradas e saídas de ferramentas isoladas, eliminar redundâncias operacionais e definir a responsabilidade de cada etapa.