Resposta direta
Comparação sem conjunto de referência se faz por preferência, não por acerto. As duas versões recebem o mesmo caso e quem responde pela operação escolhe a resposta mais utilizável, registrando o motivo. Um conjunto pequeno de casos difíceis, selecionados por quem conhece o processo, costuma separar versões com folga. O critério é operacional: qual resposta reduz retrabalho, qual exige menos correção, qual erra de forma previsível. Sem essa amarração, o julgamento vira opinião de quem testou.
- Objetivo
- Comparar alternativas
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Compara métodos de julgamento sem gabarito e mostra o custo de cada um, em vez de ensinar a montar um conjunto de teste.
O que substitui o gabarito
Sem respostas certas catalogadas, o julgamento passa a ser comparativo. Duas versões recebem o mesmo caso e a escolha fica com quem responde pelo resultado daquela etapa. O que se compara não é a resposta bem escrita, e sim o quanto ela serve sem retrabalho.
Isso exige duas decisões antes de começar: quais casos entram e quem julga. Os casos vêm do que já dá problema hoje, não do que é fácil de montar. O julgador é quem assina a entrega, e não quem construiu a solução.
Critério antes da rodada
O critério precisa ser definido antes de ver as respostas. Correção factual, aderência ao pedido, formato utilizável e comportamento no erro são critérios separados; somados numa nota única, escondem a diferença que importa.
O motivo de cada escolha precisa ficar registrado. Sem ele, a rodada seguinte recomeça do zero e a discussão volta a ser sobre gosto, sem memória do que já foi decidido.
O que a comparação não resolve
Comparar versões mostra qual é melhor entre as testadas. Não mostra se alguma delas é boa o bastante para chegar ao cliente. Isso depende do custo do erro naquela etapa, que não sai do teste.
Sem conjunto de referência, também não existe medida estável entre rodadas. Mudou o caso, o julgador ou o critério, o resultado deixa de ser comparável. Vale como decisão de momento, revista quando o processo mudar.
Recurso prático
Métodos de comparação sem conjunto de referência
| Método | Serve quando | O que cobra |
|---|---|---|
| Preferência pareada | Há duas versões e quem conhece a operação consegue escolher entre elas | Tempo de quem decide e rodadas suficientes para o empate cair |
| Rubrica por critério | A resposta tem várias partes e o erro em uma delas pesa mais | Rubrica definida antes; mal escrita, vira nota de simpatia |
| Casos difíceis escolhidos à mão | O risco está nas exceções, não no caso médio | Alguém precisa garimpar os casos e sustentar a lista |
| Observação em produção | A comparação ao vivo pode rodar sem chegar ao cliente | Janela de acompanhamento e alguém lendo o que voltou |
O erro mais comum é comparar versões diferentes com casos diferentes. Se cada versão recebeu um conjunto distinto de perguntas, o resultado mede o caso, não a versão.
Sobre o que está escrito aqui
Conceitos relacionados: preferência pareada · rubrica de avaliação · casos difíceis · avaliação cega · observação em produção. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Avaliar resposta de IA antes de produção: um… — respostas incorretas
- Apoio comercial com IA: onde faz sentido e on… — não saber por onde começar
Páginas relacionadas
O mesmo problema em outro objetivo
- Teste de IA sem gabarito: o que serve de referência — Organizar um processo
- Teste de IA sem gabarito: o que serve de referência — Orientar implementação
- Teste de IA sem gabarito: o que fica no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Dado de cliente sem finalidade: o que fixar antes de usar — Descreve um processo para registrar a finalidade de cada dado de cliente antes de usá-lo em rotinas e projetos de IA, com responsável e condição de descarte.
- Fornecedor único de modelo: como medir a dependência — Como medir a exposição a um único fornecedor de modelo: pontos de acoplamento, custo de troca, substituto testado e o que a escolha não cobre.
- IA contratada por área: o que padronizar primeiro — O que fazer quando cada área contrata ferramenta de IA por conta própria: registro comum, exigência mínima de contratação e responsável nomeado.
- Caso de uso sem dono: o que decidir antes de contratar — O que verificar antes de contratar um caso de uso de IA que a operação não assumiu, do dono provisório ao critério de aceite e ao orçamento de manutenção.
- Modelo escolhido por reputação: como testar antes de escalar — Descreve como separar reputação de ajuste ao processo e quais critérios observar antes de ampliar o uso de um modelo de IA.