Resposta direta
A comparação começa por reconstruir a linha de base que já está em uso, não por testar substituto. Sem registro de versão, o primeiro passo é fixar o que existe: tarefa, entradas típicas, saída aceita e quem responde pelo erro. Com isso, um conjunto pequeno de casos guardados permite comparar alternativas na mesma régua. A diferença aparece na repetição, não em uma execução isolada. Quando a versão em uso não pode ser identificada, essa identificação é a entrega prioritária; escolher outro modelo antes disso apenas troca uma incerteza por outra.
- Objetivo
- Comparar alternativas
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a ausência de registro de versão como linha de base a reconstruir, e não como falha a corrigir depois da troca de modelo.
O que resta comparar quando falta histórico
Sem registro, não há como reconstruir com precisão o que rodava meses atrás. O que resta é o comportamento observável agora: tipo de erro, sensibilidade ao formato da entrada, tempo de resposta e custo por execução. Isso permite comparar alternativas entre si, desde que a medição seja feita no mesmo momento e sobre o mesmo conjunto de casos.
A comparação serve para decidir o próximo passo, não para auditar o passado. Se a pergunta é o que foi entregue ao cliente em determinada data, a resposta depende de evidência que talvez não exista mais. Reconhecer isso evita tratar estimativa como fato.
Registro mínimo que torna a comparação repetível
Registro útil é curto e ligado à operação: identificação da versão, data, parâmetros relevantes e a entrada que gerou cada saída guardada. Sem esses elementos, dois resultados não podem ser atribuídos a causas diferentes.
O local do registro importa menos que a rotina. Um campo no sistema que já processa a chamada tende a durar mais que uma planilha paralela. O critério é simples: quem investiga um erro chega à versão usada sem precisar perguntar a outra pessoa.
Onde a comparação não fecha
Comparar modelos não resolve problema de definição. Se o critério de aceite não está claro, qualquer alternativa parece equivalente e a decisão volta para a opinião de quem tem mais cargo.
Também não cobre mudança silenciosa do fornecedor nem alteração no dado de entrada. Um modelo pode mudar de comportamento sem aviso, e o conjunto de casos envelhece. A comparação mostra diferença no que foi medido; não garante que o comportamento se mantém fora do conjunto.
Recurso prático
Fechar a base de comparação antes de avaliar outra alternativa
- Nomear a tarefa em que o modelo é usado e quem responde pela saída.
- Registrar versão, data e parâmetros relevantes de cada chamada que gera saída usada em decisão.
- Guardar um conjunto fixo de entradas com a saída aceita de cada uma.
- Rodar as alternativas no mesmo conjunto, com a mesma instrução e o mesmo critério de aceite.
- Comparar por tipo de erro, não por impressão geral de qualidade.
- Definir prazo e responsável para revisar a escolha quando a versão em uso mudar.
O erro mais comum é montar os casos de teste na hora da avaliação. Cada alternativa acaba testada com entrada diferente, e a comparação deixa de ter base. O conjunto de casos precisa estar fechado e guardado antes de qualquer alternativa ser rodada.
Conceitos usados nesta página
- Linha de base — Linha de base é a medição do ponto de partida, feita antes da mudança, que permite afirmar depois se houve avanço — e de quanto.
Sobre o que está escrito aqui
Conceitos relacionados: linha de base · registro de versão · conjunto de casos de teste · reprodutibilidade · responsável pela saída. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Avaliar resposta de IA antes de produção: um… — respostas incorretas
- Apoio comercial com IA: onde faz sentido e on… — não saber por onde começar
Páginas relacionadas
O mesmo problema em outro objetivo
- Modelo sem registro de versão: o que dá para reconstruir — Diagnosticar
- Modelo usado sem registro de versão: onde fixar a referência — Organizar um processo
- Modelo sem registro de versão: como medir o que rodou — Explicar medição
- Modelo sem registro de versão: o que fixar antes de produzir — Orientar implementação
- Modelo em uso sem versão registrada: o que exigir na compra — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Ganho de IA por impressão: o que medir em vez disso — O que registrar para separar percepção de evidência de ganho em IA, onde a medição trava por falta de linha de base e o que ela não alcança.
- Resultado de IA prometido sem medida: refazer o combinado — O que fazer quando a expectativa de resultado com IA já foi comunicada sem indicador, linha de base ou responsável pela medição.
- Resultado de IA sem registro de origem: o que medir — Explica como medir efeito de IA quando não existe registro de onde o resultado veio, com critérios de comparação e limites do que dá para afirmar.
- Modelo escolhido por reputação: como comparar antes de decidir — Descreve como comparar modelos de IA por critério verificável, testando no próprio fluxo, em vez de decidir pela reputação de cada fornecedor.
- Ganho de IA por impressão: o que exigir antes de assinar — Página sobre medir ganho de IA em item de trabalho: linha de base, responsável pela apuração e critério de aceite definidos antes da contratação.