Resposta direta
Não é preciso versionamento formal para medir. Basta registrar o texto da instrução no momento do uso, a data e quem alterou, e rodar um conjunto fixo de tarefas antes e depois de cada mudança. O número que importa é quantas dessas tarefas passaram a exigir correção manual e quais erros continuaram. Sem esse registro, a comparação vira memória. Com ele, duas medições separadas no tempo já mostram se a instrução melhorou, ficou igual ou piorou nos casos testados.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a medição quando não existe histórico de versões: o que registrar a partir de agora para que duas medições separadas no tempo sejam comparáveis.
O que a falta de registro já apagou
Instrução ajustada dentro da ferramenta, sem cópia guardada fora, deixa de existir no instante em que é sobrescrita. O efeito observado na semana seguinte não se liga a nada em especial, porque a versão anterior desapareceu.
Isso não impede medir daqui para frente. Impede reconstruir o passado. A primeira providência é curta: guardar o texto usado, a data e o responsável, antes do próximo ajuste.
Medir pela tarefa, não pela intenção da instrução
A medição parte de um conjunto fixo de tarefas com resposta esperada conhecida: casos que já funcionam e casos que já falharam. Cada mudança de instrução é avaliada nas mesmas tarefas. O que se conta é quantas passaram a exigir correção manual, quais continuaram errando e quais pioraram.
Se a instrução muda com frequência, o conjunto fixo faz o papel do versionamento: ele é o ponto estável enquanto o texto varia. Comparar dois textos lado a lado sem rodar os dois no mesmo conjunto não mede nada, apenas compara redação.
O que a medição não resolve
O resultado vale para as tarefas testadas. Casos fora do conjunto não estão cobertos, e um conjunto pequeno confunde variação normal com efeito da mudança. Onde o erro tem custo alto, a revisão humana continua sendo o critério, independente do resultado.
Mudança na versão do modelo altera o comportamento mesmo sem tocar na instrução, e a medição anterior perde validade. Também não se mede aqui se a instrução está correta de forma geral, apenas se ela melhorou nos casos que foram acompanhados.
Recurso prático
Registro mínimo antes do próximo ajuste
| O que registrar | Sem isso |
|---|---|
| Texto da instrução usado | A versão anterior se perde e a comparação passa a depender de lembrança |
| Data e responsável pela alteração | O efeito observado não se liga a uma mudança específica |
| Resultado do conjunto fixo de tarefas | Não se sabe se a mudança corrigiu, manteve ou piorou os casos que falhavam |
O ponto mais ignorado é a mudança de versão do modelo: a mesma instrução passa a responder diferente e a medição anterior deixa de valer, mesmo com todo o registro em ordem.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto fixo de tarefas · registro de alteração · critério de aceite da resposta · correção manual · comportamento do modelo. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Modelo escolhido por reputação: como testar a… — modelo escolhido por reputação
- Modelo escolhido por reputação: como colocar… — modelo escolhido por reputação
Páginas relacionadas
O mesmo problema em outro objetivo
- Instrução de IA sem versionamento: como localizar a origem — Diagnosticar
- Instrução de IA sem versionamento: o que muda sem registro — Organizar um processo
- Instrução de IA sem versionamento: o que comparar — Comparar alternativas
- Instrução de IA sem versionamento: por onde começar o registro — Orientar implementação
Outras leituras em IA aplicada e agentes
- Instrução de IA sem versão: o que dá para medir — O que medir quando instruções de IA não têm versão: quantas circulam, quem alterou, o que a mudança afetou e o que a medição não alcança.
- Instrução de IA sem versionamento: o que exigir no contrato — O que exigir na contratação para instruções de IA terem dono, histórico e teste antes de mudar, e o que continua sendo responsabilidade interna.
- Erro de IA tratado como falha da pessoa: o que separar — Processo para separar erro de IA de erro de pessoa: o que registrar, quem responde e onde o limite fica antes de virar cobrança.
- Avaliação de IA sem caso extremo: o que comparar — Compara formas de avaliar IA pelo erro que cada uma esconde, com o que a escolha não resolve e onde ela engana.
- Uso de IA sem política declarada: o registro mínimo — Como registrar uso de IA por área, apontar responsável e definir critério de revisão quando a política interna ainda não foi escrita.