Resposta direta
Modelo escolhido por reputação entra na operação como hipótese, não como decisão fechada. A implementação começa por uma amostra de casos reais do processo, escolhidos com quem executa, e por um critério de aceite escrito antes de rodar qualquer coisa: o que conta como resposta correta, quem confere e quanto custa conferir. A reputação define onde começar; o critério define onde parar. Duas saídas precisam existir antes da entrada em produção: voltar ao processo anterior e trocar de modelo. Sem elas, a escolha por reputação vira dependência, e o primeiro erro relevante passa a ter custo político, não técnico.
- Objetivo
- Orientar implementação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata o modelo já escolhido como hipótese a ser provada na própria operação, com critério de aceite e saída de substituição definidos antes da entrada em produção.
A amostra sai do processo, não do fornecedor
A prova começa com casos que já passaram pelo processo, reunidos com quem executa a tarefa hoje. Inclui os casos fáceis, os casos limites e os casos em que o processo atual já erra ou demora. A amostra fica congelada. Se ela muda a cada rodada, a comparação entre modelos perde sentido.
Quem classifica a resposta correta é quem responde por ela na operação, não o fornecedor. Quando dois avaliadores discordam do mesmo caso, o problema costuma estar no critério, não no modelo. Registrar essas discordâncias é parte do trabalho, não ruído.
Critério de aceite antes da primeira rodada
Antes de rodar qualquer caso, ficam escritos três pontos: o que conta como resposta correta, o que é aceitável com revisão e o que é inaceitável. Junto disso, o tempo de conferência por caso e quem confere. Sem esse bloco, a discussão sobre o modelo vira opinião.
O custo que decide não é a tarifa de uso, e sim o custo por caso aceito, somando execução, conferência e retrabalho. Fica definido também quem responde pelo resultado no processo e o que essa pessoa faz quando a resposta sai errada. A troca de modelo precisa ser possível sem refazer a integração.
Onde a prova não alcança
Uma amostra aprovada vale para casos parecidos com os da amostra, e não além deles. Mudança de versão do modelo, de instrução fixa ou de volume altera o resultado, e a amostra precisa ser refeita. A prova também não corrige processo sem resposta correta definida: nesse caso, ela mede divergência de critério, não qualidade do modelo.
A abordagem não se aplica quando o volume de casos não justifica o custo fixo de montar e manter a amostra. Em tarefas raras ou muito variáveis, a conferência caso a caso pode sair mais barata. E ela não decide se a tarefa deve ser feita por modelo: essa pergunta vem antes e depende de risco, custo e responsabilidade.
Recurso prático
Custo por caso aceito
custo por caso aceito = (Cu + Ce + (1 - Ta) * Cr) / Ta
- Cu
- R$ por caso
- Custo de execução do modelo em um caso, somando tarifa de uso e infraestrutura alocada.
- Ce
- R$ por caso
- Custo da conferência humana por caso, calculado como tempo de leitura e decisão multiplicado pelo custo da hora de quem confere.
- Ta
- fração entre 0 e 1
- Proporção de casos aceitos sem correção na amostra de avaliação.
- Cr
- R$ por caso
- Custo médio de corrigir um caso reprovado, do tempo de quem corrige até o efeito no processo seguinte.
- N
- casos por período
- Volume de casos do mesmo tipo no período, usado para transformar o custo por caso em custo total.
O erro comum é comparar modelos pela tarifa de uso e ignorar conferência e retrabalho. Um modelo mais barato que reprova mais pode sair mais caro por caso aceito. E a conta só vale enquanto a amostra inclui os casos difíceis, não apenas os fáceis.
Conceitos usados nesta página
- Critério de aceite — Critério de aceite é a condição objetiva que define quando uma entrega, tarefa ou automação é considerada concluída — verificável por quem recebe, não por quem produziu.
Sobre o que está escrito aqui
Conceitos relacionados: amostra de avaliação · critério de aceite · custo por caso aceito · conferência humana · saída de substituição. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Contratar agente para operar sozinho: o que f… — agentes sem supervisão
- Custo de IA imprevisível: onde ele nasce no p… — custo imprevisível
Páginas relacionadas
O mesmo problema em outro objetivo
- Modelo escolhido por reputação: como testar antes de escalar — Diagnosticar
- Modelo escolhido por reputação: como colocar em teste — Organizar um processo
- Modelo escolhido por reputação: como comparar antes de decidir — Comparar alternativas
- Modelo escolhido por reputação: como medir na operação — Explicar medição
- Modelo escolhido por reputação: o que verificar na contratação — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Sem caso extremo: como avaliar IA pela demanda comum — Descreve como montar a avaliação de IA a partir da demanda comum da operação, com amostra, critério de aceite e responsável definidos.
- Resposta longa confundida com resposta boa: como medir — Critérios para separar resposta longa de resposta útil: o que exigir antes de ler, como comparar e onde a medição por tamanho falha.
- Tarefa comum com IA: o que avaliar antes de contratar — Como avaliar IA numa rotina comum: linha de base, tolerância a erro, custo por tarefa e critério de aceite definidos antes do piloto.
- Sem caso extremo: como avaliar IA pelo que já acontece — Avaliação de IA a partir de casos comuns: amostra da rotina, classes por consequência do erro e critério de aceite definido antes de ver o resultado.
- Resposta longa tratada como boa: onde entra o critério — Descreve por que extensão é lida como qualidade em respostas de IA e como amarrar o critério de aceite ao uso declarado antes da aprovação.