Resposta direta
Sem critério combinado antes, o piloto não perde a avaliação: ele passa a ser julgado por comparação reconstruída. Três caminhos são viáveis — comparar com o processo atual registrado, julgar pela fila de exceções que o piloto produz, ou decidir pelo custo do erro em cada tipo de falha. Cada um exige algo que pode não existir ainda: registro anterior, dono para tratar o caso errado, ou separação entre erro que gera retrabalho e erro que chega ao cliente. A escolha depende da decisão em jogo e de quem responde por ela. O que não funciona é trocar o critério no meio do caminho para confirmar uma decisão já tomada.
- Objetivo
- Comparar alternativas
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata de reconstruir a avaliação de um piloto já em curso, em vez de testar qualidade de resposta ou escolher fornecedor, que são o foco das outras páginas do tema.
O que dá para comparar sem ter medido antes
Um piloto sem critério definido não fica sem base de comparação. O material que existe é o processo anterior: como a tarefa era feita, quem fazia, quanto tempo consumia e onde parava. Reconstruir esse retrato, mesmo por escrito e sem precisão, cria a referência que faltava.
A segunda referência é o próprio erro. Um piloto em produção gera casos que a máquina resolveu mal. A lista desses casos mostra o que a IA não dá conta, e o trabalho de tratá-los indica quanto a operação absorveu de novo. É dado de processo, não métrica de qualidade.
O que cada caminho exige da operação
Comparar com o processo atual exige que haja registro, ainda que informal. Se ninguém sabe dizer como a tarefa era feita antes, o piloto passa a ser julgado pela impressão de quem o defendeu ou de quem o resistiu.
Julgar pela fila de exceções exige um responsável nomeado para decidir o destino de cada caso errado. Custo do erro exige separar a falha que gera retrabalho interno da falha que chega ao cliente; as duas têm pesos diferentes e não cabem na mesma conta.
O que a comparação não resolve
Comparar caminhos não devolve o critério que não foi combinado. Se o piloto contraria uma regra, usa dado sem base definida, ou depende de alguém revisar cada resposta, a avaliação de mérito é secundária: o problema é anterior.
Também não serve quando a decisão já foi tomada. Reconstruir critério para justificar continuidade produz apenas documento. E se a operação não tem dono para o resultado, qualquer comparação termina em discussão, porque não há quem possa encerrar o piloto.
Recurso prático
Três formas de julgar um piloto já em curso
| Forma de julgar | O que ela exige e onde falha |
|---|---|
| Comparação com o processo atual | Exige registro de como a tarefa era feita antes. Sem ele, a comparação vira memória de quem defendeu ou de quem resistiu ao piloto. |
| Julgamento pela fila de exceções | Serve quando o erro aparece e pode ser tratado. Contar exceções sem dono nomeado para resolver cada uma não muda decisão alguma. |
| Decisão pelo custo do erro | Exige separar falha que gera retrabalho interno de falha que chega ao cliente. Aceita encerrar o piloto sem nota de qualidade. |
O erro mais comum é definir o critério depois de ver o resultado, escolhendo a medida que confirma a decisão já tomada.
Sobre o que está escrito aqui
Conceitos relacionados: linha de base do processo atual · fila de exceções · custo do erro · critério de sucesso · decisão de continuidade do piloto. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Avaliar resposta de IA antes de produção: um… — respostas incorretas
- Apoio comercial com IA: onde faz sentido e on… — não saber por onde começar
Páginas relacionadas
O mesmo problema em outro objetivo
- Piloto de IA sem critério: como decidir se continua — Diagnosticar
- Piloto de IA sem critério: como decidir continuar ou parar — Organizar um processo
- Piloto de IA sem critério de sucesso: o que medir — Explicar medição
- Piloto de IA sem critério de sucesso: o que definir antes — Orientar implementação
- Piloto de IA sem critério: como reconstruir a avaliação — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Resposta automática: onde declarar sem perder a conversa — Onde declarar automação, o que dizer quando o cliente pergunta se é robô e como medir se a resposta automática está sendo confundida com atendimento humano.
- Agente sem supervisão: comparar alternativas de controle — Compara arranjos de supervisão para agentes — aprovação antes da ação, limite por tipo de ação e revisão por amostragem — e o que medir em cada um.
- Agente que só roda com alguém olhando: o que preparar — Sequência de itens que precisam existir antes de um agente rodar sem alguém conferindo cada execução, do registro à alçada de decisão.
- Promessa de automação total: o que registrar no contrato — Critérios para avaliar e contratar automação anunciada como total: escopo da decisão, caminho da exceção, dono da revisão e critério de aceite.
- Piloto de IA abandonado: como medir sem motivo registrado — O que medir em um piloto de IA parado quando não há motivo registrado, com evidências de uso, custo e decisão para reconstruir a causa provável.