Resposta direta
Quando o critério não foi definido antes, a avaliação vira reconstrução. O caminho é fixar agora uma linha de base do processo como ele funcionava, escolher poucas medidas ligadas a trabalho real e decidir quem responde pela leitura do resultado. Isso não recupera o tempo perdido nem prova causalidade. Registra o que o piloto muda na operação e permite uma decisão defensável sobre continuar, ajustar ou encerrar.
- Objetivo
- Orientar avaliação e contratação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata o piloto já em curso, com critério definido depois do fato, em vez de orientar a definição antes de começar.
O que sobra de um piloto sem critério
Um piloto avaliado sem critério costuma terminar em três coisas: uma opinião favorável de quem acompanhou, uma demonstração que funciona bem em condição controlada e nenhum número comparável do processo. A conversa fica sobre impressão.
A pergunta que sobra é operacional. O piloto mexeu na fila de trabalho, no retrabalho, no tempo de conferência ou apenas no entusiasmo de quem participou? Sem isso, aprovar a continuidade é uma aposta disfarçada de decisão.
Reconstruir a medida antes de decidir
A reconstrução começa pela linha de base. Registrar como a tarefa era feita antes, quem fazia, quanto tempo consumia e onde havia erro. Se o piloto já alterou a rotina, parte dessa base terá de vir de registro de sistema, não de memória.
Depois, escolher poucas medidas ligadas a trabalho real e nomear quem lê o resultado. Critério definido depois ainda serve para decidir, desde que a regra de continuar, ajustar ou encerrar seja escrita antes da próxima rodada de uso.
O que essa reconstrução não resolve
Essa reconstrução não prova que a melhora veio da IA. Vários fatores mudam ao mesmo tempo e a comparação fica fraca. Ela também não devolve o tempo gasto até aqui nem corrige processo mal desenhado: se a tarefa era confusa antes, o piloto tende a reproduzir a confusão em outra velocidade.
Há casos em que não se aplica. Se o piloto nunca entrou em uso real, não existe avaliação a fazer; o que houve foi teste. Nesse caso, o caminho é tratar como teste, com escopo fechado e pergunta definida, e não como decisão de contratação.
Recurso prático
O que reconstruir depois que o piloto começou
| Elemento | O que registrar agora |
|---|---|
| Linha de base | Como a tarefa era feita e quanto tempo consumia antes do piloto entrar em uso |
| Medida ligada ao trabalho | O que muda na fila, no retrabalho ou na conferência feita por uma pessoa |
| Responsável pela leitura | Quem olha o resultado e responde por continuar, ajustar ou encerrar |
| Registro do uso | Onde fica o que o piloto produziu, quem revisou e o que foi descartado |
O erro mais comum é aceitar uma demonstração bem-feita como prova de ganho. Sem linha de base do processo, não existe com o que comparar.
Conceitos usados nesta página
- Critério de aceite — Critério de aceite é a condição objetiva que define quando uma entrega, tarefa ou automação é considerada concluída — verificável por quem recebe, não por quem produziu.
Sobre o que está escrito aqui
Conceitos relacionados: linha de base do processo · critério de aceite · custo de operação · responsável pela decisão · registro de uso. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Classificação automática: onde usar e onde não — triagem manual de textos
- Atendimento com IA: o que pode ir para o clie… — atendimento com IA sem regra
Páginas relacionadas
O mesmo problema em outro objetivo
- Piloto de IA sem critério: como decidir se continua — Diagnosticar
- Piloto de IA sem critério: como decidir continuar ou parar — Organizar um processo
- Piloto de IA sem critério de sucesso: como comparar as opções — Comparar alternativas
- Piloto de IA sem critério de sucesso: o que medir — Explicar medição
- Piloto de IA sem critério de sucesso: o que definir antes — Orientar implementação
Outras leituras em IA aplicada e agentes
- Sem caso extremo: como avaliar IA pela demanda comum — Descreve como montar a avaliação de IA a partir da demanda comum da operação, com amostra, critério de aceite e responsável definidos.
- Resultado de IA sem origem: o que comparar antes de usar — Compara formas de lidar com resultado de IA sem registro de origem e mostra o custo de conferência, o risco e a responsabilidade que cada uma cria.
- Tarefa de julgamento na automação: o que exigir no contrato — O que separar entre execução e julgamento antes de contratar automação, que critérios registrar e o que a automação não decide.
- Tarefa comum com IA: o que avaliar antes de contratar — Como avaliar IA numa rotina comum: linha de base, tolerância a erro, custo por tarefa e critério de aceite definidos antes do piloto.
- Automação sem revisão: onde o erro passa em silêncio — Roteiro para checar uma proposta de automação total e identificar quais decisões ficam sem revisão, sem dono e sem registro de divergência.