Resposta direta
Sem processo documentado, a medição não compara a IA com um procedimento escrito, porque esse procedimento não existe. O caminho é reconstruir o fluxo pelo que acontece de fato: observar quem decide, de onde vem o dado e como sai o resultado, em um conjunto de casos reais. A referência passa a ser o trabalho das pessoas que executam hoje. Mede-se taxa de concordância com elas, volume de exceções e retrabalho. Sem isso, qualquer número de acerto é opinião sobre uma amostra escolhida a dedo.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a medição antes da documentação, usando o trabalho executado como referência, e não um manual que ainda não existe.
O que serve de referência quando não há manual
Processo sem documentação não tem regra escrita para comparar. A referência passa a ser o que as pessoas fazem de fato. Reconstruir o fluxo exige observar casos concluídos e verificar, etapa por etapa, o que entra, o que se decide e o que sai. O que aparece não é o processo ideal, é o processo possível.
Essa reconstrução tem valor próprio. Ela mostra regras que nunca foram combinadas por escrito, mas que a equipe segue. Algumas são o que segura a qualidade da entrega. Outras são hábito. A medição da IA precisa separar as duas, porque só a primeira deve virar critério.
O que acompanhar além do acerto
Taxa de acerto isolada diz pouco quando não existe padrão definido. O sinal útil vem da comparação caso a caso com a decisão de quem executou e do registro do tipo de divergência. Erro de dado de entrada, regra implícita e exceção legítima são problemas diferentes e pedem tratamentos diferentes.
Importa também o que acontece depois da saída da IA. Se o resultado voltou para correção, quanto tempo consumiu e quem assumiu o retrabalho. Um processo que acerta muito e devolve muito trabalho de correção tem custo que o índice de acerto não mostra.
O que essa medição não resolve
A linha de base vale para o processo observado no período observado. Se o fluxo muda com frequência, ou se pessoas diferentes decidem de formas diferentes, o número medido envelhece rápido. Ele também não prova que a IA causou a melhora ou a piora: mostra concordância, não causa.
Medir não substitui documentar. Em algum momento a ausência de regra escrita volta como problema, sobretudo quando quem executa sai da operação. E há processos em que a variação é o ponto: cada caso é decidido por critério próprio, e nenhuma amostra representa o conjunto.
Recurso prático
Reconstruir a linha de base de um processo sem registro
- Levantar as etapas pelo que acontece na prática, perguntando a quem executa o que entra, o que se decide e o que sai em cada uma.
- Marcar onde a IA passa a atuar, qual entrada ela recebe e qual saída devolve ao processo.
- Reunir uma amostra de casos já concluídos, incluindo os que deram errado, não só os que correram bem.
- Comparar a saída da IA com a decisão registrada por quem executou o caso, um a um.
- Classificar as divergências por tipo: erro de dado de entrada, regra implícita não combinada, exceção legítima.
- Definir o que conta como aceitável e o que vira retrabalho, e refazer a amostra quando o processo mudar.
O erro mais comum é montar a amostra com casos fáceis, separados pela própria equipe por já saber que a IA responde bem ali. A medição perde valor antes de começar.
Sobre o que está escrito aqui
Conceitos relacionados: processo não documentado · amostra de casos concluídos · taxa de concordância · exceções e retrabalho · linha de base operacional. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Respostas incorretas: o que decidir antes de… — respostas incorretas
- Agente sem supervisão direta: o que fica no l… — agentes sem supervisão
Páginas relacionadas
O mesmo problema em outro objetivo
- Processo que ninguém documentou: onde a IA trava — Diagnosticar
- Processo que ninguém documentou: o que registrar antes da IA — Organizar um processo
- Processo não documentado: como comparar rotas de IA — Comparar alternativas
- Processo sem documentação: onde a IA pode entrar primeiro — Orientar implementação
- Processo sem documentação: o que exigir antes de contratar IA — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Piloto de IA sem critério: como decidir continuar ou parar — Define o que registrar antes do piloto de IA começar: decisão esperada, indicador de comparação, responsável pela leitura do resultado e regra de encerramento.
- Piloto de IA sem critério de sucesso: o que medir — O critério de um piloto de IA em andamento: o que medir, contra qual base comparar e quem responde pelo veredito.
- Expectativa de resultado com IA sem medida: o que comparar — Descreve como comparar alternativas de IA quando a meta de resultado foi definida sem medição, e o que registrar antes de decidir.
- Expectativa de resultado em IA: como medir depois do anúncio — Explica como reconstruir a linha de base de uma iniciativa de IA, definir o indicador e separar ganho de processo de percepção.
- Ganho de IA medido por impressão: o que falta medir — Distingue ganho de IA relatado por impressão do ganho observado no processo, com o que registrar antes de comparar e o limite dessa medida.