Resposta direta
Quando não existe falha grave, a avaliação tem de partir da decisão, não do incidente. A pergunta que organiza o trabalho é qual decisão depende da saída da IA e quem responde por ela. Dessa pergunta saem dois critérios: erro tolerável naquela decisão e o que acontece quando o erro é corrigido. Com isso definido, uma amostra de casos reais e comuns, classificada à mão, já mostra se a IA está dentro do aceitável. Sem incidente, o critério vem do risco assumido e da margem de correção, nunca da impressão de que a ferramenta parece funcionar bem.
- Objetivo
- Diagnosticar
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata avaliação como decisão sobre risco assumido e discordância entre avaliadores, para o caso em que nenhum incidente força a revisão.
Ausência de falha não é evidência de qualidade
Quando nada quebra, ninguém tem motivo para revisar o uso da IA. A ausência de falha visível costuma indicar que a saída não está sendo conferida com atenção, e não que ela esteja correta.
O caminho prático é partir das decisões em que a saída entra e que já têm dono. Onde existe responsável nomeado e consequência real, o critério de qualidade aparece com mais facilidade do que em áreas onde nada é verificado.
O critério sai do risco assumido e da correção
Erro tolerável é uma pergunta objetiva: quanto de desvio aquela decisão aceita antes de virar problema. Onde a correção é barata e imediata, a tolerância pode ser maior; onde a correção chega tarde ou não chega, ela precisa ser menor.
Com o critério escrito, a avaliação vira comparação entre a saída e o que foi combinado. Quando dois avaliadores classificam o mesmo caso de formas diferentes, o critério ainda não está pronto, e o ajuste é no texto, não na ferramenta.
O que a avaliação não alcança
Esse tipo de avaliação não cobre casos raros. Uma amostra de casos comuns pode estar toda dentro do aceitável e ainda assim não dizer nada sobre a cauda, onde costumam ficar os erros caros.
Também não decide se vale manter a IA. Custo por execução, tempo economizado e margem da operação são contas separadas. E o critério envelhece: mudança de processo, de base de dados ou de volume pede nova rodada de avaliação.
Recurso prático
Do incidente ausente ao critério escrito
- Listar as decisões em que a saída da IA entra, inclusive as pequenas, e marcar quem responde por cada uma.
- Para cada decisão, escrever o que seria erro tolerável e qual correção é possível depois que o erro acontece.
- Juntar uma amostra de casos reais e comuns, sem escolher só os difíceis nem só os fáceis.
- Classificar a amostra à mão com o critério escrito e anotar os casos em que dois avaliadores discordam.
- Levar a discordância para quem responde pela decisão e ajustar o critério antes de mudar a forma de uso.
O ponto mais ignorado é a discordância entre avaliadores: quando duas pessoas classificam o mesmo caso de formas diferentes, o critério ainda não existe, mesmo que nenhuma falha tenha aparecido.
Conceitos usados nesta página
- Critério de aceite — Critério de aceite é a condição objetiva que define quando uma entrega, tarefa ou automação é considerada concluída — verificável por quem recebe, não por quem produziu.
Sobre o que está escrito aqui
Conceitos relacionados: critério de aceitação · erro tolerável · amostra de casos comuns · responsável pela decisão · custo de correção. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Piloto de IA parado: o que falta para virar r… — piloto de IA que nunca virou rotina
- Piloto de IA parado: o que comparar antes de… — piloto de IA que nunca virou rotina
Páginas relacionadas
O mesmo problema em outro objetivo
- Sem caso extremo: como avaliar IA pela demanda comum — Organizar um processo
- Avaliação de IA sem caso extremo: o que comparar — Comparar alternativas
- Avaliação de IA: medir o erro comum, não o caso extremo — Explicar medição
- Sem caso extremo: como avaliar IA pelo que já acontece — Orientar implementação
- Tarefa comum com IA: o que avaliar antes de contratar — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Modelo escolhido por reputação: como testar antes de escalar — Descreve como separar reputação de ajuste ao processo e quais critérios observar antes de ampliar o uso de um modelo de IA.
- Resultado de IA sem origem: o que comparar antes de usar — Compara formas de lidar com resultado de IA sem registro de origem e mostra o custo de conferência, o risco e a responsabilidade que cada uma cria.
- Resposta de IA entra sem conferência: quem assina a decisão — Descreve como localizar onde a resposta de IA entra no processo sem conferência, quem responde pelo aceite e o que medir para reduzir o risco.
- Permissão ampla demais: o que medir antes de restringir — O que deve entrar na medição de um agente com acesso amplo: escopo efetivo, ações registradas, reversibilidade e custo de correção.
- Piloto de IA sem critério de sucesso: o que definir antes — O que registrar antes de iniciar um piloto de IA para decidir seguir, ajustar escopo ou encerrar sem depender de impressão.