Resposta direta
A avaliação se organiza pela demanda comum, não pelo caso escolhido. A base é uma amostra do que chega na operação em semana normal, com a variação que já existe: pedido mal escrito, dado faltando, exceção de prazo. O critério do que conta como resposta aceitável precisa estar definido antes, junto com quem decide quando ela não é. O resultado serve para comparar alternativas e para indicar onde a IA não deve entrar. Caso extremo, quando existe, é teste à parte, não a base da decisão.
- Objetivo
- Organizar um processo
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a escolha do que entra na avaliação: por que o caso de destaque distorce a decisão e como a demanda comum serve de base.
De onde sai a amostra
A base natural de avaliação é o que entra na operação em período comum. Quando há volume, a amostra sai do próprio registro de atendimento, de pedidos, de chamados ou de documentos existentes. O critério é cobertura da variação, não dificuldade do caso.
Quando não existe registro, a primeira tarefa é criar um, mesmo simples. Sem histórico, a amostra vira memória da equipe, e memória costuma guardar o que deu errado ou o que chamou atenção.
O que a avaliação precisa registrar
Toda avaliação precisa de dois registros: o que a IA devolveu e o que a operação considera resposta aceitável para aquele caso. Sem o segundo, a comparação fica em opinião e muda de acordo com quem olha.
Vale registrar também o custo de conferência. Uma resposta que exige revisão longa altera a conta, mesmo quando está correta. Quem confere, por quanto tempo e com que frequência faz parte do resultado, não é detalhe.
O que a avaliação não resolve
Uma amostra bem montada não diz se a IA vai continuar funcionando quando o volume cresce ou o tipo de pedido muda. Ela retrata o período observado e nada além dele.
A avaliação também não define responsabilidade. Se a resposta errada chega ao cliente ou entra no sistema, a decisão sobre quem responde continua sendo da operação, independente do resultado medido. E não substitui o julgamento sobre quando a IA é desnecessária.
Recurso prático
Base de avaliação: o que precisa estar definido
- Amostra retirada de um período comum da operação, não de um pico nem de casos lembrados por alguém.
- Registro da variação real que aparece: pedido incompleto, dado faltando, exceção de prazo, item fora do padrão.
- Definição escrita do que conta como resposta aceitável, fechada antes de ver o resultado da IA.
- Nome de quem decide quando a resposta não é aceitável e o caminho que o caso segue depois.
- Separação entre casos extremos e casos comuns, com os extremos tratados como teste à parte.
- Contagem do tempo de conferência de cada resposta, comparada ao tempo da execução atual.
- Lista dos casos em que a IA não serve, com o responsável por tratá-los no processo normal.
O erro mais comum é montar a amostra com os casos que a equipe lembra. São justamente os difíceis e os que deram certo. A demanda comum fica de fora e a decisão sai de uma amostra que não representa o volume.
Conceitos usados nesta página
- Critério de aceite — Critério de aceite é a condição objetiva que define quando uma entrega, tarefa ou automação é considerada concluída — verificável por quem recebe, não por quem produziu.
Sobre o que está escrito aqui
Conceitos relacionados: amostra de avaliação · demanda comum · critério de aceite · viés de seleção · responsável pela decisão. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Resposta de IA entra sem conferência: quem as… — resposta de IA aceita sem conferência
- Resposta de IA aceita sem conferência: o que… — resposta de IA aceita sem conferência
Páginas relacionadas
O mesmo problema em outro objetivo
- IA sem erro evidente: como saber se ela está sob controle — Diagnosticar
- Avaliação de IA sem caso extremo: o que comparar — Comparar alternativas
- Avaliação de IA: medir o erro comum, não o caso extremo — Explicar medição
- Sem caso extremo: como avaliar IA pelo que já acontece — Orientar implementação
- Tarefa comum com IA: o que avaliar antes de contratar — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Tarefa de julgamento na automação: o que exigir no contrato — O que separar entre execução e julgamento antes de contratar automação, que critérios registrar e o que a automação não decide.
- Piloto de IA sem critério: como reconstruir a avaliação — Descreve como reconstruir o critério de sucesso de um piloto de IA já em curso, o que exigir antes de escalar e quais limites a medição não cobre.
- Conjunto de teste fácil demais: onde a avaliação engana — Explica por que uma amostra formada só por casos fáceis produz avaliação otimista e quais sinais indicam que o conjunto de teste precisa ser refeito.
- Modelo escolhido por reputação: o que provar antes de escalar — Modelo já escolhido por reputação: como montar a prova na operação, com amostra de casos reais, critério de aceite e custo por caso aceito.
- Resultado de IA sem origem: o que comparar antes de usar — Compara formas de lidar com resultado de IA sem registro de origem e mostra o custo de conferência, o risco e a responsabilidade que cada uma cria.