Resposta direta
A avaliação de uma tarefa comum começa pela linha de base do processo atual, não pela demonstração da ferramenta. Mede-se tempo, custo e tipo de erro na mesma amostra de trabalho que o piloto vai usar. Antes do teste, combinam-se tolerância a erro e critério de aceite, com nome de quem decide. Sem isso, o resultado vira opinião sobre a demonstração. O caso comum raramente justifica projeto especial; justifica um teste pequeno, com escopo escrito e comparação honesta com o que já existe.
- Objetivo
- Orientar avaliação e contratação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a avaliação de tarefa comum e volume médio a partir da linha de base do processo atual, ponto que as demais páginas do tema não abordam.
Por que a demonstração não serve como prova
Demonstração é feita com entrada limpa, exemplo escolhido e alguém acompanhando cada passo. A rotina real chega com anexo faltando, pedido ambíguo e exceção que ninguém documentou. A diferença entre os dois ambientes é justamente o que a avaliação precisa medir.
O caso extremo, quando existe, costuma trazer urgência e patrocínio. Sem ele, a decisão precisa se apoiar em comparação de processo. Isso exige mais disciplina, não menos.
O que a linha de base precisa mostrar
Antes de testar, registra-se como a tarefa é feita hoje: quanto tempo consome, quanto custa por unidade, qual a taxa de retrabalho e quem corrige. A amostra deve sair da fila real, não de um recorte escolhido a dedo.
Também é preciso separar o que é erro tolerável do que interrompe o fluxo. Essa distinção muda o desenho do piloto e o volume de revisão humana necessário.
O que a avaliação não resolve
Um teste pequeno não prova comportamento em escala, nem sustenta que o resultado se mantém quando o volume cresce ou o insumo muda. Ele informa se vale continuar testando, e sob quais condições.
Também não define responsabilidade. Se ninguém assume a revisão da saída, a avaliação apenas transfere o problema de lugar. E, quando o processo atual não está descrito, o teste mede ruído: não há base estável para comparar.
Recurso prático
O que fica registrado antes do piloto
| Elemento | O que registrar |
|---|---|
| Linha de base | Tempo e custo da execução atual, medidos na mesma amostra de tarefas que o piloto vai usar |
| Tolerância a erro | Tipo de erro aceitável, tipo que exige revisão e tipo que interrompe o uso |
| Critério de aceite | Condição combinada antes do teste, com quem decide e o que acontece se ela não for atingida |
O erro mais comum é montar a amostra com as tarefas em que a ferramenta já foi testada, e não com a fila real de trabalho.
Conceitos usados nesta página
- Critério de aceite — Critério de aceite é a condição objetiva que define quando uma entrega, tarefa ou automação é considerada concluída — verificável por quem recebe, não por quem produziu.
Sobre o que está escrito aqui
Conceitos relacionados: linha de base do processo · tolerância a erro · custo por tarefa · critério de aceite · revisão humana. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Modelo escolhido por reputação: como colocar… — modelo escolhido por reputação
- Modelo escolhido por reputação: como comparar… — modelo escolhido por reputação
Páginas relacionadas
O mesmo problema em outro objetivo
- IA sem erro evidente: como saber se ela está sob controle — Diagnosticar
- Sem caso extremo: como avaliar IA pela demanda comum — Organizar um processo
- Avaliação de IA sem caso extremo: o que comparar — Comparar alternativas
- Avaliação de IA: medir o erro comum, não o caso extremo — Explicar medição
- Sem caso extremo: como avaliar IA pelo que já acontece — Orientar implementação
Outras leituras em IA aplicada e agentes
- Modelo escolhido por reputação: como medir na operação — Descreve como comparar o modelo escolhido por reputação com a própria operação, definindo critério de aceite, revisão humana e custo por saída aceita.
- Automação sem revisão: onde o erro passa em silêncio — Roteiro para checar uma proposta de automação total e identificar quais decisões ficam sem revisão, sem dono e sem registro de divergência.
- Modelo escolhido por reputação: como colocar em teste — Descreve como tratar a indicação de mercado como lista de candidatos e usar critério de aceite, teste pequeno e registro para sustentar a escolha.
- Piloto de IA sem critério: como reconstruir a avaliação — Descreve como reconstruir o critério de sucesso de um piloto de IA já em curso, o que exigir antes de escalar e quais limites a medição não cobre.
- Promessa de automação total: o que registrar no contrato — Critérios para avaliar e contratar automação anunciada como total: escopo da decisão, caminho da exceção, dono da revisão e critério de aceite.