Resposta direta
Contratar um agente para operar sem supervisão é contratar um envelope de autonomia, não uma ferramenta. Antes de assinar, o contrato precisa fixar três faixas: o que o agente executa sozinho, o que ele só faz após aprovação e o que é proibido. Para cada faixa, define-se quem responde pelo erro, o que fica registrado e como a ação é revertida. O teste de aceitação roda sobre o histórico da própria operação, não sobre demonstração. A taxa de erro medida nesse teste, multiplicada pela frequência de ações e pela janela até a próxima revisão, dá a exposição aceita. Sem essas definições, a autonomia vira aposta.
- Objetivo
- Orientar avaliação e contratação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a contratação como definição do envelope de autonomia, com faixas de ação, responsável pelo erro, reversão e teste sobre o histórico, em vez de lista de riscos ou de exigências genéricas.
As faixas de ação antes de assinar
A contratação começa pela separação do trabalho em três faixas. Na primeira, o agente executa e registra. Na segunda, ele prepara e espera aprovação. Na terceira, a ação é proibida, mesmo que tecnicamente possível. A linha entre elas não vem do fornecedor; vem do custo de desfazer cada ação errada.
Cada faixa precisa de um responsável nomeado. Quando o agente erra dentro da faixa livre, a pergunta não é o que o modelo fez, mas quem revisava aquele resultado e em quanto tempo. Sem nome e sem prazo de revisão, a autonomia não tem dono.
Teste sobre casos que a operação já viveu
Antes de assinar, o conjunto de teste sai do histórico da própria operação: casos já resolvidos, com resposta conhecida, incluindo os que deram errado. Demonstração em ambiente controlado não mede taxa de erro; mede apresentação. O que interessa é o comportamento nos casos difíceis, aqueles que hoje exigem decisão de gente experiente.
A taxa de erro por ação é medida nesse conjunto e registrada no contrato. Ela não é prova de qualidade futura; é a base do cálculo de exposição. Se o fornecedor não aceita medir sobre o histórico, isso é resposta, não obstáculo a negociar.
O que a autonomia não cobre
O contrato define o que era esperado; não impede erro novo. Um agente ajustado ao passado encontra situação que não estava no teste e decide sozinho. Por isso a faixa livre precisa ser estreita onde a ação é irreversível, e o limite de gasto ou de alcance é definido antes, não durante.
Nada disso transfere responsabilidade para a ferramenta. Quem responde pelo erro é a área que delegou, e o contrato apenas deixa isso explícito. Também não substitui revisão: reduz a frequência dela, não o dever de olhar. Autonomia sem alguém designado para revisar é abandono com nome técnico.
Recurso prático
Exposição antes da primeira revisão
exposicao = frequencia × janela × taxa_erro
- frequencia
- ações por hora
- decisões que o agente executa sozinho, na faixa livre, em uma hora de operação
- janela
- horas
- intervalo entre duas revisões humanas do que o agente fez
- taxa_erro
- erros por ação
- proporção de decisões erradas medida no conjunto de teste retirado da própria operação
- exposicao
- erros por revisão
- quantidade estimada de erros acumulados antes que alguém revise o trabalho do agente
O erro mais comum é fixar a taxa de erro a partir de demonstração e ignorar a janela de revisão. Dois agentes com a mesma taxa de erro podem ter exposições muito diferentes: o que age mais vezes por hora acumula erro mais rápido entre duas revisões.
Conceitos usados nesta página
- Trilha de auditoria — Trilha de auditoria é o conjunto de registros que permite reconstruir quem fez o quê, quando e com qual dado — inclusive depois que o resultado já foi usado.
Sobre o que está escrito aqui
Conceitos relacionados: envelope de autonomia · aprovação humana · taxa de erro por ação · reversão de ação · trilha de auditoria. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Atendimento com IA: o que pode ir para o clie… — atendimento com IA sem regra
- Por onde começar com IA: o que avaliar antes — não saber por onde começar com IA
Páginas relacionadas
O mesmo problema em outro objetivo
- Agente sem supervisão: riscos e onde colocar o limite — Diagnosticar
- Agente sem supervisão direta: o que fica no lugar — Organizar um processo
- Agente sem supervisão: comparar alternativas de controle — Comparar alternativas
- Agente rodando sem ninguém olhar: como medir — Explicar medição
- Agente que só roda com alguém olhando: o que preparar — Orientar implementação
Outras leituras em IA aplicada e agentes
- Agente que age sem registro: o que medir — O que registrar, onde fica o ponto de decisão e quem responde quando um agente executa ação sem trilha de auditoria.
- Agente com permissão ampla: comparar alternativas — Compara quatro formas de reduzir o escopo de um agente já em uso, com o que cada uma exige em processo, dado e responsabilidade.
- Modelo usado sem registro de versão: onde fixar a referência — Define o que registrar em cada versão de modelo em uso, onde o registro entra na rotina e o que ele não resolve.
- Saída de IA pronta: onde entra a revisão humana — Desenho do ponto de revisão humana antes do envio: o que fica retido, quem responde, o que fica registrado e quando o critério pode ser afrouxado.
- Julgamento entregue à automação: o que fica registrado — Descreve como decompor uma decisão de julgamento em critérios verificáveis, definir o ponto de decisão humana e registrar o que a automação fez.