Resposta direta
Mede-se pelo que sobra depois da ação, não pelo que o agente relata. Três registros sustentam a medição: qual ação foi executada, qual dado a disparou e quem responde por ela. Sem esse conjunto, o agente pode acertar e ainda assim não ser auditável. A medida útil é a proporção de ações com registro completo, apurada no sistema de destino, mais o tempo entre execução e reversão possível. Quando o registro depende do próprio agente, ele deixa de ser prova e passa a ser a versão do agente sobre o que fez. O critério de parada precisa estar definido antes da primeira execução em produção.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a ausência de trilha como problema de medição e define o que precisa existir fora do agente para a ação ser auditável.
Quando só o agente sabe o que fez
Um agente que executa ação em sistema real costuma deixar rastro em três lugares: o log da ferramenta, o registro do sistema alterado e a memória do próprio agente. Os dois primeiros pertencem à operação. O terceiro pertence a quem montou o agente.
Quando a única evidência da ação é o relato do agente, a auditoria passa a depender da versão do agente sobre o próprio trabalho. Isso serve para depurar, não para responder a uma pergunta de controle, de risco ou de cliente. Separar os dois usos é o que a medição precisa fazer primeiro.
Cobertura de registro antes de acurácia
Antes de comparar acurácia, vale medir cobertura de registro. Para cada ação executada, existe identificador da ação, dado de origem, autorização e responsável nomeado. A medida é a proporção de ações com esse conjunto completo, apurada no sistema de destino e não no agente.
O segundo indicador é o intervalo entre execução e reversão possível. Ação irreversível exige critério definido antes da liberação, não depois do incidente. Ação reversível aceita mais autonomia. O mesmo agente pode operar nos dois regimes, desde que a operação saiba qual está em vigor.
O que a medição não resolve
A medição não devolve a decisão sobre o que o agente pode fazer. Também não substitui controle de acesso, separação de função nem revisão humana onde a consequência é externa.
Ela não corrige registro que nasce incompleto nem resolve ação que já ocorreu sem rastro. Nesse caso resta reconstruir por outros sistemas, quando existirem. Medir depois não cria prova retroativa.
Recurso prático
O que medir e onde o registro precisa existir
| O que medir | Onde o registro existe sem depender do agente |
|---|---|
| Ação executada | Registro gravado no sistema de destino, com identificador da ação e data |
| Dado de origem | Identificador do dado que disparou a ação, com versão e momento da leitura |
| Autorização | Quem ou qual regra liberou a execução, gravado antes do disparo |
| Reversão | Tempo entre execução e desfazer, com responsável nomeado pela decisão |
O erro mais comum é medir o agente pela taxa de acerto e não pela existência de registro fora dele. Acerto sem registro não permite reconstruir a ação depois.
Conceitos usados nesta página
- Trilha de auditoria — Trilha de auditoria é o conjunto de registros que permite reconstruir quem fez o quê, quando e com qual dado — inclusive depois que o resultado já foi usado.
- Registro de execução — Registro de execução é a evidência de que uma rotina, automação ou tarefa rodou — com identificador, data, insumo, resultado e responsável.
- Responsável nomeado — Responsável nomeado é a pessoa identificada — não a área — que responde por um número, processo ou entrega.
Sobre o que está escrito aqui
Conceitos relacionados: trilha de auditoria · registro de execução · ponto de decisão · reversão de ação · responsável nomeado. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Agente sem supervisão: comparar alternativas… — agentes sem supervisão
- Agente que só roda com alguém olhando: o que… — agentes sem supervisão
Páginas relacionadas
O mesmo problema em outro objetivo
- Agente sem trilha de auditoria: o que falta registrar — Diagnosticar
- Agente que executa sem trilha: o que registrar antes — Organizar um processo
- Agente que age sem registro: o que comparar — Comparar alternativas
- Agente que age sem trilha de auditoria: o que registrar — Orientar implementação
- Agente sem trilha de auditoria: o que exigir na contratação — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Contratar agente para operar sozinho: o que fica no contrato — Envelope de autonomia no contrato: o que o agente executa sozinho, o que pede aprovação, o que é proibido e quem responde pelo erro.
- Agente sem supervisão: comparar alternativas de controle — Compara arranjos de supervisão para agentes — aprovação antes da ação, limite por tipo de ação e revisão por amostragem — e o que medir em cada um.
- Modelo usado sem registro de versão: onde fixar a referência — Define o que registrar em cada versão de modelo em uso, onde o registro entra na rotina e o que ele não resolve.
- Agente rodando sem ninguém olhar: como medir — Explica como medir agentes que rodam sem supervisão: o que registrar, o que revisar por amostra e por exceção, e o que a medição não resolve.
- IA sem registro de finalidade: o que o uso precisa provar — Identifica usos de IA em circulação, verifica se cada um tem finalidade, responsável e critério de parada, e separa o que continua do que precisa ser suspenso.