Resposta direta
Mede-se pela origem e pelo rastro de correção, não pela confiança que a resposta inspira. Três contas bastam para começar: quanto da resposta tem fonte rastreável, quanto do que foi publicado recebeu conferência independente e quantas correções apareceram depois de a resposta virar oficial. Some a isso o tempo entre o erro e a identificação. Se a conferência cai quando o volume sobe, o número medido é de uso, não de acerto. A medida serve para decidir onde manter verificação humana e onde ela já não muda a decisão.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Mede a resposta já em uso como fonte única, e não a resposta antes de entrar em produção.
Depois da publicação, a conferência muda de função
Antes de a resposta circular, a conferência serve para barrar erro. Depois que ela vira fonte única, a conferência sai do processo, porque ninguém revisa o que já está aceito. A resposta passa a ser citada em reunião, em proposta e em decisão de preço. O erro deixa de aparecer na leitura e passa a aparecer no resultado.
Medir nesse ponto exige olhar para o que foi publicado, não para o que foi gerado. Duas perguntas organizam a conta: qual parcela do que circulou recebeu conferência de alguém com domínio do assunto, e quem responde quando a resposta se mostra errada. Sem responsável nomeado, a correção vira discussão sobre o modelo, não sobre o dado.
Contas que cabem no fechamento do mês
Três medidas sustentam a decisão. A primeira é a parcela da resposta com fonte rastreável no acervo. A segunda é a cobertura da conferência independente sobre o que foi publicado. A terceira é o número de correções feitas depois que a resposta já tinha sido usada.
Nenhuma delas depende de ferramenta. Todas dependem de registro. Se a empresa não guarda a resposta original, a correção e a data, a medição começa pelo registro e não pelo indicador. Vale separar resposta conferida de resposta aceita por ausência de contestação.
O que a medição não resolve
Indicador não corrige origem ruim. Se o acervo tem versões conflitantes do mesmo procedimento, a resposta continuará instável e a conta apenas mostrará a instabilidade com mais frequência. A medição também não alcança o erro que ninguém percebeu: o que nunca foi contestado não entra em taxa alguma.
Medir não substitui a decisão sobre onde a resposta pode ser fonte única. Há caso em que a conferência humana precisa permanecer, porque o custo dela é menor que o de uma correção tardia. Em outro, a resposta serve apenas como ponto de partida, com o dado oficial vindo do sistema de origem. A medição serve para separar os dois casos, não para eliminar a conferência.
Recurso prático
Sinais de medição e o que cada um distorce
| Indicador | Como ler |
|---|---|
| Resposta com fonte rastreável no acervo | mede dependência do acervo; queda indica trecho vindo da memória do modelo |
| Parcela publicada com conferência independente | mede uso, não acerto; cobertura alta convive com erro sistemático |
| Correções após a resposta virar oficial | mede custo do erro; o que ninguém percebeu não entra na conta |
O erro mais comum é medir a taxa de acerto antes de publicar, quando o problema aparece depois: o que ninguém confere não entra em nenhuma taxa.
Sobre o que está escrito aqui
Conceitos relacionados: rastreabilidade de fonte · conferência independente · correção pós-publicação · janela de detecção de erro · responsável pela resposta. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Agente sem supervisão: riscos e onde colocar… — agentes sem supervisão
- Busca em documentos com IA: quando ajuda e qu… — ferramentas isoladas
Páginas relacionadas
O mesmo problema em outro objetivo
- Resposta de IA como fonte única: onde fixar responsabilidade — Organizar um processo
- Resposta de IA como fonte única: o que comparar — Comparar alternativas
- Resposta de IA como fonte única: o que fixar antes — Orientar implementação
- Resposta de IA virou fonte única: o que precisa constar — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Atendimento: comparar alternativas por tipo de caso — Critérios para comparar pessoa, regra e automação no atendimento por tipo de caso, custo do erro e responsabilidade sobre a resposta.
- Conversa difícil entregue à IA: o que fica no contrato — O que definir na contratação de IA que responde, recusa e dá retorno no lugar de uma pessoa, e em que ponto a conversa difícil precisa continuar com alguém.
- Pedidos de busca em documentos: registrar e triar — Descreve o registro, a triagem e o retorno ao acervo dos pedidos de busca em documentos: campos mínimos, responsável e lacunas.
- Erro de IA tratado como falha da pessoa: o que separar — Processo para separar erro de IA de erro de pessoa: o que registrar, quem responde e onde o limite fica antes de virar cobrança.
- Expectativa de resultado sem medida: o que definir antes — Roteiro para converter promessa de resultado em critério verificável antes de contratar: linha de base, indicador, responsável e cláusula de medição.