Resposta direta
Mede-se busca em documentos com um conjunto de consultas reais e uma resposta esperada para cada uma, definida por quem conhece o acervo. A medição compara o que a busca devolveu com o que deveria devolver, caso a caso. Três indicadores bastam para começar: quantas consultas encontram o documento certo, em que posição ele aparece e quantas vezes nenhum resultado útil surge. Registrar também o que a busca não deveria trazer reduz falsos positivos. Sem esse conjunto, a avaliação vira impressão de quem testou três perguntas fáceis.
- Objetivo
- Explicar medição
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a busca como item medido por caso, com resposta esperada definida antes do teste, e não como avaliação por impressão de quem usou.
Comparar pergunta e resposta esperada
A medição começa quando alguém escreve, para cada consulta, qual documento deveria aparecer. Essa lista é montada por quem conhece o acervo, não por quem opera a ferramenta. Sem resposta esperada, não há como separar erro da busca de pergunta mal formulada.
Consultas que já aconteceram, com a redação original, servem melhor que perguntas criadas para o teste. Perguntas inventadas tendem a ser mais claras e mais bem escritas do que as perguntas que chegam no dia a dia.
Posição, ausência e falso positivo no mesmo registro
Cada consulta rende um registro com três informações: o documento certo apareceu, em que posição, e o que veio junto sem relação com a pergunta. Acerto na primeira posição e acerto na décima posição custam tempos diferentes para quem lê.
Os casos duvidosos precisam de um responsável definido, que decide se o resultado foi aceitável. Sem essa decisão registrada, o mesmo caso é reavaliado de formas diferentes na próxima rodada e a comparação entre medições perde sentido.
O que a medição não resolve
Medir não melhora o acervo. Se o documento não existe, está desatualizado ou foi escrito com termos que ninguém usa, a busca continuará falhando e a medição apenas repete o mesmo diagnóstico. Corrigir o acervo é trabalho separado, com dono e prazo próprios.
O conjunto de teste envelhece. Mudanças no acervo, na operação ou no vocabulário usado invalidam consultas antigas, e um bom resultado no teste não garante que a resposta sirva para decidir algo na rotina. A medição indica onde a busca erra; ela não define se o uso compensa.
Recurso prático
Indicadores mínimos de busca em documentos
| Indicador | O que ele revela |
|---|---|
| Consulta com resposta esperada | quantas perguntas do conjunto encontram o documento correto |
| Posição do documento correto | se o acerto aparece no início da lista ou exige leitura longa até chegar nele |
| Consulta sem resultado útil | onde o acervo não cobre o assunto ou o texto está descrito de forma que a busca não alcança |
O erro mais comum é medir só o acerto e ignorar as consultas sem resposta: elas costumam apontar falha de acervo ou de descrição dos documentos, não falha da busca.
Sobre o que está escrito aqui
Conceitos relacionados: conjunto de consultas de teste · resposta esperada por consulta · posição do documento correto · consulta sem resultado útil · registro de falso positivo. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Classificação automática: onde usar e onde não — triagem manual de textos
- Atendimento com IA: o que pode ir para o clie… — atendimento com IA sem regra
Páginas relacionadas
O mesmo problema em outro objetivo
- Busca em documentos: onde a procura falha antes da IA — Diagnosticar
- Pedidos de busca em documentos: registrar e triar — Organizar um processo
- Busca em documentos: o que entra na primeira entrega — Orientar implementação
- Contratar busca em documentos: o que fica no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Ganho de IA medido por impressão: o que falta medir — Distingue ganho de IA relatado por impressão do ganho observado no processo, com o que registrar antes de comparar e o limite dessa medida.
- Resposta automática sem aviso de automação: o que medir — Indicadores para verificar se o cliente percebe a automação antes de ser avisado, com fórmula de apuração e o que o índice não cobre.
- Ferramentas de IA dispersas: onde o fluxo se rompe — Mapeamento de sinais de isolamento entre sistemas de IA, critérios de fluxo de informação e limites do diagnóstico de ferramentas na operação.
- Resposta de IA virou fonte única: o que precisa constar — O que precisa estar definido antes de uma resposta de IA ser tratada como fonte única: origem do dado, quem responde pelo erro e como contestar.
- Atendimento com IA em produção: dono, fila e escalonamento — A página descreve o que precisa estar definido antes da IA assumir a fila: escopo por tipo de contato, dono do erro, escalonamento e o que medir.