Resposta direta
O custo por resposta sai do previsto quando o gasto é lido como média, e não por fluxo. Entrada longa, retentativa e saída extensa somam por chamada; o total só aparece quando cada caso de uso tem medição própria. O controle útil combina três coisas: registro de tokens por requisição, teto por fluxo e revisão do desvio. Teto não é otimização. É o que impede que um caso mal desenhado consuma o orçamento dos demais antes de alguém perceber.
- Objetivo
- Orientar implementação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata o gasto variável como problema de medição e teto por fluxo, não como escolha de fornecedor.
Onde o gasto por resposta se forma
A conta não é um preço único por resposta. Ela tem quatro parcelas: entrada enviada, saída gerada, chamadas repetidas até a resposta ser aceita e o desconto do que foi reaproveitado de chamadas anteriores. Trechos de documento, histórico de conversa e instruções longas empurram a primeira parcela para cima sem alterar o volume de respostas entregues.
Cada parcela tem um dono diferente na operação. Quem escreve a instrução controla a entrada. Quem define o formato de saída controla a extensão. Quem trata erro controla a retentativa. Sem essa divisão, o custo por resposta é discutido como um número único e ninguém se responsabiliza por ele.
Medição por fluxo e teto antes do alerta
O gasto ganha sentido quando é agrupado por caso de uso: atendimento, classificação, busca em acervo, apoio comercial. O registro por requisição guarda tokens de entrada, tokens de saída, número de chamadas e identificação do fluxo. A média geral do mês esconde qual fluxo mudou de comportamento e quando.
Com o dado por fluxo, o teto deixa de ser corte linear. Define-se limite por caso de uso, com alerta por desvio acima do padrão recente e um responsável por revisar o desvio. O teto serve para conter o gasto enquanto a causa é investigada, não para corrigir a causa.
O que o controle de custo não resolve
Teto de gasto não decide se a automação vale. Um caso de uso barato e pouco usado na operação continua sendo custo. Reduzir contexto para baixar a conta pode piorar a resposta, o que apenas desloca o problema para retrabalho humano, mais difícil de medir.
A medição também envelhece. Preço por token muda, modelo muda e o padrão de uso muda. O que era desvio deixa de ser, e o que era normal passa a estourar. O controle não garante previsibilidade; ele encurta o tempo entre o gasto sair da curva e alguém saber por quê. E não substitui a decisão de desligar um fluxo.
Recurso prático
Custo por resposta a partir do consumo real
custo = [(tokens de entrada − tokens em cache) × preço de entrada + tokens em cache × preço de cache + tokens de saída × preço de saída] ÷ 1.000.000 × tentativas por resposta
- tokens de entrada
- tokens
- contexto enviado em cada chamada, somando instruções, histórico de conversa e trechos de documento anexados
- tokens em cache
- tokens
- parcela da entrada reaproveitada de chamadas anteriores e cobrada com desconto pelo fornecedor
- preço de entrada
- por milhão de tokens
- valor cobrado pela entrada no modelo em uso, conforme tabela vigente
- tokens de saída
- tokens
- texto gerado na resposta, incluindo explicação, formatação e repetição de conteúdo já conhecido
- tentativas por resposta
- chamadas
- número médio de chamadas até a resposta ser aceita ou utilizada, contando retentativas e reprocessamentos
O erro mais comum é acompanhar a média por resposta. O orçamento estoura pela cauda: poucos casos com contexto longo e várias retentativas consomem a maior parte do gasto, e a média não deixa isso visível.
Sobre o que está escrito aqui
Conceitos relacionados: custo por token · tokens em cache · retentativa por chamada · teto de gasto por fluxo · tamanho de contexto. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Agente rodando sem ninguém olhar: como medir — agentes sem supervisão
- Contratar agente para operar sozinho: o que f… — agentes sem supervisão
Páginas relacionadas
O mesmo problema em outro objetivo
- Custo por resposta fora do previsto: onde o gasto nasce — Diagnosticar
- Custo por resposta fora do previsto: como organizar a apuração — Organizar um processo
- Custo por resposta fora do previsto: o que colocar na conta — Comparar alternativas
- Custo por resposta acima do previsto: o que medir — Explicar medição
- Custo por resposta fora do previsto: o que fixar no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Respostas erradas de IA: como tratar a falha na rotina — Processo para registrar, classificar o dano e definir a correção operacional de respostas incorretas geradas por modelos de linguagem.
- Contratar agente para operar sozinho: o que fica no contrato — Envelope de autonomia no contrato: o que o agente executa sozinho, o que pede aprovação, o que é proibido e quem responde pelo erro.
- Piloto de IA parado: o que falta para virar rotina — O que precisa existir para um piloto de IA sair do projeto e entrar na operação: dono, frequência, tratamento de exceção e critério de encerramento.
- Política interna de uso de IA: como comparar modelos — Compara três modelos de política interna de uso de IA: permissiva com responsabilidade, com aprovação prévia e por camada de dado. O que cada uma resolve.
- Pedido de apoio comercial: o que está faltando de fato — Um roteiro para separar pedido de apoio comercial, causa provável e responsável, antes de decidir entre processo, dado, treinamento ou ferramenta.