Resposta direta
Custo por resposta fora do previsto quase nunca vem do preço do modelo. Vem de volume de contexto, número de chamadas por tarefa, reenvios e respostas que ninguém conferiu. O diagnóstico separa o custo em três partes: o que entra no contexto, o que sai como resposta e quantas tentativas cada tarefa consome. Sem essa separação, qualquer ajuste de preço ou de fornecedor é chute. O que se mede primeiro é o custo por tarefa concluída, não por chamada.
- Objetivo
- Diagnosticar
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata o custo como consequência de contexto, chamadas e reenvios, e não como preço de modelo.
As três origens do gasto
Uma resposta raramente é uma única chamada. Muitas operações reenviam o contexto a cada passo, acumulam histórico e repetem a pergunta quando a primeira saída não serve. O gasto cresce por composição, não por aumento de preço.
Três origens concentram a maior parte da variação: o volume de contexto enviado, o número de chamadas que cada tarefa exige e as tentativas que terminaram sem uso. Preço unitário é a variável que menos explica o desvio depois que a operação entra em produção.
Medir a tarefa, não a chamada
Custo por chamada engana, porque uma tarefa pode consumir várias. O indicador que fecha a conta é o custo por tarefa concluída: soma o que entrou e o que saiu em todas as chamadas daquela tarefa e divide pelo que de fato foi entregue.
Isso exige registro. Cada chamada precisa carregar identificador de tarefa, contagem de tokens de entrada e saída, número de tentativas e desfecho. Sem esse registro, a fatura chega agregada e nenhuma decisão sobre onde cortar se sustenta.
O que a conta não resolve
A conta mostra onde o gasto se forma, não se a resposta presta. Uma operação pode reduzir contexto até o ponto em que a qualidade cai e o trabalho volta para a mão de alguém, o que apenas transfere o custo de lugar.
Ela também não corrige processo mal desenhado. Se uma etapa existe só porque o fluxo nunca foi revisado, automatizar essa etapa encarece a operação. E a contagem de tokens varia com fornecedor e versão de modelo, então comparação de custo só é válida dentro de uma mesma configuração.
Recurso prático
Custo por tarefa concluída
(tokens_entrada x preco_entrada + tokens_saida x preco_saida) x chamadas_por_tarefa x fator_reenvio / tarefas_concluidas
- tokens_entrada
- tokens
- contexto enviado em cada chamada, lido no registro da chamada e não estimado pelo tamanho do documento original
- tokens_saida
- tokens
- resposta gerada em cada chamada, incluindo o que foi descartado depois
- chamadas_por_tarefa
- chamadas
- quantidade média de chamadas necessárias para concluir uma tarefa, contada por identificador de tarefa
- fator_reenvio
- razão
- tentativas que não concluíram divididas pelas chamadas totais, medido por desfecho registrado
- tarefas_concluidas
- tarefas
- tarefas com desfecho aceito no período, usado como denominador em vez do número de chamadas
O erro mais comum é tratar reenvio como exceção e medir apenas a primeira chamada. O contexto reenviado a cada passo costuma pesar mais que a resposta em si, e é ali que o orçamento se perde sem aparecer na conta por chamada.
Sobre o que está escrito aqui
Conceitos relacionados: tokens de entrada · tokens de saída · chamadas por tarefa · reenvio de chamada · custo por tarefa concluída. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Base desatualizada alimentando a IA: como medir — base de conhecimento desatualizada alimentando a IA
- Base desatualizada alimentando a IA: o que ex… — base de conhecimento desatualizada alimentando a IA
Páginas relacionadas
O mesmo problema em outro objetivo
- Custo por resposta fora do previsto: como organizar a apuração — Organizar um processo
- Custo por resposta fora do previsto: o que colocar na conta — Comparar alternativas
- Custo por resposta acima do previsto: o que medir — Explicar medição
- Custo por resposta fora do previsto: onde o gasto nasce — Orientar implementação
- Custo por resposta fora do previsto: o que fixar no contrato — Orientar avaliação e contratação
Outras leituras em IA aplicada e agentes
- Agente rodando sem ninguém olhar: como medir — Explica como medir agentes que rodam sem supervisão: o que registrar, o que revisar por amostra e por exceção, e o que a medição não resolve.
- Ferramenta de IA por área: como medir sem padrão comum — Descreve como medir ferramentas de IA contratadas por áreas diferentes, sem métrica comum: o que padronizar, o que medir por área e onde a comparação engana.
- Busca em documentos: o que entra na primeira entrega — Define o recorte de acervo, o dono da atualização e o tratamento do resultado errado na primeira entrega de busca em documentos.
- Erro de classificação: quem responde no contrato — O que definir antes de pedir proposta de classificação, como comparar erro por classe e o que fixar no contrato sobre responsabilidade.
- Modelo escolhido por reputação: o que verificar na contratação — O que separar entre reputação e evidência ao contratar um modelo de IA: critérios de avaliação, responsabilidade e o que fica fora do contrato.