Resposta direta
A contratação se decide pela distribuição do erro, não pelo acerto médio. Antes de pedir proposta, é preciso fixar a taxonomia, dizer qual erro é caro e qual é tolerável, e separar o que a máquina decide do que volta para conferência humana. O fornecedor deve responder por um critério de aceite por classe, medido em amostra auditável, e por um procedimento para caso ambíguo. Contrato sem essas definições transfere ao comprador o custo de descobrir o problema depois da implantação.
- Objetivo
- Orientar avaliação e contratação
- Formato indicado
- Workshop executivo
- Atualizado em
O que esta página acrescenta: Trata a compra de classificação como alocação de erro por classe e de responsabilidade contratual, não como escolha de ferramenta.
O custo do erro define a compra
Toda classificação erra. A pergunta útil é qual erro custa mais. Em uma triagem de documentos, confundir duas classes parecidas pode gerar apenas uma conferência; deixar passar uma classe de exceção pode parar um processo inteiro. A lista de classes precisa vir com essa hierarquia explícita, acordada internamente antes de qualquer conversa com fornecedor.
Sem essa hierarquia, a comparação vira disputa de número médio. Um sistema que acerta as classes frequentes e erra a exceção pode parecer superior a outro mais equilibrado. Quem compra precisa saber qual classe não pode falhar e qual falha é absorvível pela operação, porque isso define o desenho da conferência humana e o esforço que sobra para a equipe.
O que comparar entre propostas
A proposta deve ser lida por classe, não por média. Vale pedir o desempenho separado das classes raras, o volume esperado de cada uma e o que acontece com o item que o modelo não consegue decidir. Vale também perguntar como o fornecedor mede isso: qual amostra, quantos itens revisados por quem, e se o rótulo de referência foi produzido pela própria operação.
Preço por documento e preço por hora de operação levam a incentivos diferentes. O primeiro empurra volume; o segundo, permanência. O contrato precisa dizer o que está incluído quando a taxa de conferência humana sobe, porque esse é o custo que costuma aparecer depois, já com o processo dependente do fornecedor.
O que o contrato não resolve
O contrato não conserta taxonomia mal definida. Se duas áreas discordam sobre o que é uma classe, nenhum modelo estabiliza a decisão, e o fornecedor vai absorver a ambiguidade no preço ou devolver o caso para conferência. Também não corrige entrada ruim: documento fora de padrão, campo obrigatório vazio ou registro duplicado continuam sendo problema de quem gera o dado.
E não compra julgamento. Existem casos em que a decisão depende de contexto que não está no registro, e esses precisam de dono interno, não de cláusula. O contrato serve para tornar o erro visível e distribuir sua consequência. Quando a operação não tem quem responda pelo caso ambíguo, a classificação automatizada apenas muda o lugar onde a fila se forma.
Recurso prático
O que precisa estar definido antes de comparar propostas
| Ponto do acordo | O que precisa estar escrito |
|---|---|
| Definição das classes | Quem mantém a lista de classes, com que frequência ela muda e quem aprova a mudança. |
| Aceite | Meta por classe, medida na amostra acordada, e o que acontece quando uma classe falha e a média passa. |
| Caso ambíguo | Regra de retorno para conferência humana e prazo de resposta, sem tratar isso como erro do fornecedor. |
| Auditoria | Direito de reamostrar depois da entrada em produção, com acesso aos rótulos e ao registro das decisões. |
| Mudança de escopo | Como uma classe nova ou um volume maior altera preço e prazo, definido antes e não na hora do aditivo. |
O erro mais comum é aceitar um número único de acerto. Ele esconde a classe rara, que costuma ser a de maior consequência, e permite calibrar o limiar para o que é fácil.
Sobre o que está escrito aqui
Conceitos relacionados: taxonomia de classes · critério de aceite por classe · amostra de auditoria · caso ambíguo · reprecificação por mudança de escopo. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Workshop executivo, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.
Para continuar
- IA aplicada e agentes — Página central do tema
- Avaliar resposta de IA antes de produção: um… — respostas incorretas
- Busca em documentos com IA: quando ajuda e qu… — ferramentas isoladas
Páginas relacionadas
O mesmo problema em outro objetivo
- Classificação que erra: como localizar a causa — Diagnosticar
- Classes conflitantes entre áreas: critério, dono e revisão — Organizar um processo
- Classificação: como comparar regra, revisão humana e modelo — Comparar alternativas
- Classificação: como medir acerto sem esperar reclamação — Explicar medição
Outras leituras em IA aplicada e agentes
- Avaliar resposta de IA antes de produção: um conjunto de teste que caiba na rotina — Como montar um conjunto de teste com casos reais, o que medir e o critério de aprovação por tipo de uso.
- Fornecedor único de modelo: o que amarrar antes de assinar — O que exigir no contrato e na operação para reduzir dependência de um único fornecedor de modelo, incluindo o custo de troca e o que não é possível garantir.
- Documento sensível em serviço externo: o que fica fora — O que definir antes de enviar documento sensível a serviço externo: classificação, recorte do dado, autorização e registro da decisão.
- Erro de IA cobrado da pessoa: onde fica a causa — Compara quatro origens do mesmo erro de IA, instrução, dado, ponto de revisão e decisão da pessoa, e o custo de atribuir antes de checar.
- Respostas incorretas em IA: contenção na operação — Mapeamento de rotas de contenção, validação determinística e transbordo humano para tratar respostas incorretas de inteligência artificial na operação.