Pular para o conteúdo

Soluções · Integrações, sistemas e qualidade de dados

Cadastro sem chave única: como medir o que se repete

Como medir a qualidade do cadastro quando os sistemas não compartilham uma chave única?

Resposta direta

A medição começa por cobertura e consistência, não por contagem de registros. Sem chave única, o cadastro é medido por indicadores indiretos: quanto dos registros traz algum identificador forte, quantos pares sobrevivem a regras de comparação, e como esses números se comportam entre cargas. O resultado útil não é o total de duplicados, e sim a estabilidade do critério. Duas medições seguidas, com o mesmo limiar e o mesmo conjunto de atributos, devem apontar a mesma faixa de pares. Quando a faixa muda sem alteração de dados, o problema está na regra, não no cadastro.

Objetivo
Explicar medição
Formato indicado
Projeto de implementação
Atualizado em

O que esta página acrescenta: Trata a medição como calibração de critério e acompanhamento de estabilidade entre cargas, em vez de auditoria de uma carga única.

Indicadores que funcionam sem identificador comum

Sem chave única, a medição trabalha com cobertura, sobreposição e estabilidade. Cobertura responde quantos registros têm um campo comparável preenchido. Sobreposição responde quanto dois conjuntos de sistemas se referem à mesma entidade. Estabilidade responde se a resposta se mantém entre cargas.

Nenhum desses indicadores entrega o número exato de duplicados. Eles mostram ordem de grandeza e tendência. Cobertura baixa de documento limita qualquer pareamento; cobertura alta com formato irregular limita do mesmo modo.

Limiar, bloco e custo de erro

O pareamento probabilístico compara pares e atribui grau de similaridade. O limiar define o que entra como suspeito. Limiar baixo amplia a faixa de pares e o esforço de conferência; limiar alto deixa registros repetidos fora da lista.

O custo dos dois erros é diferente e precisa ser declarado antes da medição. Falso negativo mantém duplicidade no cadastro. Falso positivo consome tempo de conferência e pode consolidar registros que são entidades distintas. Blocos mal escolhidos concentram registros parecidos e distorcem a contagem.

O que a medição não resolve

A medição não prova que dois registros são a mesma entidade. Ela aponta suspeitos e dimensiona o esforço de decisão. A consolidação depende de conferência, de regra de precedência e de um responsável nomeado para aceitar ou rejeitar cada par.

Também não corrige cadastro com campos vazios nem processo que não exige identificador na entrada. Se o atributo não é coletado, nenhum pareamento o recupera. Nesses casos, a medição serve para dimensionar o problema e justificar mudança de processo, não para resolvê-lo.

Recurso prático

Fluxo de medição sem chave única

  1. Listar os atributos que aparecem em mais de um sistema e classificar cada um pela capacidade de distinguir registros: documento, nome, endereço, telefone, data.
  2. Definir blocos de comparação. O pareamento roda apenas dentro de blocos que compartilham algum atributo, o que reduz o volume de pares comparados.
  3. Medir a cobertura de cada identificador: quantos registros do conjunto têm aquele campo preenchido e em formato comparável com o de outro sistema.
  4. Rodar o pareamento com limiar fixo e registrar a faixa de pares encontrada, sem tratar esse número como total de duplicados.
  5. Repetir a medição em cargas diferentes e comparar as faixas. Variação sem mudança nos dados indica ajuste de regra, não piora do cadastro.

O erro mais comum é tratar a contagem de pares como inventário de duplicados. O pareamento produz suspeitos; quem consolida precisa de conferência, regra de precedência e responsável nomeado.

Sobre o que está escrito aqui

Conceitos relacionados: chave única · pareamento probabilístico · bloco de comparação · cobertura de identificador · limiar de similaridade. Exemplos são ilustrativos. Não há cliente, resultado, preço, prazo ou certificação nesta página. Quando o formato indicado é Projeto de implementação, ele descreve uma possibilidade de trabalho — a conversa inicial avalia contexto e aderência.

Para continuar

Páginas relacionadas

O mesmo problema em outro objetivo

Outras leituras em Integrações, sistemas e qualidade de dados

Quer avaliar isso no seu contexto?

Esta página trata de cadastro sem chave única. Diagnóstico de integração é a frente que investiga o mecanismo por trás desse tipo de problema. O formato mais associado é Projeto de implementação.