Atualizado em 20 de outubro de 2026.
Um duplicado é outra cópia da mesma observação, não apenas o mesmo texto. Execuções independentes podem devolver respostas idênticas. Antes de apagar linhas, confirme a origem e a unidade de registo. O resultado é uma cópia de trabalho, um registo de decisões e casos por esclarecer.
Defina o que representa uma linha
Determine se a linha representa resposta, URL citado, menção ou execução completa. Uma resposta pode ter várias fontes e menções. Um ID de resposta comum não justifica apagar linhas de uma tabela de fontes. Leia primeiro as definições do fornecedor.
Verifique sem perder provas
Guarde os ficheiros originais. Acrescente ficheiro, linha de origem, âmbito e filtros numa cópia. Estes campos descrevem a proveniência, não uma nova medição.
Identifique uma referência estável da observação no âmbito do fornecedor e projeto. Um ID de execução pode abranger várias perguntas. Pergunta, dia e hash do texto não garantem identidade por si só.
Compare registos com identidade comum comprovada. Se conteúdo e configuração coincidirem, mantenha uma representação analítica e todas as referências de origem. Um conflito exige revisão, não a escolha automática da primeira linha.
Preserve execuções independentes mesmo com texto idêntico. Sem prova de identidade comum, marque o par como pendente; não deduza identidade a partir do intervalo temporal.
Ao juntar páginas, confira filtros, número de páginas e limites da recolha. Se a ordenação mudar, o tamanho do ficheiro não prova completude.
Exemplo de classificação
Os dados de exemplo explicam o método e não apresentam resultados de qualquer marca.
| Registos da mesma tabela de respostas | Decisão | Preservar |
|---|---|---|
| OBS-A em dois ficheiros, mesmo projeto e conteúdo | Cópia confirmada | Um registo analítico e ambas as origens |
| OBS-A e OBS-B, execuções independentes, texto idêntico | Duas observações | Ambos os registos |
| OBS-C com conteúdos contraditórios | Conflito | Ambas as versões para revisão |
| Sem ID, hora e texto parecidos | Identidade por resolver | Registos pendentes sem eliminação automática |
Quando os dados estão prontos
No fim, separe observações, cópias confirmadas e registos por resolver. Documente regra, revisor e motivo. Não apresente uma métrica recalculada sem explicar o tratamento dos casos ambíguos.
Deduplicar não é escolher a melhor resposta. Não elimine uma observação desfavorável porque outra execução parece melhor. Não existe uma janela temporal universal que distinga automaticamente cópias e medições independentes.
Trabalhar com dados da Semly
Antes de juntar material da Semly, confirme o âmbito e detalhe da vista ou exportação disponível. Se faltar a identidade da observação, peça esclarecimento em vez de inventar uma chave aparentemente fiável. O protocolo não promete um formato de exportação específico nem o esquema interno da Semly.
