28 lines
1.0 KiB
Markdown
28 lines
1.0 KiB
Markdown
---
|
|
title: "Content-Deduplication"
|
|
type: concept
|
|
tags: [Data-Processing, NLP, Similarity-Matching]
|
|
sources: [multi-source-tech-news-digest.md]
|
|
last_updated: 2026-04-27
|
|
---
|
|
|
|
# Content-Deduplication
|
|
|
|
内容去重——识别并合并重复或近似内容的技术，解决同一内容从多个渠道涌入造成的冗余问题。
|
|
|
|
## Definition
|
|
|
|
通过计算标题/摘要的相似度（如 Jaccard 相似度、余弦相似度、编辑距离），判断两条内容是否指向同一信息，并将重复项合并。
|
|
|
|
## Approaches
|
|
|
|
- **精确匹配**：基于 URL、唯一 ID 去重（适用于同一平台内的内容）
|
|
- **模糊匹配**：基于标题/摘要的语义或字符串相似度去重（适用于跨平台聚合）
|
|
- **聚类去重**：将相似内容聚类，每类只保留一条代表
|
|
|
|
## Related Concepts
|
|
|
|
- [[Content-Aggregation]]：去重是内容聚合流程中的关键步骤
|
|
- [[Quality-Scoring]]：去重后对每类的代表内容进行评分
|
|
- [[Semantic-Search]]：语义相似度技术同样可用于去重
|