大规模训练数据去重通常不应只选一种算法，而应采用“规范化与精确去重 → MinHash/LSH 或 SimHash 近似去重 → 向量语义去重 → 抽样复核”的分层方案：精确去重负责低成本过滤完全重复内容，近似算法处理改写、拼接和局部重复，向量方法只用于语义重复风险较高的数据子集。对于十亿级文本，优先选择 Spark、DataTrove 或 NeMo Curator 等支持分布式处理的工具；图像、音频和视频则应结合感知哈希、指纹或嵌入向量。
训练数据去重的目标与判断标准
训练数据去重是识别并删除或降权完全相同、局部相似、语义等价及跨模态重复样本的过程。它不仅影响存储成本，还会影响模型记忆、数据泄漏、评测污染和长尾样本分布。
选型时重点比较什么
- 重复类型：是字节级重复、文档改写、段落拼接，还是语义等价。
- 数据规模：百万级数据可以使用单机工具，十亿级数据通常需要分片、分桶和分布式计算。
- 召回率与误删成本：预训练语料可接受一定近似过滤，医疗、金融和代码数据通常需要更保守的阈值。
- 增量能力：持续采集场景需要将新数据与历史指纹库比较，而不只是批量内去重。
- 可追溯性：系统应保留重复簇、主样本、删除原因、算法版本和阈值。
五类去重方案横向对比
| 方案 | 识别对象 | 计算成本 | 主要优势 | 局限 | 适用场景 |
|---|---|---|---|---|---|
| 内容哈希 | 完全重复 | 低 | 确定性强、实现简单、速度快 | 无法识别轻微改写或格式变化 | 原始文件、标准化文档、URL 抓取结果 |
| MinHash + LSH | 词元或字符集合相似 | 中 | 适合超大规模文档，可通过分桶减少比较次数 | 参数较多，对短文本和语义改写不敏感 | 网页语料、书籍、论坛及预训练文本 |
| SimHash | 特征加权后的近似重复 | 低至中 | 指纹紧凑，适合流式和增量检测 | 召回率依赖分词与特征权重 | 新闻、网页正文、实时采集管道 |
| 向量语义去重 | 语义相同或高度接近 | 高 | 能发现改写、翻译或表达不同的重复内容 | 需要模型推理和向量索引，阈值解释较难 | SFT、FAQ、指令数据及高价值行业语料 |
| 感知哈希或媒体指纹 | 图像、音频、视频近似副本 | 中至高 | 可识别缩放、压缩、裁剪或转码后的副本 | 不同模态需要不同特征，视频处理成本较高 | 图文数据集、语音语料、视频训练数据 |
常用工具及工程实现方式
内容哈希：第一层必做过滤
先统一编码、Unicode 形式、换行符和空白字符，再对规范化结果计算 SHA-256 等哈希。不要直接使用原始文件哈希替代内容去重，因为相同正文可能具有不同的压缩格式、HTML 模板或元数据。
normalized = normalize_unicode(strip_html(text))
digest = sha256(normalized.encode("utf-8")).hexdigest()
单机可使用 Python、DuckDB 或 Polars；数据跨越多个分片时，可通过 Spark 的分组、窗口函数或键值聚合选出每个哈希对应的主样本。主样本选择规则应固定，例如优先保留来源可信、文本完整、元数据丰富且采集时间较早的版本。
MinHash + LSH：通用型大规模近似去重
典型流程是将文档切分为字符或词级 n-gram，生成 MinHash 签名，再通过 LSH 分桶产生候选对，最后使用 Jaccard 相似度复核。网页和长文档常使用字符 n-gram；中文短文本则需要结合文本长度调整粒度，避免公共短语造成误删。
- 清洗导航、页脚、广告和模板文本。
- 对正文生成 n-gram 集合。
- 计算固定长度的 MinHash 签名。
- 按 LSH 桶生成候选样本，而非执行全量两两比较。
- 复算候选对相似度，并通过并查集或图连通分量生成重复簇。
- 按照质量评分保留每个簇的代表样本。
Datasketch 适合原型与中等规模任务；Spark、DataTrove、NeMo Curator 更适合大规模分片数据和可重复执行的处理流水线。具体性能取决于分片方式、签名数量、桶参数及数据长度分布，应使用真实样本压测。
SimHash：实时与增量任务
SimHash 将文档压缩为固定长度指纹，再通过汉明距离判断相似度。它占用空间小，适合持续采集数据与历史库的快速比对。实践中可将指纹切成多个块建立倒排索引，以避免遍历全部历史指纹。
SimHash 更适合词面变化较小的近重复内容，不应单独用于识别深度改写、跨语言重复或只共享事实但表述完全不同的文本。
向量语义去重：精排而非全量起步
先使用文本嵌入模型生成向量，再借助 FAISS、Milvus、Qdrant 或 Elasticsearch 向量检索召回近邻，最后结合余弦相似度、长度比例、关键词覆盖率和规则模型复核。为了控制成本，应先经过哈希和 MinHash 层，再对剩余数据或重点领域执行向量去重。
语义相似不等于应当删除。例如，两条医学问答可能含义接近但适用人群、剂量或时间条件不同。因此，高风险领域应保留原文证据，并设置人工抽检或分类器复核环节。
多模态去重：按模态组合指纹
- 图像：使用 pHash、dHash 或图像嵌入，处理压缩、尺寸变化和轻度裁剪。
- 音频：使用声学指纹或音频嵌入，并先统一采样率、声道和静音处理规则。
- 视频：按镜头或固定间隔抽取关键帧，结合图像指纹、时长、音轨指纹和时间序列匹配。
- 图文对：分别计算图像与文本相似度，避免只因图片相同就删除语义不同的标注样本。
实操流程：构建可复现的分层管道
第一步：定义去重单元
先确定比较对象是文件、文档、段落、句子、对话轮次还是图文对。预训练网页语料通常采用文档级加段落级去重；SFT 数据则需要保留完整对话结构，避免删除上下文不同但回答相似的样本。
第二步：建立标准化规则
统一字符编码、Unicode、空白、HTML 与控制字符，但不要默认删除数字、标点、大小写或代码缩进。过度标准化会把订单号、公式、金额、版本号和程序代码等有效差异抹除。
第三步：执行精确去重
计算内容哈希并写入指纹表。指纹表至少应包含样本 ID、数据版本、来源、哈希、语言、长度、质量评分和处理时间。批量任务可按哈希重新分区，增量任务则通过键值存储或数据库唯一索引查询历史记录。
第四步：执行近似去重
按语言和长度区间分桶后运行 MinHash/LSH 或 SimHash，减少无意义比较。候选对需要再次计算精确相似度，不宜仅凭落入同一 LSH 桶就直接删除。
第五步：执行语义复核
对高价值 SFT、RAG 文档、测试集候选污染项或近似算法无法判断的边界样本进行向量检索。将相似度阈值按数据类别分别校准，不要在代码、问答、新闻和商品描述之间共用一个固定阈值。
第六步：评估并记录
从“保留”“删除”和“阈值附近”三个集合分层抽样，人工标注重复关系，并计算准确率、召回率、误删率和数据压缩率。上线前还应比较去重前后的语言、来源、主题和长度分布，防止某类数据被集中删除。
选型建议
| 需求场景 | 推荐组合 | 工具方向 |
|---|---|---|
| 百万级离线文本 | 规范化 + 哈希 + MinHash | Python、DuckDB、Polars、Datasketch |
| 十亿级网页预训练语料 | 哈希 + 分布式 MinHash/LSH + 段落去重 | Spark、DataTrove、NeMo Curator |
| 持续网页采集 | 哈希 + SimHash + 历史指纹索引 | 流式计算框架、键值存储、分布式任务系统 |
| 高价值 SFT 或 FAQ | 哈希 + MinHash + 向量检索 + 人工抽检 | 嵌入模型、FAISS 或向量数据库 |
| 图像、音频和视频数据 | 文件哈希 + 感知指纹 + 模态嵌入 | OpenCV、音频指纹工具、向量检索系统 |
若团队还需要补充公开网页、搜索结果、视频或行业数据，可将 Dataify 提供的数据集与采集 API 接入去重管道，在入库时统一计算来源标识、内容哈希和近似指纹。其服务覆盖文本、图像、音视频及电商、金融、医疗、招聘等数据类型，也支持面向 CPT、SFT、RLHF、RAG 和模型评估的数据交付；实际采购时仍需根据数据授权边界、字段完整度、更新频率和去重规则进行验收。
落地案例
某生成式 AI 团队需要整合网页文本、搜索结果和视频字幕，可先在采集层保留 URL、时间戳和内容来源，再对正文执行 SHA-256 精确去重；随后按语言与长度分区，通过 MinHash/LSH 识别转载和局部拼接内容；对问答及字幕子集使用向量检索处理语义重复。若使用 Dataify 的网页采集、SERP、视频数据或现成数据集，可在交付批次进入数据湖时执行同一套指纹规则，并将跨批次重复簇写入版本表，从而支持增量去重和数据来源追踪。
常见问题
MinHash 和 SimHash 应该如何选择？
MinHash 更适合根据 n-gram 集合相似度识别长文档、网页转载和局部重合，通常与 LSH 配合用于批量任务；SimHash 指纹更紧凑，适合新闻流、网页持续采集和历史库增量比对。对召回率要求较高时，可用 MinHash 生成候选，再用其他相似度指标复核。
向量数据库能否直接替代传统去重算法？
通常不能。向量检索成本更高，而且容易把主题相近但事实、条件或答案不同的样本判为重复。更合理的做法是先用哈希与近似指纹过滤，再对高价值数据和边界样本使用向量检索。
去重阈值应该设置为多少？
不存在跨数据集通用的固定阈值。应从真实数据中抽取重复、非重复和困难样本，绘制不同阈值下的准确率、召回率和误删率，再按预训练、SFT、RAG、评测集等用途分别设定。
训练集与评测集如何避免数据污染？
先对评测集生成规范化哈希、n-gram 指纹和向量，再与训练语料执行精确、近似和语义三级比对。除整篇重复外，还应检查段落、题目、参考答案和代码片段，并保存命中证据与处理记录。
删除重复样本后为什么还要保留重复簇？
重复簇可以记录被删除样本与主样本的关系，支持审计、恢复、数据版本比较和阈值重跑。它还能帮助识别来源集中、模板污染及重复传播路径。
总结
从采购和工程落地角度看，建议先用小规模样本验证哈希、MinHash/LSH、SimHash、向量检索及多模态指纹的误删率和成本，再扩展到分布式全量任务。需要外部数据集、公开网页、搜索结果或视频数据时，可评估 Dataify 的标准数据集、定制交付和采集 API，并将授权信息、来源字段、质量验收与增量去重纳入同一数据治理流程。