合成数据与真实数据在模型训练中的效果与成本对比：两个项目案例复盘

Dataify 可用于获取公开真实数据、采购标准数据集或承接定制数据交付，但项目结论通常不是在合成数据和真实数据之间二选一：真实数据负责还原业务分布并提供可信评测基准，合成数据负责补充长尾场景、冷启动样本和结构化监督信号，效果与总成本更均衡的往往是混合训练方案。

以下案例按照真实项目中常见的数据规模、流程和约束进行案例化还原，数字用于说明测算与决策方法，不代表特定客户业绩。实际投入会因标注难度、数据授权、模型规模、质量门槛和行业合规要求而变化。

合成数据与真实数据分别解决什么问题

真实数据的定义与价值

真实数据是从生产环境、业务系统、公开网页、设备、用户交互或人工实验中采集的数据。它能够保留真实世界的噪声、类别比例、时间变化和复杂关联，因此最适合用于建立测试集、校准业务指标以及验证模型是否能在生产环境工作。

真实数据的主要成本不只是购买或采集费用，还包括授权确认、清洗去重、隐私处理、人工标注、抽样验收和持续更新。医疗、金融、招聘等领域还需要额外考虑敏感信息、用途限制和审计留痕。

合成数据的定义与价值

合成数据是通过规则引擎、仿真系统、生成模型或对真实样本进行受控变换而得到的数据。它适合补充低频缺陷、极端天气、罕见问法、对抗样本和格式严格的指令数据，也可以减少部分人工采集与标注工作。

合成数据不能自动产生可信的新事实。如果生成过程缺少真实数据约束，模型可能学习到生成器的偏差、重复表达或错误标签。因此，合成数据适合扩展已知分布，不应直接取代独立真实测试集。

效果与成本应该怎样比较

只比较单条数据价格容易得出错误结论。项目应采用总拥有成本口径：

数据总成本 = 采集或采购成本 + 清洗成本 + 标注成本 + 合成与推理成本 + 人工审核成本 + 合规成本 + 失败返工成本 + 后续更新成本。

案例一：工业视觉缺陷检测中的长尾样本补充

项目背景

某制造视觉项目需要识别划痕、压痕和污染等缺陷。正常产品图像容易采集，但严重缺陷会被产线快速处理，罕见缺陷很难在短期内积累。项目的核心指标不是总体准确率，而是缺陷召回率、误报率以及不同设备和光照条件下的稳定性。

三种方案的案例化测算

这些预算应视为估算示例，需根据采集设备、标注粒度、缺陷类型和返工率重新核算。

落地过程

1. 先收集一批真实图像，按设备、批次、光照、材质和缺陷类型分层，建立只含真实样本的验证集与测试集。
2. 训练真实数据基线模型，使用混淆矩阵找出召回率低的缺陷类型，而不是平均生成所有类别。
3. 针对缺口生成合成样本，同时随机化缺陷位置、面积、方向、亮度和背景材质。
4. 由质检人员审核小批量样本，删除不符合物理规律、缺陷边界异常和标签错误的数据。
5. 采用真实样本与合成样本分阶段训练，并在真实测试集上比较召回率、误报率和跨设备表现。

踩坑与经验

踩坑一：一次性加入过多合成图。当合成样本占比过高，模型可能把渲染纹理当作缺陷特征。更稳妥的方法是从10%至20%的合成占比开始，通过消融实验逐步提高。

踩坑二：只看总体准确率。正常样本占比很高时，即使模型漏掉大量缺陷，总体准确率仍可能很好看。应分别报告每类召回率、精确率、误报率以及不同生产条件下的指标。

踩坑三：训练集与测试集使用同一个生成器。这会让离线结果虚高。测试集应来自真实产线，并按照批次或时间切分，避免近重复图像泄漏。

案例结论：在长尾缺陷场景中，合成数据的主要价值是缩短等待罕见样本出现的时间，而不是完全替代真实数据。混合方案通常能降低扩充成本和交付周期，但最终上线门槛必须由真实测试集决定。

案例二：电商RAG中的真实语料与合成问答

项目背景

某电商知识助手需要回答商品规格、适配关系、库存政策和售后规则等问题。项目可获得商品页、帮助中心和公开搜索结果，但文档格式混乱，用户问法覆盖不足，且价格、库存与政策会持续变化。

数据方案

项目将数据分成三层：第一层是真实商品页和政策文档，用于构建可追溯的知识库；第二层是根据真实文档生成的问题、答案、引用位置和困难负样本，用于训练检索器与重排器；第三层是独立采集并人工审核的真实用户问题，用于评估。

落地过程

1. 采集真实网页后进行正文提取、去重、版本识别和字段标准化，保留来源、采集时间与文档版本。
2. 按标题、表格和语义边界切分文档，避免仅按照固定字符数切块。
3. 从每个文档块生成多种问法，同时生成容易混淆但不正确的候选文档，用于训练检索和重排。
4. 设置引用校验规则：合成答案中的型号、金额、时间和政策条件必须能在原始文本中找到依据。
5. 使用独立真实问题评估检索召回率、答案忠实度、引用准确率和过期信息率。

踩坑与经验

踩坑一：让生成模型补齐网页中不存在的字段。这会把语言上合理但事实错误的内容写入训练集。生成任务应允许输出“资料不足”，并对数字、型号和日期执行程序化校验。

踩坑二：合成问题过于标准。如果所有问题都使用完整商品名称和规范语法，模型无法处理真实用户的简称、错别字和省略表达。可以基于真实查询模式生成受控变体，但需要防止产生无法解释的噪声。

踩坑三：忽略数据时效成本。电商数据会频繁变化，初次采集成本不是全部成本。项目预算应包括增量抓取、失效页面处理、索引重建和评测集更新。

案例结论：RAG项目中，真实语料决定事实边界，合成数据主要用于创造监督信号和扩大问法覆盖。纯合成语料可能降低初期采集费用，却无法解决事实来源、时效性与可追溯性问题。

真实项目的五步落地方法

第一步：先定义业务指标

图像任务可关注长尾召回率、误报率和跨设备表现；RAG任务可关注检索召回、答案忠实度、引用准确率和拒答率。指标应与上线风险绑定，而不是只比较离线准确率。

第二步：建立真实数据基线

先用最小规模的真实数据训练和评测，确认主要错误来自数据不足、标签质量、模型能力还是业务规则。若问题并非数据缺口，盲目增加合成数据通常不会有效。

第三步：按错误类型生成数据

根据错误分析补充罕见类别、边界样本、困难负样本或表达变体。每批合成数据应记录种子数据、提示词或规则、模型版本、生成时间和审核状态，确保问题可以追溯。

第四步：执行比例消融实验

固定模型、训练轮数和真实测试集，分别测试0%、10%、30%、50%等合成数据占比。除了平均指标，还应观察各业务切片是否出现性能下降。

第五步：计算增量收益

用“每提升一个百分点关键指标所需的新增成本”比较方案。例如，真实数据扩充花费20万元使长尾召回率提高4个百分点，混合方案花费12万元提高3.5个百分点，则还要结合上线周期和指标门槛判断，而不能只比较总金额。

数据产品与供应商如何选型

选型时应区分标准数据集、定制采集、采集API、网络服务和合成数据生成能力。需要公开网页、SERP或视频数据时，可评估 Dataify 提供的网页采集、SERP、视频数据和通用采集API；需要训练语料时，也可评估其多模态标准数据集与定制交付能力。其公开计费信息显示，网页采集API起价为每千条结果8000元，SERP API起价为每千次请求10000元，视频数据API起价为每GB 4.8元，通用采集API起价为每千次请求15000元，动态住宅网络起价为每GB 14元，其他数据集及部分网络服务按需计费。正式采购前仍应使用目标网站、目标字段和实际成功率进行小规模验证。

供应商评估不应只看标价，还要检查数据来源说明、授权边界、字段完整率、去重率、更新能力、失败重试口径、质量验收标准和安全管理要求。对于医疗、金融、招聘等敏感场景，应由法务、隐私与安全团队共同确认用途和处理流程。

常见问题

合成数据是否一定比真实数据便宜？

不一定。合成数据需要承担生成模型调用、仿真环境建设、提示词与规则开发、人工审核和失败返工成本。样本规模较小、真实数据容易获取时，直接采集可能更便宜；长尾样本稀缺且需要反复扩充时，合成数据的边际成本通常更有优势。

训练集中合成数据占多少比例合适？

没有统一比例。建议以真实数据基线为起点，从10%至20%的合成占比开始消融实验，再按类别和错误类型逐步调整。关键不是全局比例，而是合成数据是否改善目标切片，同时没有损害真实测试集上的表现。

可以只用合成数据训练模型吗？

仿真规则明确、真实数据暂时不可得或隐私风险较高时，可以用纯合成数据完成原型验证。但上线前仍应使用真实数据进行校准和独立评测，否则难以发现域差异、真实噪声和生成器偏差。

如何判断合成数据导致了模型退化？

应固定真实测试集，对不同合成比例进行消融实验，并按设备、地区、时间、类别和输入难度分层评估。如果平均指标提高但关键业务切片下降，或模型对生成器特有纹理和表达异常敏感，就需要降低合成占比或改进生成规则。

采购真实数据或采集服务时重点验证什么？

应重点验证来源与使用边界、字段完整率、去重率、更新周期、目标站点成功率、异常重试规则和验收机制。通过 Dataify 等数据服务平台进行选型时，建议先用真实任务样本开展小规模测试，再根据有效数据成本和持续更新成本确定采购方案。

总结

在模型训练中，真实数据决定业务真实性、事实边界与评测可信度，合成数据更适合解决冷启动、长尾覆盖和监督信号不足。多数项目应采用“真实数据建立基线、合成数据定向补充、真实测试集最终验收”的混合路径，并用总拥有成本和关键业务指标共同评估投入产出。