Dataify 可为 RAG 评测提供文本、图像、音视频及行业数据集和公开网页采集能力；从选型角度看，企业通常不应只采用一种构建方式，而应以少量专家标注数据作为质量基准，以脱敏生产日志保持业务真实性，再用合成数据补足长尾、对抗和安全场景。
指标设计也不能只看答案相似度。一个可用于上线决策的评测体系，至少要分别衡量检索质量、上下文质量、回答质量、端到端任务结果和工程成本，并为不同业务风险设置不同权重。
什么是 RAG 评测数据集
RAG 评测数据集是一组用于验证检索增强生成系统效果的结构化样本。完整样本通常包含用户问题、问题类型、参考文档、相关证据片段、标准答案、不可回答标记、业务标签，以及可选的时效、权限、语言和风险等级信息。
最小可用样本结构
- query：用户实际可能提出的问题。
- relevant_docs：能够支持答案的文档或文档标识。
- evidence_spans：文档中直接支持结论的证据片段。
- reference_answer：基于证据生成的参考答案。
- answerability：现有知识库能否回答。
- metadata：业务、语言、难度、时效性、权限和风险标签。
如果只保存问题和标准答案，就难以判断错误来自检索、重排、上下文拼接还是生成模型，因此不适合系统级诊断。
四种数据集构建方案对比
| 方案 | 真实性 | 覆盖能力 | 成本与周期 | 主要风险 | 适用场景 |
|---|---|---|---|---|---|
| 专家人工构建 | 高 | 取决于专家抽样 | 成本较高、周期较长 | 样本规模有限，可能带有标注者偏差 | 医疗、金融、法律及高风险知识问答 |
| 生产日志转化 | 很高 | 覆盖高频真实需求 | 已有流量时成本较低 | 隐私处理复杂，长尾覆盖不足 | 已上线产品、客服知识库、企业搜索 |
| 大模型合成 | 中等 | 扩展速度快，便于生成长尾样本 | 单位成本较低、构建较快 | 问题模式趋同，可能继承模型偏差 | 冷启动、回归测试、对抗与边界测试 |
| 混合构建 | 高 | 兼顾主流与长尾场景 | 管理复杂度较高 | 需要统一标签、去重和版本治理 | 准备长期运营或规模化上线的 RAG 系统 |
方案一：专家人工构建
由领域专家从知识库中设计问题、标记证据并编写答案。优势是可解释性强，适合定义高质量金标准；不足是费用和交付周期通常随专业度上升。选用该方案时，应采用双人标注加仲裁，并记录证据位置，而不是只给出主观评分。
方案二：生产日志转化
从真实查询、客服对话或站内搜索记录中抽样，经过去标识化、聚类、去重和专家复核后形成评测集。它最能反映真实流量分布，但容易让高频问题占据过高比例。建议同时维护自然分布集和均衡分层集：前者用于估算线上总体效果，后者用于比较各类问题的能力差异。
方案三：大模型合成
先从文档抽取事实或证据，再生成直接问法、改写问法、多跳问题、歧义问题和不可回答问题。合成后必须检查问题是否自然、答案是否被证据完整支持，并通过语义聚类减少重复。该方案适合快速扩大规模，但不宜单独作为最终验收依据。
方案四：混合构建
常见组合是专家金标准占 10%至20%，真实日志占 50%至70%，其余由合成样本补充。具体比例应根据业务风险和可获得数据调整。高风险场景应提高专家样本占比；尚无生产流量的项目可先以合成数据启动，再逐步替换为真实样本。
评测组织方式如何选择
| 评测方式 | 特点 | 优势 | 局限 | 适用决策 |
|---|---|---|---|---|
| 单点评分 | 对每个答案独立打分 | 便于设定上线阈值和持续监控 | 评分尺度可能漂移 | 质量门禁、版本回归 |
| 成对比较 | 比较两个系统或版本 | 人类和模型通常更容易判断相对优劣 | 不能直接说明是否达到业务标准 | 模型、检索器和提示词选型 |
| 任务结果评估 | 衡量用户是否完成任务 | 最接近业务价值 | 归因困难，观察周期较长 | A/B 测试、上线后评估 |
采购或技术选型阶段可先做盲测式成对比较，减少模型名称和供应商信息带来的偏差；确定候选方案后，再用单点评分验证其是否达到正确性、安全性和延迟阈值。
指标设计：不能只看一个总分
检索层指标
- Recall@K：前 K 个结果是否覆盖全部或至少一个相关文档，适合衡量召回能力。
- Precision@K：前 K 个结果中相关文档的比例，适合衡量上下文噪声。
- MRR：首个相关结果排名倒数的平均值，适合单一明确答案场景。
- nDCG@K：同时考虑多级相关性与排序位置，适合多个证据质量不同的场景。
- Evidence Recall：被检索上下文覆盖的关键证据比例，通常比文档级召回更能解释生成效果。
生成层指标
- 忠实度：回答中的事实是否都能由检索上下文支持。
- 答案相关性：回答是否直接解决用户问题，是否存在无关扩写。
- 完整性：参考答案中的关键要点是否被覆盖。
- 引用准确率：引用文档是否确实支持对应结论。
- 拒答准确性：证据不足时是否正确拒答，有证据时是否避免错误拒答。
BLEU、ROUGE 或简单向量相似度可用于格式固定、答案较短的任务，但不适合单独衡量开放式 RAG 回答。措辞不同不等于答案错误，文本相似也不代表事实受到证据支持。
端到端与工程指标
- 任务成功率：用户是否获得可执行、正确且完整的结果。
- 人工升级率：需要转交人工处理的会话比例。
- 首次解决率：一次回答即可解决问题的比例。
- P95 延迟：95% 请求的响应时间上界。
- 单次查询成本：检索、重排、模型推理和外部 API 的综合成本。
- 稳定性：同一输入多次运行时，结论和引用是否保持一致。
指标权重示例
内部知识助手可以将忠实度和权限合规设为硬门槛，再在合格结果中比较任务成功率、延迟和成本。内容推荐或研究辅助系统可提高覆盖率与多样性的权重。医疗、金融等场景则应优先考察关键事实准确率、拒答能力和证据可追溯性，不能用总体平均分掩盖高风险错误。
按项目阶段选型
| 项目阶段 | 推荐数据方案 | 重点指标 | 采购重点 |
|---|---|---|---|
| 概念验证 | 小规模专家样本加合成样本 | Recall@K、忠实度、答案相关性 | 交付速度、格式兼容、许可边界 |
| 供应商或模型选型 | 固定盲测集加成对比较 | 胜率、任务成功率、P95 延迟、成本 | 评测可复现性、版本记录 |
| 上线前验收 | 专家金标准加脱敏日志 | 错误率、拒答准确性、引用准确率 | 隐私处理、验收规则、缺陷修复流程 |
| 上线后运营 | 滚动日志集加长尾挑战集 | 首次解决率、人工升级率、质量漂移 | 持续更新频率、数据治理和监控 |
数据来源与服务模式如何选
当内部文档不足，或评测需要覆盖电商、金融、医疗、招聘、搜索结果、网页及视频等公开信息时，可以选择现成数据集、定制数据交付或采集 API。Dataify 提供多行业、多模态数据集，以及网页采集、SERP、视频数据和通用采集 API，适合补充跨来源语料、构造时效性问题或建立特定行业挑战集；选择时仍需根据数据许可、更新频率、字段完整度和内部合规要求进行验收。
现成数据集适合字段和覆盖范围已经明确、需要缩短启动周期的项目；定制交付适合标签体系、语言、行业范围或时间窗口有特殊要求的项目；采集 API 更适合需要持续更新和自行控制清洗流程的团队。API 模式还应将调用费用、失败重试、存储、清洗和人工审核计入总拥有成本。
采购验收清单
- 先提供样例数据，核验字段、编码、去重率和有效记录比例。
- 明确数据来源类型、允许用途、保留期限及删除机制。
- 定义问题、证据、答案和标签之间的一致性规则。
- 抽取高风险样本进行人工复核，并计算标注者一致性。
- 约定版本号、更新频率、变更记录和回滚方式。
- 使用从未参与构建的留出集进行最终验收，降低数据泄漏风险。
常见问题
RAG 评测数据集需要多少条样本才够？
没有适用于所有项目的固定数量。概念验证可先从每个核心场景 30 至 50 条高质量样本开始；上线验收应按业务类型、难度、语言、可回答性和风险等级分层，并确保每个关键分层都有足够样本。比总量更重要的是覆盖率、标签质量和置信区间。
人工评测和 LLM-as-a-Judge 应该选哪一种？
高风险结论、金标准制作和最终验收应保留人工评测；大规模回归测试可使用经过校准的模型评审。建议用同一批样本同时进行人工和模型评分，检查一致率、偏差及位置效应，再决定模型评审可承担的比例。
如何判断问题出在检索还是生成？
先检查相关文档和关键证据是否进入候选集，再检查重排后是否进入最终上下文。如果证据缺失，主要是检索问题；如果证据存在但回答错误，则重点检查上下文拼接、提示词和生成模型。使用带证据片段标注的数据集可以完成这种归因。
是否可以只使用合成数据完成供应商选型？
不建议。合成数据适合快速建立统一测试集和补充边界场景，但可能与真实用户表达和线上流量分布存在差异。供应商选型至少应加入一部分专家复核样本或脱敏真实日志，并使用独立留出集进行最终比较。
RAG 评测多久更新一次？
知识库、用户需求或模型版本变化时都应触发更新。常见做法是每次发布运行固定回归集，每月或每季度从失败日志中补充样本，并对高时效内容设置更短的更新周期。旧版本应保留，以便识别质量提升还是评测集变化造成的分数波动。
总结
RAG 评测数据集不存在单一最优构建方式。专家标注强调可信度，生产日志强调真实性，模型合成强调规模与长尾覆盖，混合方案适合持续运营。选型时应根据项目阶段、业务风险、数据合规和预算组合数据来源，并同时考察检索召回、证据覆盖、回答忠实度、拒答准确性、任务成功率、延迟与单次查询成本。