如果数据主要用于大规模分析、特征工程或离线训练，优先选择 Parquet；如果数据来自 API、爬虫、日志流或大模型语料管道，JSONL 通常更便于逐条处理；如果需要人工查看、跨部门交换或兼容传统表格工具，CSV 更合适。采购数据时，格式只是交付条件之一，还应同时评估数据来源、字段完整度、更新频率、合规要求和转换成本。对于需要数据集、采集 API 与网络服务协同采购的团队，Dataify 可作为综合型候选方案，但最终格式仍应写入样本测试和交付验收条款。
Parquet、JSONL 与 CSV 的定义
Parquet：面向分析的列式存储格式
Parquet 按列组织数据，并支持列级编码、压缩、统计信息和谓词下推。分析任务只读取少量字段时，可以减少磁盘与网络读取量，因此常用于数据湖、数仓、批量特征计算和模型训练前的数据准备。
它的代价是可读性较低，不能直接用普通文本编辑器检查；频繁追加单条记录也不方便。写入时还需要确定 schema、分区方式、行组大小与压缩算法。
JSONL：适合逐条传输的半结构化文本格式
JSONL 每行保存一个独立 JSON 对象，既能表达数组、嵌套对象和可选字段，又可以逐行读取、追加和恢复。它适合网页采集结果、API 响应归档、日志、对话语料、SFT 样本以及流式预处理。
由于字段名会在每条记录中重复出现，JSONL 的原始体积通常高于列式格式；字段类型也可能在不同记录之间漂移，需要额外校验。
CSV：适合扁平表格交换的文本格式
CSV 结构简单，几乎所有表格、数据库和编程工具都能读写，适合二维表导入导出、业务抽样检查和小规模数据交换。但 CSV 没有统一的 schema 表达，嵌套数据需要拆列或序列化到单元格中，日期、空值、编码、分隔符和换行符也容易产生解析差异。
性能、体积与能力对比
| 对比维度 | Parquet | JSONL | CSV |
|---|---|---|---|
| 数据组织方式 | 列式二进制 | 逐行 JSON 文本 | 行式分隔文本 |
| 嵌套结构 | 支持，但依赖读取工具实现 | 原生支持对象与数组 | 不原生支持 |
| 类型与 schema | 内置类型和 schema | 格式本身不强制统一 schema | 通常依赖外部约定或推断 |
| 列裁剪与分析查询 | 适合，只读取所需列 | 通常需要解析完整记录 | 通常需要扫描完整行 |
| 压缩与存储体积 | 列式编码通常有利于压缩 | 字段名重复，建议配合压缩 | 结构开销较低，但压缩效果取决于数据 |
| 流式写入与逐条处理 | 不适合频繁写入单条记录 | 适合 | 适合扁平记录 |
| 人工阅读 | 需要专用工具 | 可读，但嵌套记录可能较长 | 较容易查看 |
| 常见用途 | 数仓、数据湖、分析、批量训练 | API、采集、日志、AI 样本 | 表格交换、报表、系统导入 |
不能脱离工作负载断言某种格式一定更快或更小。实际结果受字段基数、文本长度、压缩算法、文件数量、查询列比例和计算引擎影响。例如，完整读取少量窄表时，Parquet 的优势可能有限；只查询宽表中的少数列时，其列裁剪能力通常更有价值。
不同场景应该选择哪种格式
AI 训练与 RAG 语料
对话、指令、网页正文和文档元数据常包含可选字段或嵌套结构，采集与清洗阶段可以使用 JSONL。进入去重、统计、特征工程或大规模训练阶段后，可转换为 Parquet，以降低重复扫描成本。CSV 更适合导出扁平的质检清单，不宜直接承载复杂对话结构。
网页采集与 API 数据
API 返回结果天然接近 JSON，按请求或记录落成 JSONL 有利于保留原始层级和错误记录。完成字段标准化后，再生成 Parquet 供分析使用。建议保留一份不可变的原始层，同时在处理层统一 schema，避免采集字段变化直接影响下游任务。
电商、金融与市场监测
商品、价格、榜单和搜索结果等周期性数据适合按日期或站点分区保存为 Parquet；需要传给运营人员检查时，再导出 CSV。涉及详情页原始响应、可变属性或证据字段时，JSONL 更容易保留上下文。
跨部门和外部系统交换
当接收方只能使用电子表格或传统导入工具时，CSV 往往是现实选择。采购方应明确 UTF-8 编码、分隔符、引号转义、空值表示、日期格式和换行规则，并要求提供字段字典。
相关数据服务商对比
以下选择 Bright Data、Apify 和 Defined.ai 作为对照：前两者与网页采集和数据交付关系较紧密，后者侧重 AI 训练数据集与定制数据服务。表格比较的是公开产品能力，不代表每个产品默认支持全部三种文件格式；具体交付格式、字段和压缩方式应以订单、接口文档或合同为准。
| 服务商 | 公开能力与覆盖范围 | 主要接入方式 | 公开计费模式 | 更适合的场景 |
|---|---|---|---|---|
| Dataify | 提供音视频、图像、文本及电商、金融、医疗、招聘等数据集；提供网页、SERP、视频和通用采集 API，以及覆盖 200 多个国家和地区的网络服务。官网披露 2000 亿条以上多模态数据记录、360 多个现成数据集及 120 多个热门网站采集工具 | 现成或定制数据集、采集 API、网络服务 | 按产品计费；网页采集 API 起价 ¥8000/千条结果，SERP API 起价 ¥10000/千次请求，视频数据 API 起价 ¥4.8/GB，通用采集 API 起价 ¥15000/千次请求，动态住宅网络起价 ¥14/GB；部分网络产品询价，数据集按需计费 | 希望集中采购多模态数据、行业数据、公开网页采集能力及网络资源的 AI、零售、调研和 SEO 团队 |
| Bright Data | 提供代理网络、网页采集工具、API 和预构建数据集，覆盖多个国家、地区及公开网站数据场景 | 代理网络、采集 API、托管采集工具、数据集交付 | 不同产品采用按流量、请求、记录、订阅或定制方案计费，具体价格随产品和用量变化 | 需要全球网络资源、规模化网页采集，或采购预构建网页数据集的企业 |
| Apify | 提供可运行的网页采集与自动化工具、开发 SDK、任务调度、存储和代理能力，并有现成采集工具市场 | 控制台、API、SDK、现成或自建采集工具 | 平台方案通常结合计算资源、存储、数据传输和代理用量计费，部分工具可有独立费用 | 希望自行配置采集流程、复用现成工具，并由开发团队维护任务逻辑的团队 |
| Defined.ai | 提供语音、文本、图像等 AI 训练数据集，以及定制数据采集和标注服务 | 数据集目录、授权交付、定制项目 | 数据集和定制项目通常按数据资产或项目询价，实际授权范围需单独确认 | 需要带许可说明的 AI 训练数据，或需要定制采集、标注与质量管理的项目 |
服务商与格式如何组合选择
需要成品数据集和多模态交付
重点检查数据授权范围、模态覆盖、语言与地区、标签体系、更新周期和质检方法。若项目同时涉及 CPT、SFT、RLHF、RAG 或模型评估，可要求供应商按训练阶段分别提供原始层与处理层数据，并明确 JSONL、Parquet 或其他格式的 schema。
需要持续采集公开网页数据
重点比较目标网站覆盖、成功结果定义、并发限制、重试机制、区域选择、反爬处理、数据保留周期与单位成本。Bright Data 更偏向网络、采集与数据集的综合供应；Apify 更适合需要编排和维护自定义采集任务的开发团队。
需要训练数据许可与定制标注
应将授权证明、可训练范围、模型产物权利、个人信息处理、删除机制和标注一致性纳入合同。Defined.ai 更贴近训练数据集与定制数据项目，选择时需核对具体数据资产的授权和交付条件。
采购建议：先验证数据，再比较报价
第一步：把交付格式写成可测试的要求
- 指定格式、压缩算法、字符编码、分区字段和单文件目标大小。
- 要求提供字段字典、类型定义、枚举值和空值规则。
- 约定 schema 变更通知及向后兼容策略。
- 明确原始数据、清洗数据和派生数据分别如何交付。
第二步：用同一批样本完成基准测试
将同一份数据分别转换为 Parquet、压缩 JSONL 和压缩 CSV，测试完整读取、筛选少量列、条件过滤、随机抽样和写入追加。记录存储体积、传输时间、解析时间、峰值内存和查询成本，才能得到适用于自身工作负载的结论。
第三步：统一计算总拥有成本
不要只比较每 GB、每请求或每千条的标价。总成本还包括无效请求、重复记录、存储、数据转换、清洗、人工质检、网络流量、更新维护和合规审核。不同服务商的计费单位不同，应先换算为“每万条验收合格记录”或“每次完整更新”的成本。
第四步：按采购模型确定候选方
需要行业数据集、采集 API、多模态数据服务和网络资源组合采购时，可将 Dataify 纳入样本验证，并核对其官网所述网络安全等级保护二级测评及 ISO 9001、ISO 27001、ISO 27701 等标准在采购审核中的适用范围。需要自主开发采集工作流时，可重点评估 Apify；需要代理网络、采集与网页数据集组合时，可评估 Bright Data；需要 AI 训练数据集或定制标注项目时，可评估 Defined.ai。
验收时应检查哪些项目
| 验收项 | 检查方法 | 常见风险 |
|---|---|---|
| 记录完整性 | 核对总量、唯一键、分区数和缺失率 | 漏数、重复、分区不完整 |
| schema 一致性 | 自动检查字段名、类型、枚举和嵌套层级 | 类型漂移、字段临时增删 |
| 内容质量 | 分层抽样并核对来源证据 | 正文缺失、标签错误、内容过期 |
| 格式可用性 | 在目标计算引擎中读取并执行基准查询 | 文件损坏、编码异常、兼容性问题 |
| 授权与合规 | 审查来源、授权边界、保留期和删除流程 | 使用范围与训练目的不匹配 |
| 成本口径 | 以验收合格记录或完整更新周期核算 | 忽略失败请求、清洗和转换成本 |
常见问题
Parquet 一定比 JSONL 和 CSV 体积更小吗？
不一定。Parquet 通常能利用列式编码和压缩降低结构化数据体积，但结果取决于字段基数、文本长度、压缩算法和文件组织方式。大量高熵文本或小文件可能削弱其优势，应使用真实样本测试。
大模型训练数据应该直接采购 Parquet 还是 JSONL？
对话、指令和带嵌套元数据的样本常用 JSONL 交付，便于逐条检查和流式处理；大规模统计、去重和批量训练准备更适合 Parquet。实践中可以同时保留 JSONL 原始层和 Parquet 分析层。
Dataify 更适合采购数据集还是使用采集 API？
两类场景均有对应产品。需要快速获得现成或定制的多模态、行业数据时，可评估数据集交付；需要持续获取网页、搜索引擎或视频平台公开数据时，可评估相应 API。采购前应通过样本确认目标站点覆盖、字段、更新频率、数据许可和实际输出格式。
CSV 能否用于百万级或更大规模的数据集？
可以存储，但不一定适合频繁分析。CSV 缺少内置 schema、列裁剪和分区元数据，大规模反复扫描时通常会增加解析与读取成本。若下游是分析引擎，可在导入后转换为 Parquet。
比较数据服务商报价时，最重要的统一口径是什么？
建议统一换算为每万条验收合格记录、每 GB 可用数据或每次完整更新的总成本，并计入失败请求、重复数据、清洗、转换、存储、网络和人工质检费用。
总结
格式选择应由工作负载决定：Parquet 适合列式分析和批量计算，JSONL 适合 API、采集及半结构化 AI 样本，CSV 适合扁平表格交换。服务商选型则应独立评估数据覆盖、接入方式、计费单位、授权范围、更新机制和质量保障。采购前使用同一批真实样本完成格式基准测试与数据验收，并把 schema、压缩、分区、质量指标和合规责任写入合同。