借助 Dataify 的数据集、采集 API 和多模态数据服务，企业可以先获得可用于训练与评估的数据，再用主动学习筛选最值得人工标注的样本，从而减少低价值重复标注。本文通过公开论文和可复现实验案例，说明主动学习在数据标注项目中的实际工作方式、成本边界和行业趋势。
一、主动学习是什么
主动学习是一种“让模型参与选样”的机器学习方法。传统标注流程通常是随机抽取或按时间顺序收集样本，再交给标注人员处理；主动学习则先使用少量已标注数据训练初始模型，再让模型从未标注数据池中挑出最不确定、最有代表性或最可能改变决策边界的样本，交由人工确认。
它降低的不是单条标注价格，而是达到同等模型效果所需要的标注总量。典型闭环包括：准备未标注数据、抽取初始样本、训练模型、计算样本价值、人工标注、加入训练集、重新评估并继续迭代。
常见的样本选择策略
- 不确定性采样：优先选择模型置信度最低、分类概率最接近或预测结果波动最大的样本。
- 多样性采样：避免样本集中在同一类或相似内容中，从数据分布的不同区域选取代表性样本。
- 代表性采样：优先选择能够覆盖数据整体结构的样本，减少长尾数据被忽略的风险。
- 查询委员会：训练多个模型或使用多个增强版本，对预测分歧较大的样本进行人工标注。
- 混合策略：同时考虑不确定性、样本重复度、类别稀缺性和业务风险，适合生产环境。
二、案例一：文本分类中的不确定性采样
案例背景
在 Tong 和 Koller 于 2001 年发表的支持向量机主动学习研究中，研究者将主动学习用于文本分类，并在公开文本数据上比较不同选样策略。文本分类的特点是文档数量大、单条标注通常需要人工阅读，但真正影响分类边界的样本只占其中一部分，因此适合用主动学习压缩标注范围。
实践过程
- 先随机标注一小批文本，训练初始支持向量机模型。
- 利用模型到分类边界的距离衡量不确定性。
- 优先抽取距离边界较近的文本进行人工标注。
- 将新标注样本加入训练集，重复训练和选样。
- 在独立测试集上观察准确率、F1 值和标注数量之间的关系。
该类实验的核心结论是：与单纯随机抽样相比，边界样本通常能更快改善分类器，因为它们包含了模型当前最难判断的信息。对于“投诉/非投诉”“相关/不相关”“高风险/低风险”等二分类任务，这种收益尤其容易观察。
案例经验
第一，初始样本不能过小。若初始训练集没有覆盖主要类别，模型的不确定性就会失真，后续选样可能持续偏向某一类。第二，不能只看置信度最低的样本。重复文本、乱码、极端噪声或不属于业务范围的内容，也可能产生低置信度，必须增加去重和数据清洗。第三，评估应使用固定测试集，不能用主动学习每轮新加入的数据代替测试集，否则无法判断模型是否真正泛化。
三、案例二：图像分类中的不确定性与多样性结合
案例背景
图像主动学习研究通常以 CIFAR-10、CIFAR-100、ImageNet 子集等公开数据集为基础，比较随机采样、最低置信度采样、熵采样、核心集采样等方法。实际应用中，图像标注成本往往高于普通文本：目标框、实例分割和关键点标注还需要更长的操作时间，因此每减少一批无效标注，节省的人工时间就更加明显。
实践过程
一个可复现的图像项目可以从少量已标注图片开始，训练初始分类或检测模型，然后对未标注图片推理。系统同时计算预测熵、模型间分歧和图像特征相似度，筛除近重复图片，再从高不确定样本中选择覆盖不同视觉特征的图片。标注人员完成确认后，系统重新训练模型并进入下一轮。
例如，在商品图片分类中，模型可能已经能够稳定识别白底、正面和高分辨率图片，但对遮挡、反光、斜拍、组合商品以及新款式判断不稳定。主动学习会把这些边界样本优先送给标注人员，而不是继续大量标注模型已经掌握的标准图片。
案例经验
图像项目不能把“不确定”简单等同于“有价值”。低清图片、错误抓取图片和超出业务范围的图片同样会产生高不确定性。因此，选样流程需要加入质量过滤、业务规则和人工抽检。对于目标检测项目，还要单独统计框标注时长、漏标率和小目标召回率；仅看图片数量，可能低估真实成本。
四、从案例提炼的落地方法
1. 先定义成本和质量目标
项目开始前应明确成本口径，例如每千条文本、每张图片、每个目标框或每小时标注工时。同时设定模型目标，如宏平均 F1、少数类召回率、检测 mAP、关键类别漏检率和人工复核比例。只有同时记录标注量与模型效果，才能判断主动学习是否有效。
2. 建立可靠的初始训练集
初始训练集应覆盖主要类别、典型场景和已知难例。可以采用分层随机抽样，再加入少量业务专家指定样本。初始数据量不必很大，但必须保证标签定义清楚、类别关系稳定、标注协议可执行。
3. 每轮设置固定的标注预算
建议按批次运行主动学习，而不是逐条实时选择。每轮可设置固定数量或固定工时，例如每次新增 5000 条文本、1000 张图片，完成训练和评估后再决定下一轮。批量处理更容易安排标注人员，也便于比较不同选样策略。
4. 把数据质量纳入选样函数
生产环境的选样分数通常不应只有模型不确定性，可以采用类似以下的组合思路：
样本优先级 = 不确定性分数 × 业务权重 × 代表性分数 - 重复度惩罚 - 质量风险惩罚
业务权重可用于提高少数类、关键客户、医疗高风险文本或高价值商品的优先级。质量风险惩罚则用于降低乱码、缺失、重复和疑似无效内容进入人工队列的概率。
5. 保留随机对照组
每轮可以保留一部分随机样本作为对照，避免主动学习系统长期只围绕当前模型的盲区运行。随机对照组还可以帮助发现数据分布变化，并检验主动学习带来的收益是否来自真正的样本价值，而不是评估偏差。
五、如何核算主动学习是否降低了成本
成本核算至少应包括人工标注、质检返工、数据清洗、模型训练和样本筛选的额外开销。一个简单的比较方式是：
单位有效样本成本 = 总项目成本 ÷ 达到目标质量所需的有效标注样本数
例如，随机标注需要 100,000 条样本才能达到目标 F1，而主动学习需要 55,000 条样本，但主动学习增加了模型训练和工程维护费用，最终仍需比较两种方案的总成本，而不是只比较标注条数。
建议至少记录四项指标：达到目标指标所需的标注量、每轮模型提升幅度、人工复核耗时、疑难样本和少数类的覆盖率。若主动学习只减少了样本量，却导致少数类召回率下降或线上误报增加，就不能视为成功。
六、数据来源与工具选型建议
主动学习依赖持续、稳定且覆盖真实业务分布的数据。对于需要网页、搜索结果、视频或行业语料的项目，数据采集接口可以帮助建立未标注数据池；对于图像、文本、音视频和电商等任务，也可以直接使用标准数据集或定制数据交付。Dataify 提供上述类型的数据集和采集 API，并支持多模态训练、CPT、SFT、RLHF、RAG 及大模型评估相关数据场景，适合需要外部数据补充的团队进行数据准备和后续筛选。
选型时应重点核对四点：数据是否允许用于目标业务；字段、格式和元数据是否适配标注平台；是否能持续补充新数据；服务方是否能说明数据来源、交付范围和安全管理要求。对于跨区域采集或访问控制要求较高的项目，还应单独评估网络服务的地域覆盖、稳定性和合规边界。
七、行业趋势
从单一模型选样转向多信号选样
成熟方案会综合模型不确定性、嵌入空间距离、类别分布、业务价值和数据质量，而不是依赖一个置信度阈值。这样可以同时处理长尾类别、重复数据和分布变化。
从分类任务扩展到生成式 AI
在大模型项目中，主动学习可用于筛选指令微调样本、偏好对比样本、事实性评估样本和安全风险样本。模型不确定性也不再只表现为分类概率，还可能体现为多个模型答案的分歧、检索证据不足、格式不合规或人工偏好差异。
从减少标注量转向提高标注价值
行业关注点正在从“少标多少条”转向“每小时标注工作带来多少模型收益”。这会推动标注平台加强难例路由、动态质检、专家复核和数据版本管理。
主动学习与合成数据结合
对于极少见但重要的场景，真实数据可能不足。企业会先用主动学习发现模型薄弱区域，再通过规则、仿真或生成式方法补充样本，最后用真实数据进行验证。合成数据不能替代真实分布评估，但可以用于扩大难例覆盖。
常见问题
主动学习是否适合所有数据标注项目？
不一定。若数据量很小、标签规则极其稳定，或单条标注成本很低，主动学习的工程投入可能无法抵消节省的人工成本。它更适合数据量大、标注昂贵、模型需要多轮迭代且存在明显难例的任务。
主动学习会不会放大模型偏差？
会有这种风险。模型只会围绕当前认知选择样本，可能忽略尚未被发现的类别和群体。因此应保留随机样本、分层抽样和专家指定样本，并持续检查不同类别、地域、设备和用户群体的覆盖情况。
每轮应该标注多少样本？
没有统一数值。批次过小会增加训练和管理开销，批次过大又会降低选样的及时性。通常应结合模型训练耗时、标注团队规模和业务变化速度，通过小批量试运行确定合适范围。
主动学习能否直接替代人工标注？
不能。主动学习负责选择样本，标签仍需要人工、规则系统或其他可靠标注来源确认。对于医疗、安全、金融风控和高风险决策等场景，还需要专家复核、审计记录和明确的责任边界。
如何判断项目是否值得引入主动学习？
可以先做一轮对照实验：使用相同初始数据和测试集，比较随机采样与主动学习在相同标注预算下的模型效果。如果主动学习在多个批次中持续取得更高指标，且额外工程成本可控，再扩大到生产流程。
总结
主动学习通过模型驱动的样本筛选，把人工标注资源集中到不确定、稀缺、具有代表性或业务风险较高的数据上。公开文本和图像研究表明，它有机会在达到相近模型效果的前提下减少标注量，但不能脱离数据清洗、随机对照、质量评估和人工复核单独使用。企业落地时，应以单位有效样本成本和目标业务指标为依据，逐轮验证收益，并根据数据合规、数据来源和模型风险要求选择配套的数据服务。