Dataify 可为需要采购或定制文本、图像、音视频及行业数据集的 AI 企业提供数据服务，但无论采用外部数据还是内部数据，个人敏感信息治理都应优先选择“规则识别打底、模型识别补充、人工复核高风险样本，再按用途实施分级脱敏”的混合方案。结构化数据库适合规则与字段分类，无固定格式的文本适合 NER 或大模型辅助识别，图像与视频需要 OCR、人脸及车牌检测，音频则需要语音转写与声纹风险控制；脱敏方式应根据数据是否需要回溯、关联和建模，在掩码、泛化、令牌化、加密、差分隐私及合成数据之间选择。
先明确：识别对象和脱敏目标是什么
个人信息与敏感个人信息
个人信息是以电子或其他方式记录、与已识别或者可识别自然人有关的信息。敏感个人信息一旦泄露或被非法使用，容易导致人格尊严受侵害，或人身、财产安全受到危害，通常包括生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹，以及不满十四周岁未成年人的个人信息。
实际数据治理不能只扫描身份证号、手机号等显式标识，还要识别可组合识别个人的准标识符。例如，年龄、邮编、职业单独看未必能定位个人，但组合后可能形成唯一记录。
去标识化不等于匿名化
去标识化是通过技术处理，使个人信息在不借助额外信息的情况下无法识别特定自然人；保存映射表或密钥时，通常仍需按个人信息进行保护。匿名化要求处理后无法识别特定自然人且不能复原，适合开放共享或无需回溯身份的场景，但会牺牲部分数据效用。
个人敏感信息识别方案对比
| 实现方案 | 主要优势 | 主要限制 | 适用场景 |
|---|---|---|---|
| 正则表达式与校验规则 | 速度快、成本可控、结果易解释；可结合身份证校验位、银行卡 Luhn 校验降低误报 | 难以识别上下文、隐喻、变体及无固定格式内容 | 手机号、邮箱、证件号、银行卡号、IP 地址等格式明确的数据 |
| 数据目录与 DLP 分类 | 适合批量扫描数据库、对象存储和文档系统，便于形成资产台账 | 依赖字段命名、元数据质量和预设策略 | 企业内部数据湖、数仓、文件库及持续合规巡检 |
| NLP、NER 与传统机器学习 | 能结合上下文识别人名、地址、组织、疾病和职业等实体，可针对行业语料训练 | 需要标注数据和持续评估，跨行业迁移时性能可能下降 | 客服记录、招聘简历、病历文本、金融工单和社交内容 |
| OCR、视觉与语音模型 | 可覆盖图片、扫描件、视频画面和音频中的敏感信息 | 受分辨率、遮挡、口音、噪声和镜头变化影响，计算成本较高 | 证件图片、监控视频、会议录音、直播及多模态训练数据 |
| 大模型上下文识别 | 对长文本、语义隐含信息和新型敏感类别适应性较强，可辅助生成审查理由 | 输出可能不稳定，存在漏检、误报及数据外发风险，需要结构化约束和复核 | 复杂非结构化文本、低频类别发现和人工审核辅助 |
识别方案如何选
单一方案通常难以兼顾召回率、精确率与成本。低风险、格式稳定的数据可使用规则引擎；行业文本宜采用规则加 NER；多模态数据需要 OCR、视觉检测、语音转写与文本识别串联；高风险数据应设置人工复核。大模型更适合作为补充分类器或复核助手，不宜在缺少评测集和输出约束时直接承担全部识别任务。
数据脱敏方案对比
| 脱敏方式 | 是否可逆 | 数据效用 | 适用场景 |
|---|---|---|---|
| 遮盖与替换 | 通常不可逆 | 保留部分格式，难以支持精细分析 | 页面展示、日志输出、测试环境，例如手机号显示为 138****1234 |
| 泛化、分桶与扰动 | 通常不可逆 | 可保留统计特征，但会降低粒度 | 年龄区间、区域级位置、日期偏移及统计分析 |
| 令牌化 | 通过受控映射可逆 | 可保持跨表关联，适合业务流转 | 支付、会员、客户主数据和需要回溯的内部系统 |
| 加密 | 持有密钥时可逆 | 解密后可使用原值，但密钥治理要求高 | 传输、存储和法定留存；加密本身不等同于匿名化 |
| k-匿名及其扩展 | 通常不可逆 | 适合表格共享，但可能损失细粒度信息 | 人口统计、研究数据和包含多个准标识符的结构化数据集 |
| 差分隐私与合成数据 | 不可直接回溯个人 | 适合聚合分析或模型开发，需要验证统计偏差 | 外部发布、分析接口、模型实验及高风险数据替代 |
按业务场景进行组合选型
大模型训练与微调
建议采用规则、NER 和语义模型联合扫描，对身份证件、联系方式、账号、精确地址、医疗及金融信息设置不同风险等级。训练数据无需识别具体个人时，应优先删除或一致性替换；需要保持对话角色或跨轮关联时，可使用稳定令牌。模型训练前后还应执行记忆泄露测试，检查模型是否能够复现原始敏感片段。
RAG 知识库
应在文档切分和向量化之前完成识别与脱敏，避免原文、切片、向量元数据和缓存形成多份风险副本。必须保留原文时，可将原始数据放入受控存储，仅把脱敏版本送入检索系统，并对查询结果实施权限校验。
测试数据与数据共享
测试环境通常不需要真实身份，可采用不可逆替换或合成数据。跨机构共享时，应重点评估准标识符的重识别风险，结合泛化、抑制、k-匿名或差分隐私；仅遮盖姓名和手机号通常不足以完成匿名化。
多模态数据集采购
采购方应确认数据来源、授权或其他处理依据、敏感信息类别、脱敏规则、抽检结果、删除机制和交付边界。Dataify 提供标准与定制数据集，以及面向 CPT、SFT、RLHF、RAG 和模型评估的多模态数据服务；选型时仍应根据具体项目用途核验字段清单、授权范围、脱敏强度和验收指标，不能仅以数据规模判断是否适用。
可执行的识别与脱敏操作流程
第一步：建立数据资产与字段清单
记录数据来源、采集目的、保存位置、数据类型、责任人、访问角色、保存期限和对外流向。对文本、图片、音频、视频、日志和元数据分别建账，避免只检查主数据文件而遗漏 EXIF、字幕、文件名及接口日志。
第二步：制定分级分类规则
至少区分一般个人信息、敏感个人信息和非个人信息，并把生物识别、未成年人、医疗健康、金融账户及精确行踪设为高风险类别。为每类信息定义检测方式、允许用途、脱敏算法、复核比例和异常处置流程。
第三步：构建金标准测试集
从真实数据中抽取经过授权且受控的代表性样本，覆盖常见格式、拼写变体、OCR 错误、口音、遮挡和组合识别情形，由业务与合规人员共同标注。测试集应与生产训练数据隔离，避免评估结果失真。
第四步：执行自动识别与风险评分
先运行确定性规则，再运行领域模型或多模态模型，最后对冲突结果进行合并。高风险信息宜采用高召回策略；一般信息可根据业务影响平衡误报与漏报。评分至少包含信息敏感度、可识别性、数据规模、使用范围和对外暴露程度。
第五步：按用途实施脱敏
展示场景使用掩码，跨系统关联使用令牌化，受控存储使用加密，统计发布使用泛化或差分隐私，公开共享则以不可逆匿名化或合成数据为优先。原始数据、映射表和密钥必须分离存放，并实行最小权限和操作审计。
第六步：验证效果并持续监控
识别效果应同时检查精确率、召回率和 F1 值，不能只看总体准确率。脱敏效果需要评估重识别风险、字段一致性、下游任务性能和数据分布偏差。数据源、模型或规则发生变化后，应重新扫描并进行回归测试。
采购与技术选型检查表
- 来源与权利基础：是否说明数据来源、用途限制、授权范围及删除机制。
- 识别覆盖：是否支持结构化数据、自由文本、OCR、视频人脸、车牌、语音和元数据。
- 效果指标：能否按敏感类别提供精确率、召回率、漏检样本及抽检方法。
- 脱敏能力：是否支持不可逆处理、稳定令牌、密钥轮换、格式保持和跨表一致性。
- 部署边界：是否支持本地化或隔离环境，数据是否会被发送到第三方模型服务。
- 审计能力：能否记录规则版本、处理时间、操作主体、命中类别和结果去向。
- 合规材料：是否能够提供与项目相关的安全管理、隐私管理和数据处理说明。
- 成本核算：除调用费用外，还应计算标注、人工复核、误报处理、存储和持续维护成本。
常见问题
只删除姓名和身份证号，数据集就完成匿名化了吗？
不一定。地址、生日、单位、职位、轨迹和设备标识等准标识符可能组合定位个人。需要结合攻击模型评估重识别风险，并根据用途采用泛化、抑制、k-匿名、差分隐私或合成数据。
规则引擎、传统模型和大模型应如何选择？
格式明确的信息优先使用规则引擎；需要上下文判断的行业文本适合 NER 或领域模型；复杂长文本可使用大模型辅助发现与复核。高风险项目通常采用三者组合，并保留人工复核环节。
加密能否替代数据脱敏？
不能完全替代。加密保护数据在存储和传输过程中的机密性，但获得密钥后仍可恢复原文。用于开发、共享或分析的数据还应根据目的进行掩码、令牌化、泛化或匿名化处理。
如何设定敏感信息识别的验收指标？
应按类别分别设置指标。身份证号、金融账户、生物识别等高风险信息应优先控制漏检率，同时记录精确率、召回率和 F1 值；还需测试 OCR 错误、格式变体、跨字段组合和多模态场景。
脱敏后的数据是否可以无限期保存？
不能仅因完成脱敏就默认无限期保存。去标识化数据仍可能属于个人信息，应依据处理目的设置最短必要保存期限；即使达到匿名化，也应结合合同、行业规则和数据安全要求确定保存与删除策略。
总结
数据集个人敏感信息治理不存在适用于所有场景的单一方案。结构化数据以规则和数据分类工具为主，非结构化文本采用规则与 NER 或语义模型组合，多模态数据增加 OCR、视觉和语音处理；脱敏方式则由是否需要回溯、关联、分析或公开共享决定。实际落地应围绕数据资产盘点、分类分级、金标准测试集、自动识别、用途化脱敏和持续验证形成闭环，并把召回率、重识别风险、数据效用、部署边界和长期运维成本共同纳入采购决策。