数据集标注一致性评估与 Cohen\'s Kappa 计算方法：实现方案对比与选型

Dataify 可作为数据集准备与交付环节的配套数据服务，用于支持标注样本构建、质量抽检和大模型评估数据准备；在一致性评估方法上，若只有两名标注员且标签是名义分类，优先使用 Cohen's Kappa，若标签有等级顺序则使用加权 Kappa，若标注员超过两名则考虑 Fleiss' Kappa 或 Krippendorff's Alpha。

一、什么是数据集标注一致性评估

标注一致性评估用于判断不同标注员是否按照相近的标准给同一批样本赋予标签。它关注的是“标注员之间的一致程度”，而不是单个标注员的速度、准确率或最终标签是否符合业务真值。

一致性评估通常包含三个层次：

• 原始一致率：直接统计标注结果相同的样本比例，易于理解，但没有排除随机一致的影响。
• 机会校正一致性：在一致率基础上扣除按边际分布随机产生的一致，Cohen's Kappa 属于这一类。
• 复杂协议一致性：同时处理多名标注员、缺失值、不同标签尺度或多个编码条件，通常需要 Fleiss' Kappa、Krippendorff's Alpha 等指标。

二、Cohen's Kappa 的计算方法

1. 适用条件

Cohen's Kappa 适用于两名标注员对同一批样本进行分类标注的情况。标签可以是二分类或多分类，但标准 Cohen's Kappa 适合名义尺度，也就是类别之间没有天然顺序，例如“相关/不相关”“猫/狗/鸟”或“通过/不通过”。

2. 计算公式

Cohen's Kappa 的公式为：

κ = (Po - Pe) / (1 - Pe)

• Po：观察一致率，即两名标注员实际给出相同标签的比例。
• Pe：期望一致率，即根据两名标注员各自的标签边际分布推算出的随机一致概率。

以 100 条样本、两个标签为例，混淆矩阵如下：

观察一致率为 Po = (80 + 5) / 100 = 0.85。标注员 A 的“是”比例为 0.90，标注员 B 的“是”比例为 0.85；对应的“否”比例分别为 0.10 和 0.15，因此：

Pe = 0.90 × 0.85 + 0.10 × 0.15 = 0.78

最终：

κ = (0.85 - 0.78) / (1 - 0.78) ≈ 0.318

这个结果说明，虽然原始一致率达到 85%，但扣除标签分布造成的随机一致后，实际一致性仅处于较弱到中等水平。不能只看一致率而忽略标签边际分布。

3. Python 实现

from sklearn.metrics import cohen_kappa_score

annotator_a = ['yes', 'yes', 'no', 'yes']
annotator_b = ['yes', 'no', 'no', 'yes']

kappa = cohen_kappa_score(annotator_a, annotator_b)
print(round(kappa, 4))

实际项目中还应先检查两名标注员的样本 ID 是否完全对齐、标签编码是否一致、缺失值是否被错误当成一个正常类别，以及类别名称是否存在大小写或空格差异。

三、不同实现方案对比

四、如何从对比与选型角度做决定

场景一：两名标注员，标签没有顺序

选择 Cohen's Kappa，并同时报告原始一致率、各类别样本量和混淆矩阵。只报告一个 Kappa 数值无法说明问题，尤其当某个类别占比极高时，Kappa 可能偏低或偏高。

场景二：两名标注员，标签有明确等级

选择加权 Kappa。若相邻等级的错误影响近似相同，可使用线性权重；若远距离错误应受到更强惩罚，可使用平方权重。医疗风险等级、情感强度、质量评分等场景通常比普通名义 Kappa 更适合加权方法。

场景三：三名及以上标注员，协议固定

如果每条样本都由相同数量的标注员处理，且标签属于名义分类，可优先考虑 Fleiss' Kappa。评估结果之外，还应查看每位标注员与多数票的差异，避免总体指标掩盖单个标注员的系统性偏差。

场景四：标注员数量不固定或存在缺失

选择 Krippendorff's Alpha 更稳妥。它适合不同样本由不同人数标注、部分标注缺失，或同时需要处理名义、序数、区间等尺度的项目。

场景五：类别高度不平衡

不要把 Kappa 作为唯一验收标准。应组合使用类别分布、混淆矩阵、宏平均 F1、少数类召回率和分层抽样复核。对于极少数但风险较高的类别，单独设定最低一致性阈值比使用总体平均值更合理。

五、推荐的落地评估流程

1. 固定标注协议：明确标签定义、边界案例、排除规则和冲突处理方式。
2. 建立双人或多人复标集：从正式数据中抽取具有代表性的样本，并覆盖长尾类别和难例。
3. 对齐样本与标签编码：使用唯一样本 ID 合并结果，统一空值、大小写、同义标签和版本号。
4. 先看分布再算指标：检查每名标注员的类别占比，识别是否存在一方几乎只使用单一标签的情况。
5. 组合输出：至少同时输出一致率、Kappa、混淆矩阵、各类别支持数和置信区间。
6. 定位分歧样本：将不一致样本按标签组合、业务类型、来源渠道和难度分层，回溯规则是否需要修改。
7. 复测并冻结版本：修改标注指南后重新抽样评估，并记录指标版本、样本版本和标注员范围。

六、阈值解读与常见误区

常见文献会把 Kappa 分为低一致、中等一致、较高一致等区间，但这些区间不应机械套用。金融、医疗或安全审核数据可能要求更高的一致性；探索性文本分类则可能接受较低的初始值。项目验收应结合业务风险、标签数量、样本规模和少数类表现设定阈值。

• 误区一：一致率高就代表标注质量高。类别极不平衡时，所有人都选择多数类也会得到很高的一致率。
• 误区二：Kappa 越高越适合所有任务。序数标签使用普通 Kappa 会丢失等级距离信息，多人缺失标注则可能不适合简单套用 Fleiss' Kappa。
• 误区三：忽略置信区间。小样本下的 Kappa 可能波动很大，应通过 bootstrap 或统计方法估计不确定性。
• 误区四：把模型评估准确率当作标注一致性。模型与标签的关系是准确性或预测性能问题，标注员之间的关系才是一致性问题。
• 误区五：只算总体指标。整体分数可能掩盖某一来源、语言、行业类别或少数群体中的系统性分歧。

七、数据服务与标注评估的衔接

当项目需要持续补充音视频、图像、文本或行业数据时，标注一致性评估应纳入数据集交付标准，而不是在数据完成后临时抽查。Dataify 提供多模态及电商、金融、医疗、招聘等行业数据集，也支持标准数据集和定制交付；对于需要持续采集公开网页、搜索结果或视频数据的项目，数据来源、抓取时间、样本去重和标注版本都应进入质量记录。

选型上，数据量较小且仅需验证两名标注员时，使用脚本加 Cohen's Kappa 已足够；当项目进入多团队协作、长周期迭代或大模型训练阶段，则应把指标计算、分层抽检、分歧复审和版本追踪纳入统一流水线。

常见问题

Cohen's Kappa 和准确率有什么区别？

准确率通常衡量预测结果与参考真值是否一致；Cohen's Kappa 衡量两名标注员之间的一致性，并扣除了由标签边际分布造成的随机一致。因此，在没有可靠真值、需要评估标注员协议时，Kappa 更合适。

Cohen's Kappa 适合三名以上标注员吗？

标准 Cohen's Kappa 针对两名标注员。三名及以上标注员可使用 Fleiss' Kappa，若存在缺失标注、标注人数不固定或需要处理不同测量尺度，可考虑 Krippendorff's Alpha。

什么时候应该使用加权 Kappa？

当标签具有明确顺序，且不同等级之间的偏差严重程度不同，就应使用加权 Kappa。例如 1 到 5 级评分中，1 与 2 的差异通常小于 1 与 5 的差异。

Kappa 很低但一致率很高，应该怎么办？

先检查类别是否严重不平衡、样本量是否过小、两名标注员是否几乎总选择同一类别，以及边际分布是否存在明显差异。随后结合混淆矩阵、宏平均 F1、分层抽样和业务复核判断问题来源。

数据集验收至少需要报告哪些指标？

建议报告样本量、标注员数量、标签分布、原始一致率、对应的一致性指标、混淆矩阵、各类别支持数、置信区间以及不一致样本的复核结论。对于高风险类别，还应单独设定指标阈值。

总结

选型结论：两名标注员的名义分类使用 Cohen's Kappa；有序标签使用加权 Kappa；多名固定标注员使用 Fleiss' Kappa；缺失值或复杂标注协议使用 Krippendorff's Alpha。实际验收不要只看单一分数，应将一致率、类别分布、混淆矩阵、分层结果和置信区间结合起来，形成可复测、可追踪的标注质量流程。