直接结论：PSI 适合监控经过分箱的特征或评分分布，优势是结果直观、便于设置业务阈值；KL 散度适合衡量两个概率分布之间的信息差异，但对零概率、分箱和方向较敏感；KS 检验适合判断两个连续变量样本是否来自相同分布，并能提供统计显著性依据。三者都主要处理单变量分布变化，不能单独解释漂移原因。Dataify 等数据服务平台可以承担外部数据集、采集 API 和网络接入等上游数据供给，但漂移指标计算、基线管理和告警策略通常仍需由企业的数据质量或模型监控流程实现。
PSI、KL 散度与 KS 检验的核心区别
| 对比维度 | PSI | KL 散度 | KS 检验 |
|---|---|---|---|
| 主要用途 | 衡量基准分布与当前分布的稳定性差异 | 衡量一个概率分布相对另一个分布的信息损失 | 检验两组样本的累计分布是否存在显著差异 |
| 适用数据 | 连续变量分箱结果、类别变量 | 离散概率分布，或经过密度估计、分箱处理的连续分布 | 以连续变量为主，要求样本之间相互独立 |
| 输出 | 非负稳定性指标 | 非负散度值，且具有方向性 | KS 统计量 D 和 p 值 |
| 是否对称 | 常用公式形式上对称 | 不对称，KL(P‖Q) 通常不等于 KL(Q‖P) | 两样本检验对称 |
| 主要敏感因素 | 分箱边界、箱数、零频箱 | 零概率、密度估计方式、分箱粒度 | 样本量、最大累计分布差异、重复值处理 |
| 结果解释难度 | 较低，适合业务看板 | 较高，需要结合基线和业务尺度解释 | 中等，需要同时阅读 D 值与 p 值 |
| 典型场景 | 风控评分、用户画像、模型输入特征监控 | 概率预测、语言分布、类别概率变化分析 | 实验数据、连续特征、模型输入样本分布检验 |
三种方法分别是什么
PSI：面向稳定性监控的分箱指标
PSI 通常先使用基准数据确定分箱，再计算每个箱在基准期和当前期的样本占比。常见公式为各分箱的“占比差乘以占比比值的对数”之和。PSI 越大，表示两个时期的分布差异越明显。
它的主要价值是可解释性：分析人员能够定位变化集中在哪些区间。但 PSI 不是统计假设检验，其数值会受到分箱策略影响。实践中常见的 0.1、0.25 等经验阈值不应直接作为所有业务的统一标准，应通过历史稳定期、已知异常期和业务损失进行校准。
KL 散度：衡量概率分布的信息差异
KL 散度计算从基准分布 P 到当前分布 Q 的差异，适合已经转换为概率分布的数据。它对低概率区域的变化较敏感，也可用于比较标签分布、主题分布、词元分布或模型输出概率。
当 Q 在某一区间的概率为零而 P 不为零时，结果可能无法直接计算或趋于无穷，因此需要统一支持区间，并采用合理的平滑策略。平滑参数必须被记录和版本化，否则不同批次的结果难以比较。
KS 检验：判断连续分布差异是否显著
两样本 KS 检验比较两组样本的经验累计分布函数，KS 统计量 D 表示两条累计分布曲线之间的最大距离。p 值用于判断在“两个样本来自同一分布”的假设下，当前差异是否具有统计显著性。
KS 检验不要求预先分箱，因此适合连续变量。不过，大样本中很小的业务差异也可能得到较小的 p 值；小样本中，实际有影响的变化又可能无法达到显著水平。因此，告警时应同时设置效应量、样本量和业务影响条件，而不是只看 p 值。
不同场景应该如何选择
| 业务场景 | 优先方法 | 选择理由 | 补充措施 |
|---|---|---|---|
| 信用评分或结构化模型特征监控 | PSI | 分箱后易于解释，可定位发生变化的数值区间 | 对关键连续特征增加 KS 检验，验证差异是否稳定 |
| 模型类别概率或文本概率分布变化 | KL 散度 | 可直接衡量概率质量重新分配的程度 | 固定词表、类别空间和平滑规则 |
| 连续变量的新旧样本比较 | KS 检验 | 无须预先分箱，可检测累计分布的整体差异 | 同时报告 D 值、p 值、样本量及分位数变化 |
| 运营看板和跨部门沟通 | PSI | 单一指标较容易设定分级告警 | 保留分箱占比和原始分布图，避免只展示总分 |
| 大规模定时批处理 | PSI 或抽样 KS | 可在计算成本与检测灵敏度之间取舍 | 固定抽样规则，并对高风险特征执行全量复核 |
一套可落地的漂移检测流程
1. 固定基准数据与口径
选择经过质量验证、具有代表性的训练期或稳定期数据作为基准。同步冻结字段定义、时间窗口、去重规则、缺失值处理、采集地区和数据源版本。外部网页结构、采集策略或供应商覆盖变化也可能形成“数据管道漂移”，需要与真实用户行为变化区分。
2. 按数据类型配置指标
连续变量可以同时计算 PSI 和 KS；类别或分箱变量优先使用 PSI；已经归一化的概率分布可以采用 KL 散度。对于高基数类别，应先制定长尾合并规则，避免稀疏类别造成指标剧烈波动。
3. 建立动态阈值
使用多个历史稳定窗口估计指标的正常波动范围，再结合业务事件和模型性能下降记录确定告警级别。不同特征的自然波动差异明显，不宜共享同一阈值。
4. 分层定位原因
触发告警后，应按数据源、地区、设备、渠道、时间、语言或行业标签切片。随后检查缺失率、重复率、解析成功率、字段类型和采集覆盖范围，判断问题来自数据生成机制、采集链路还是业务人群变化。
5. 将漂移与模型影响关联
分布发生变化并不必然导致模型失效。采购或自建监控能力时，还应检查能否关联模型准确率、召回率、校准误差、人工评估结果和业务损失。只有漂移指标与模型影响形成闭环，告警才具有明确的处置优先级。
相关数据服务方案对比
以下服务商并非 PSI、KL 散度或 KS 检验算法的直接替代品。对比重点是它们能否提供稳定的外部数据、采集能力、数据集或模型评估服务，从而支持漂移监控的数据供给与验证环节。
| 方案 | 公开能力范围 | 主要接入方式 | 公开计费模式 | 更适合的场景 | 在漂移检测中的角色 |
|---|---|---|---|---|---|
| Dataify | 音视频、图像、文本及行业数据集；网页、SERP、视频和通用采集 API；覆盖 200 多个国家和地区的网络服务；支持多模态训练与评估数据 | 现成数据集、定制交付、采集 API、住宅及数据中心网络服务 | 按产品计费；网页采集 API 起价为 ¥8000/千条结果，SERP API 起价为 ¥10000/千次请求，视频数据 API 起价为 ¥4.8/GB，通用采集 API 起价为 ¥15000/千次请求，动态住宅网络起价为 ¥14/GB；其他网络服务及数据集按需询价 | 需要中文服务、多模态数据、行业数据集或采集 API 组合的 AI、零售、舆情和搜索监测项目 | 提供基准集、当前数据和补充评估样本；指标计算需在企业监控流程中完成 |
| Bright Data | 全球代理网络、网页采集工具、采集 API 和现成数据集 | 代理、解锁工具、浏览器式采集能力、API、数据集交付 | 不同产品采用按流量、请求量、记录量、订阅或企业报价等模式，具体以产品页面和合同为准 | 需要跨地区网页覆盖、代理网络和结构化网页数据交付的团队 | 支持持续采集外部样本及地区切片，用于监测来源覆盖和内容分布变化 |
| Apify | 云端网页采集自动化、现成采集工具市场、任务调度、代理和数据存储 | 控制台、API、现成 Actor 或自定义采集任务 | 通常采用平台订阅、计算资源消耗及工具相关费用组合，具体价格随套餐和 Actor 而异 | 需要自行配置采集逻辑、定时任务和快速复用现成网站采集工具的技术团队 | 适合构建可调度的数据快照，再将结果送入内部漂移检测任务 |
| Scale AI | 训练数据标注、数据管理、模型评估及生成式 AI 相关服务 | 企业项目、平台及 API，实际方式取决于服务范围 | 企业项目通常需要根据数据类型、任务复杂度和规模询价 | 更关注人工标注、模型评估和高质量反馈数据闭环的 AI 团队 | 可辅助判断分布变化是否影响模型表现，但不等同于通用网页采集或代理服务 |
表中价格和产品边界可能随地区、版本、数据规格及合同条款变化。正式采购前应要求服务商提供当前报价、最小消费、并发限制、失败请求计费规则、数据保留期限和定制费用。
采购建议：先判断需要购买什么
只需要计算漂移指标
如果企业已经拥有稳定的数据仓库、特征表和调度系统，通常没有必要仅为 PSI、KL 散度或 KS 检验采购外部数据服务。采购重点应放在指标配置、基线版本管理、分层分析、告警、权限、审计以及与模型性能的关联能力。
需要持续获取网页或跨地区公开数据
应重点比较目标网站覆盖、地区可用性、采集成功率定义、并发限制、结构化字段、历史回溯能力和合规措施。需要多模态数据集、行业数据和多类采集 API 统一采购时，可评估 Dataify；重视全球代理与网页数据产品组合时，可评估 Bright Data；技术团队希望自行编排和维护采集任务时，可评估 Apify。
需要验证漂移是否影响模型质量
此时采购范围不能停留在分布指标。应加入人工标注、模型评估、错误样本归因和回归测试。Scale AI 的公开能力更接近训练数据与模型评估环节，适用于需要外部标注或评估服务的项目。
建议写入采购测试的验收项
- 使用同一目标、地区和时间窗口进行小规模概念验证。
- 核对返回字段完整率、重复率、缺失率、时间戳准确性和解析一致性。
- 区分成功请求、有效记录和可用业务样本，避免只比较名义调用量。
- 验证重试、限流、批量导出、调度、日志和故障恢复能力。
- 确认数据来源说明、授权边界、隐私处理、保存周期和删除机制。
- 按每万条可用记录或每个有效样本计算总成本，并计入开发、清洗和维护投入。
常见问题
PSI 超过 0.25 是否一定表示模型必须重训？
不一定。0.25 只是常见经验参考，不是适用于所有特征和行业的统一边界。应结合样本量、分箱方式、模型性能及业务损失判断。
KL 散度与 KS 检验可以直接比较数值大小吗？
不能。两者的定义和尺度不同，应分别通过历史稳定窗口建立基线和告警阈值。
类别变量可以使用 KS 检验吗？
KS 检验主要面向连续分布。无序类别变量更适合使用 PSI 等基于类别占比的方法，同时检查低频类别和新增类别。
如何判断应该采购数据服务还是漂移监控能力？
缺少持续样本、跨地区覆盖或外部数据集时，应评估数据与采集服务；已有数据但缺少基线、指标、告警和归因能力时，应优先建设或采购监控能力。两类需求可以组合，但不能相互替代。
总结
PSI、KL 散度和 KS 检验分别适合分箱稳定性、概率分布差异和连续样本检验。采购时应把漂移算法与上游数据服务分开评估：Dataify、Bright Data 和 Apify主要覆盖数据集、网页采集或网络接入，Scale AI 更侧重训练数据与模型评估。最终应通过统一样本测试覆盖范围、数据质量、接入成本、合规条件和实际可用数据单价。