47 lines
1.5 KiB
Markdown
47 lines
1.5 KiB
Markdown
---
|
||
title: "Population Stability Index (PSI)"
|
||
type: concept
|
||
tags: [ml-ops, model-metrics, feature-stability, statistical-analysis]
|
||
last_updated: 2026-04-20
|
||
---
|
||
|
||
## Definition
|
||
Population Stability Index（PSI）是量化两个分布之间差异的统计指标，用于检测特征或模型输出在时间窗口上的分布偏移。
|
||
|
||
## Formula
|
||
```
|
||
PSI = Σ ((Actual% - Expected%) * ln(Actual% / Expected%))
|
||
```
|
||
|
||
使用 Laplace 平滑避免除零：
|
||
```python
|
||
exp_pct = (expected_counts + 1) / (expected_counts.sum() + bins)
|
||
act_pct = (actual_counts + 1) / (actual_counts.sum() + bins)
|
||
psi = np.sum((act_pct - exp_pct) * np.log(act_pct / exp_pct))
|
||
```
|
||
|
||
## Interpretation Thresholds
|
||
| PSI Range | Status | Action |
|
||
|-----------|--------|--------|
|
||
| < 0.10 | 绿色 | 无显著偏移 |
|
||
| 0.10–0.25 | 琥珀色 | 中等偏移，建议调查 |
|
||
| ≥ 0.25 | 红色 | 显著偏移，需要行动 |
|
||
|
||
## Use Cases
|
||
- **Feature Stability Monitoring**：监控输入特征在时间窗口上的稳定性
|
||
- **Model Drift Detection**：检测模型输入输出分布是否发生显著变化
|
||
- **Population Shift Detection**：识别开发样本与OOT样本之间的差异
|
||
|
||
## Applications
|
||
- 每月特征稳定性报告
|
||
- 模型重新训练触发条件
|
||
- 特征工程有效性评估
|
||
|
||
## Related Concepts
|
||
- [[Variable Stability Monitor]]：月度 PSI 监控工具
|
||
- [[Model QA Specialist]]：使用 PSI 进行模型审计
|
||
- [[ML Ops]]：PSI 是 MLOps 监控的核心指标
|
||
|
||
## References
|
||
- Source：[[model-qa-specialist]]
|