---
title: "Fairness Audit"
type: concept
tags: [model-evaluation, fairness, bias, ml-ethics, model-governance]
sources:
  - specialized-model-qa
last_updated: 2026-05-29
---

## Definition

公平性审计（Fairness Audit）是 ML 模型审计中评估模型是否对不同受保护群体（protected groups）产生系统性歧视的过程。核心目标：识别和量化模型预测中基于种族、性别、年龄、宗教、国籍等受保护属性的不公平差异，确保模型符合伦理规范和监管要求。

## Core Metrics

### Demographic Parity（人口统计均等）
- 要求：模型的正预测率在各群体间相等
- 公式：$P(\hat{Y}=1|A=0) = P(\hat{Y}=1|A=1)$
- 也称为：Statistical Parity, Independence Criterion

### Equalized Odds（均等化赔率）
- 要求：在相同真实标签条件下，各群体的预测分布相等
- 公式：$P(\hat{Y}=1|A=0,Y=y) = P(\hat{Y}=1|A=1,Y=y)$，for $y \in \{0,1\}$
- 比 Demographic Parity 更严格，同时要求 TPR 和 FPR 在各群体间相等

### Disparate Impact Ratio（差异影响比）
- $DIR = \frac{P(\hat{Y}=1|A=\text{minority})}{P(\hat{Y}=1|A=\text{majority})}$
- 4/5 规则：DIR < 0.8 通常视为存在差异影响

### Calibration Across Groups
- 在各受保护群体上分别验证预测概率校准性
- 确保高风险决策（贷款拒绝、保险定价）不会系统性低估某群体

## Model QA 中的应用

Model QA Specialist 执行以下公平性审计步骤：
1. **受保护属性识别**：确认模型决策涉及哪些受保护特征（法律/道德/业务角度）
2. **Baseline 指标计算**：在全人群上计算 AUC/KS/Gini 作为基准
3. **分层指标对比**：在受保护群体上分别计算性能指标，量化差距
4. **差异影响评估**：DIR < 0.8 则标记为潜在歧视，需进一步调查
5. **因果分析**：区分相关关系（Correlation）与因果效应（Causation），避免虚假公平性
6. **补救建议**：Pre-processing（重采样/重加权）/ In-processing（对抗训练/约束优化）/ Post-processing（阈值调整）

## Relationship

- **依赖** [[Discrimination-Metrics]]：公平性审计首先建立在判别能力评估之上
- **依赖** [[SHAP]]：SHAP 贡献分析揭示哪些特征驱动了跨群体差异
- **依赖** [[Calibration-Testing]]：跨群体校准是公平性决策的基础
- **支撑** [[specialized-model-qa]]（Source）：Model QA Specialist 的可解释性与公平性审计步骤核心工具

## Key Limitations

- **公平性指标不可同时最优**：Demographic Parity 与 Equalized Odds 在一般情况下不可同时满足（Impossibility Theorem）
- **代理变量问题**：直接排除受保护属性后，模型仍可能通过代理变量（如邮编→种族）歧视
- **数据不平衡**：受保护群体的稀缺样本可能导致统计结论不可靠
- **监管框架差异**：欧盟 AI Act / 美国 EEOC / 巴塞尔协议对公平性要求各不相同