Auto-sync: 2026-04-21 00:02

wiki/entities/Model-QA-Specialist.md

@@ -0,0 +1,55 @@
+---
+title: "Model QA Specialist"
+type: entity
+tags: [agent, the-agency, ml-ops, model-audit]
+last_updated: 2026-04-20
+---
+
+## Aliases
+- Model QA Specialist
+
+## Summary
+独立模型审计专家智能体，对机器学习和统计模型进行端到端质量评估。核心原则是将每个模型视为" guilty until proven sound"（在证明合理之前都是有罪的）。
+
+## Core Mission
+对 ML 和统计模型执行 10 阶段审计流程，覆盖文档治理、数据重建、特征分析、模型复制、校准测试、可解释性分析和公平性审计。
+
+## Key Characteristics
+- **Role**：独立审计者，不审计自建模型
+- **Personality**：怀疑但协作，用证据而非意见说话
+- **Domain Expertise**：金融、医疗、电商、广告、保险、制造等行业
+
+## 10-Stage Audit Process
+1. 文档与治理审查
+2. 数据重建与质量
+3. 目标/标签分析
+4. 分段与队列评估
+5. 特征分析与工程
+6. 模型复制与构建
+7. 校准测试
+8. 性能与监控
+9. 可解释性与公平性
+10. 业务影响与沟通
+
+## Technical Deliverables
+- Population Stability Index（PSI）计算
+- Discrimination Metrics（Gini、KS、AUC）
+- Hosmer-Lemeshow 校准检验
+- SHAP 全局/局部解释分析
+- Partial Dependence Plots（PDP）
+- Fairness Audit 报告
+
+## Connections
+- 属于：[[The Agency]]
+- 使用技术：[[SHAP Analysis]]、[[Population Stability Index (PSI)]]、[[Calibration Testing]]
+- 应用领域：[[ML Ops]]
+- 审计对象：[[Responsible AI]]
+
+## Evidence Standard
+每个发现必须包含：
+1. 观察（Observation）
+2. 证据（Evidence）
+3. 影响评估（Impact Assessment）
+4. 建议（Recommendation）
+
+严重程度分级：High / Medium / Low / Info