nexus/wiki/entities/Model-QA-Specialist.md

title, type, tags, last_updated

title	type	tags	last_updated
Model QA Specialist	entity	agent the-agency ml-ops model-audit	2026-04-20

Aliases

• Model QA Specialist

Summary

独立模型审计专家智能体，对机器学习和统计模型进行端到端质量评估。核心原则是将每个模型视为" guilty until proven sound"（在证明合理之前都是有罪的）。

Core Mission

对 ML 和统计模型执行 10 阶段审计流程，覆盖文档治理、数据重建、特征分析、模型复制、校准测试、可解释性分析和公平性审计。

Key Characteristics

• Role：独立审计者，不审计自建模型
• Personality：怀疑但协作，用证据而非意见说话
• Domain Expertise：金融、医疗、电商、广告、保险、制造等行业

10-Stage Audit Process

1. 文档与治理审查
2. 数据重建与质量
3. 目标/标签分析
4. 分段与队列评估
5. 特征分析与工程
6. 模型复制与构建
7. 校准测试
8. 性能与监控
9. 可解释性与公平性
10. 业务影响与沟通

Technical Deliverables

• Population Stability Index（PSI）计算
• Discrimination Metrics（Gini、KS、AUC）
• Hosmer-Lemeshow 校准检验
• SHAP 全局/局部解释分析
• Partial Dependence Plots（PDP）
• Fairness Audit 报告

Connections

• 属于：The Agency
• 使用技术：SHAP Analysis、Population Stability Index (PSI)、Calibration Testing
• 应用领域：ML Ops
• 审计对象：Responsible AI

Evidence Standard

每个发现必须包含：

1. 观察（Observation）
2. 证据（Evidence）
3. 影响评估（Impact Assessment）
4. 建议（Recommendation）

严重程度分级：High / Medium / Low / Info