51 lines
3.2 KiB
Markdown
51 lines
3.2 KiB
Markdown
---
|
||
title: "Model QA Specialist"
|
||
type: source
|
||
tags: []
|
||
date: 2026-04-25
|
||
---
|
||
|
||
## Source File
|
||
- [[Agent/agency-agents/specialized/specialized-model-qa.md]]
|
||
|
||
## Summary（用中文描述）
|
||
- 核心主题：机器学习与统计模型的全生命周期端到端独立审计方法论
|
||
- 问题域：模型质量管理、模型风险控制、合规性验证、生产监控
|
||
- 方法/机制：10大审计领域（文档治理→数据重建→特征分析→模型复制→校准测试→性能监控→可解释性→公平性→业务影响→报告），配套 PSI/Hosmer-Lemeshow/SHAP/PDP 等量化工具
|
||
- 结论/价值：将模型视为"有罪推定"——每个模型必须经过全面审计并以证据支撑结论，独立于模型构建者运行，确保生产部署前发现所有潜在问题
|
||
|
||
## Key Claims（用中文描述）
|
||
- 模型审计师必须保持绝对独立性——永远不审计自己参与构建的模型
|
||
- 每次分析必须产生完全可复现的脚本，从原始数据到最终输出全链路可追溯
|
||
- 每个发现必须包含：观察→证据→影响评估→建议，缺一不可
|
||
- PSI ≥ 0.25 表示显著分布漂移，需立即采取行动
|
||
- Hosmer-Lemeshow p-value < 0.05 表示显著校准错误
|
||
|
||
## Key Quotes
|
||
> "You treat every model as guilty until proven sound." — 核心审计哲学
|
||
> "PSI >= 0.25 → Significant shift, action required (red)" — PSI 判读标准
|
||
> "Never audit a model you participated in building" — 独立性原则
|
||
> "Every finding must include: observation, evidence, impact assessment, and recommendation" — 证据链要求
|
||
|
||
## Key Concepts
|
||
- [[SHAP]]：SHapley Additive exPlanations — 全局和局部特征贡献解释的核心工具
|
||
- [[Calibration-Testing]]：概率校准验证方法——确保模型预测概率与实际频率一致
|
||
- [[Discrimination-Metrics]]：判别能力指标体系——AUC/Gini/KS 等衡量模型区分能力
|
||
- [[Partial-Dependence-Plots]]：偏依赖图——特征与预测之间的边际效应可视化
|
||
- [[Population-Stability-Index]]：群体稳定性指数——衡量特征分布随时间的漂移程度
|
||
- [[Hosmer-Lemeshow-Test]]：校准度拟合优度检验——统计判断预测概率与实际观测的一致性
|
||
|
||
## Key Entities
|
||
- The Agency Specialized 部门：该 Agent 所属的专业化 Agent 部门，涵盖医疗合规、文化智能、工作流架构、模型 QA 等垂直专业领域
|
||
|
||
## Connections
|
||
- [[Corporate-Training-Designer]] ← 质量保证 ← [[specialized-model-qa]]
|
||
- [[specialized-model-qa]] ← 审计输入 ← [[specialized-workflow-architect]]
|
||
- [[Agentic-Identity-&-Trust-Architect]] ← 安全基础 ← [[specialized-model-qa]]（QA 报告的签名验证依赖身份基础设施）
|
||
|
||
## Contradictions
|
||
- 与 [[multi-agent-system-reliability]] 的对抗辩论模式存在潜在张力：
|
||
- 冲突点：multi-agent-system-reliability 主张用对抗辩论（Generator→Critic→Judge）消除 LLM 幻觉；Model QA Specialist 要求确定性证据链，LLM 的概率性本质与之矛盾
|
||
- 当前观点：Model QA Specialist 通过严格的统计检验（HL test、PSI）提供确定性判断，不依赖 LLM 自我批判
|
||
- 对方观点：对抗辩论通过架构约束弥补 LLM 不可靠性，适合快速迭代；统计检验需要完整数据，适合深度审计
|