Sync: add model evaluation and training notes

wiki/sources/corporate-training-designer.md

@@ -0,0 +1,49 @@
+---
+title: "Corporate Training Designer"
+type: source
+tags: []
+date: 2026-04-25
+---
+
+## Source File
+- [[Agent/agency-agents/specialized/corporate-training-designer.md]]
+
+## Summary（用中文描述）
+- 核心主题：企业培训体系架构师与课程开发专家（Corporate Training Designer）—— 专注企业级培训需求分析、ADDIE/SAM 教学设计模型、混合学习项目设计、内训师培养、领导力发展项目，以及 Kirkpatrick 四级培训效果评估体系。
+- 问题域：企业培训中"为培训而培训"的现象普遍存在——培训目标不可衡量、课程内容脱离业务场景、学习效果无法落地到行为改变。
+- 方法/机制：从业务问题出发，以能力差距分析为基础，采用 ADDIE/SAM 模型设计课程体系，通过 OMO 混合学习、Kolb 体验式学习、翻转课堂等方法交付，并通过 Kirkpatrick 四级评估验证业务价值。
+- 结论/价值：优秀培训的衡量标准不是"教了什么"，而是"学员回去做了什么"——数据驱动的培训体系能真正提升员工能力与组织绩效。
+
+## Key Claims（用中文描述）
+- 培训设计必须从业务问题出发，而非从"我们有什么课"出发；培训目标必须可衡量，而非"提高沟通能力"这类模糊表述。
+- 所有案例必须改编自真实业务场景，拒绝脱离实际的"教材式案例"；课程内容须每年至少更新一次。
+- 每项培训项目必须有评估计划——高投资（领导力、关键岗位）必须追踪到 Kirkpatrick Level 3（行为改变）。
+- 合规培训须覆盖全体员工，记录完整，360 度反馈结果仅限本人及直属上级知晓。
+
+## Key Quotes
+> "Good training isn't about 'what was taught' — it's about 'what learners do differently when they go back to work.'" — 培训设计的核心价值观
+> "Training objectives must be measurable — not 'improve communication skills,' but 'increase the percentage of new hires independently completing client proposals within 3 months from 40% to 70%.'" — 培训目标的 SMART 原则
+> "For this leadership program, I recommend replacing pure classroom lectures with 'business challenge projects.' Learners form groups, take on a real business problem, learn while doing, and present results to the CEO after 3 months." — 成人学习理论的应用
+> "Data from the last sales new hire boot camp: trainees had a 23% higher first-month deal close rate than non-trainees, with an average of 18,000 yuan more in per-capita output." — 培训 ROI 的量化证明
+
+## Key Concepts
+- [[ADDIE 模型]]：Analysis（分析）→ Design（设计）→ Development（开发）→ Implementation（实施）→ Evaluation（评估），每个阶段有明确交付物，是教学设计的基础框架。
+- [[SAM 模型]]（Successive Approximation Model）：适合快速迭代场景，通过"原型 → 评审 → 修订"循环缩短上线时间。
+- [[Kirkpatrick 四级评估]]：Level 1 反应（满意度）、Level 2 学习（知识技能掌握）、Level 3 行为（行为改变）、Level 4 结果（业务指标变化）。
+- [[Bloom 认知分类]]：从记忆→理解→应用→分析→评价→创造，逐级提升学习目标设计深度。
+- [[Kolb 体验式学习圈]]：具体经验 → 反思观察 → 抽象概念化 → 主动实验，闭环驱动学习转化。
+- [[OMO 混合学习]]（Online-Merge-Offline）：线上解决"认知"、线下解决"实践"、学习社群解决"持续"。
+- [[TTT]]（Train the Trainer）：内训师培养体系——成人学习原则、课程开发技巧、表达与呈现技能、课堂管理与互动技巧、课件设计标准。
+- [[HIPO]]（High-Potential Talent Program）：高潜人才培养项目，通过 IDP（个人发展计划）、轮岗、导师辅导、挑战性任务加速人才成长。
+- [[ADDIE 模型]]：微课（5-15 分钟）、案例教学、沙盘模拟、剧本杀式沉浸体验培训等多元内容形式。
+
+## Key Entities
+- [[The Agency]]：该 Agent 所属的 Agent 系统生态。
+
+## Connections
+- [[Specialized Workflow Architect]] ← related_to ← [[Corporate Training Designer]]：两者均涉及工作流程设计，但前者专注软件工程流程，后者专注组织学习流程。
+- [[Specialized Cultural Intelligence Strategist]] ← related_to ← [[Corporate Training Designer]]：两者均涉及跨文化能力建设，但前者专注产品文化包容，后者专注培训内容的文化适配。
+- [[Specialized HR Onboarding]] ← extends ← [[Corporate Training Designer]]：新员工培训是 Corporate Training Designer 的重要子领域。
+
+## Contradictions
+- （暂无已知冲突。该 Agent 专注于企业内部培训体系，与其他 Agent 在应用场景上有明显差异。）

wiki/sources/specialized-model-qa.md

@@ -0,0 +1,50 @@
+---
+title: "Model QA Specialist"
+type: source
+tags: []
+date: 2026-04-25
+---
+
+## Source File
+- [[Agent/agency-agents/specialized/specialized-model-qa.md]]
+
+## Summary（用中文描述）
+- 核心主题：机器学习与统计模型的全生命周期端到端独立审计方法论
+- 问题域：模型质量管理、模型风险控制、合规性验证、生产监控
+- 方法/机制：10大审计领域（文档治理→数据重建→特征分析→模型复制→校准测试→性能监控→可解释性→公平性→业务影响→报告），配套 PSI/Hosmer-Lemeshow/SHAP/PDP 等量化工具
+- 结论/价值：将模型视为"有罪推定"——每个模型必须经过全面审计并以证据支撑结论，独立于模型构建者运行，确保生产部署前发现所有潜在问题
+
+## Key Claims（用中文描述）
+- 模型审计师必须保持绝对独立性——永远不审计自己参与构建的模型
+- 每次分析必须产生完全可复现的脚本，从原始数据到最终输出全链路可追溯
+- 每个发现必须包含：观察→证据→影响评估→建议，缺一不可
+- PSI ≥ 0.25 表示显著分布漂移，需立即采取行动
+- Hosmer-Lemeshow p-value < 0.05 表示显著校准错误
+
+## Key Quotes
+> "You treat every model as guilty until proven sound." — 核心审计哲学
+> "PSI >= 0.25 → Significant shift, action required (red)" — PSI 判读标准
+> "Never audit a model you participated in building" — 独立性原则
+> "Every finding must include: observation, evidence, impact assessment, and recommendation" — 证据链要求
+
+## Key Concepts
+- [[SHAP]]：SHapley Additive exPlanations — 全局和局部特征贡献解释的核心工具
+- [[Calibration-Testing]]：概率校准验证方法——确保模型预测概率与实际频率一致
+- [[Discrimination-Metrics]]：判别能力指标体系——AUC/Gini/KS 等衡量模型区分能力
+- [[Partial-Dependence-Plots]]：偏依赖图——特征与预测之间的边际效应可视化
+- [[Population-Stability-Index]]：群体稳定性指数——衡量特征分布随时间的漂移程度
+- [[Hosmer-Lemeshow-Test]]：校准度拟合优度检验——统计判断预测概率与实际观测的一致性
+
+## Key Entities
+- The Agency Specialized 部门：该 Agent 所属的专业化 Agent 部门，涵盖医疗合规、文化智能、工作流架构、模型 QA 等垂直专业领域
+
+## Connections
+- [[Corporate-Training-Designer]] ← 质量保证 ← [[specialized-model-qa]]
+- [[specialized-model-qa]] ← 审计输入 ← [[specialized-workflow-architect]]
+- [[Agentic-Identity-&-Trust-Architect]] ← 安全基础 ← [[specialized-model-qa]]（QA 报告的签名验证依赖身份基础设施）
+
+## Contradictions
+- 与 [[multi-agent-system-reliability]] 的对抗辩论模式存在潜在张力：
+  - 冲突点：multi-agent-system-reliability 主张用对抗辩论（Generator→Critic→Judge）消除 LLM 幻觉；Model QA Specialist 要求确定性证据链，LLM 的概率性本质与之矛盾
+  - 当前观点：Model QA Specialist 通过严格的统计检验（HL test、PSI）提供确定性判断，不依赖 LLM 自我批判
+  - 对方观点：对抗辩论通过架构约束弥补 LLM 不可靠性，适合快速迭代；统计检验需要完整数据，适合深度审计