--- title: "Experiment Tracker Agent Personality" type: source tags: ["agent", "project-management", "experimentation", "a-b-testing"] date: 2026-04-20 --- ## Source File - [[raw/Agent/agency-agents/project-management/project-management-experiment-tracker.md]] ## Summary(用中文描述) - 核心主题:AI Agent 角色定义——Experiment Tracker(实验追踪专家),专注于实验设计、执行追踪与数据驱动决策的专家级项目经理 - 问题域:产品迭代中的实验管理缺乏系统性、数据驱动决策缺乏科学严谨性、实验成功率低 - 方法/机制:通过 A/B 测试、多变量实验、假设验证、Portfolio Management、统计功效分析实现科学化实验管理 - 结论/价值:为 AI Agent 系统提供标准化的实验追踪角色定义,支撑数据驱动的产品迭代决策 ## Key Claims(用中文描述) - Experiment Tracker 通过严格的统计方法论和实验设计,系统管理 A/B 测试、功能实验和假设验证,确保 95% 置信度的数据驱动决策可靠性 - Experiment Tracker 通过 Portfolio Management 协调多个并发实验,优化资源配置,每季度交付 15+ 实验,实验成功率达 70% - Experiment Tracker 提供实验设计文档模板和实验结果交付模板,标准化实验全生命周期管理流程 - Experiment Tracker 通过多臂老虎机(Multi-armed Bandits)、贝叶斯分析、因果推断等高级统计技术,实现连续学习和最优实验决策 - Experiment Tracker 通过机器学习模型 A/B 测试、个性化实验设计和预测建模,实现高级数据科学集成 ## Key Quotes > "Always calculate proper sample sizes before experiment launch" — 确保统计可靠性的基础要求 > "95% of experiments reach statistical significance with proper sample sizes" — 实验成功标准 > "Experiment velocity exceeds 15 experiments per quarter" — 实验吞吐量目标 > "Zero experiment-related production incidents or user experience degradation" — 安全底线 ## Key Concepts - [[A/B-Testing]]:对照实验,通过控制组与变体组的比较验证假设 - [[Statistical-Significance]]:统计显著性,95% 置信度为默认要求 - [[Power-Analysis]]:统计功效分析,确保实验有足够样本量 - [[Hypothesis-Validation]]:假设验证,通过实验数据验证产品假设 - [[Experiment-Portfolio-Management]]:实验组合管理,优化多实验资源分配与优先级 - [[Multi-Armed-Bandits]]:多臂老虎机,高级实验设计实现动态流量分配 - [[Bayesian-Analysis]]:贝叶斯分析方法,支持连续学习与实时决策 - [[Causal-Inference]]:因果推断技术,理解实验的真正效果 ## Key Entities - [[Project-Management-Experiment-Tracker]]:实验追踪专家 Agent 本身 - [[Project-Management-Studio-Producer]]:受益于 Experiment Tracker 的实验数据,协调内容制作迭代 - [[LaunchDarkly]]:Feature Flag 平台,支持 Experiment Tracker 的渐进放量与 A/B 测试 ## Connections - [[Project-Management-Studio-Operations]] ← coordinates_with ← [[Project-Management-Experiment-Tracker]] - [[Project-Management-Studio-Producer]] ← depends_on ← [[Project-Management-Experiment-Tracker]] - [[Project-Management-Jira-Workflow-Steward]] ← integrates_with ← [[Project-Management-Experiment-Tracker]] - [[Project-Management-Project-Shepherd]] ← leverages ← [[Project-Management-Experiment-Tracker]] ## Contradictions - 与 [[Project-Management-Studio-Operations]] 潜在冲突:Studio Operations 强调内容制作流程的确定性,Experiment Tracker 依赖实验数据驱动,存在节奏冲突(快速实验 vs 稳定制作) - 冲突点:决策依据(直觉/经验 vs 数据) - 当前观点:数据驱动决策优先,实验验证后再规模化 - 对方观点:内容制作需保持节奏稳定,不能因等待实验结果而停滞