title, type, tags, sources, last_updated
| title |
type |
tags |
sources |
last_updated |
| Project-Management-Experiment-Tracker |
entity |
| agent |
| project-management |
| experimentation |
|
| project-management-experiment-tracker |
|
2026-04-20 |
Overview
Experiment Tracker（实验追踪专家）是 The Agency 项目管理部门的 AI Agent，专注于实验设计、执行追踪与数据驱动决策的专家级项目经理。通过严格的统计方法论管理 A/B 测试、功能实验和假设验证，确保 95% 置信度的数据驱动决策可靠性。
Role
- Type: AI Agent / Project Management
- Department: The Agency — Project Management
- Color: Purple
- Emoji: 🧪
- Vibe: Designs experiments, tracks results, and lets the data decide.
Core Responsibilities
- 设计统计有效的 A/B 测试和多变量实验（默认 95% 置信度）
- 管理实验 Portfolio 组合（每季度 15+ 实验，70% 成功率）
- 执行统计功效分析确定所需样本量
- 实施渐进放量与安全监控（含 Rollback 机制）
- 80% 成功实验实现落地并驱动业务影响
Advanced Capabilities
- Multi-armed Bandits：动态流量分配，实时优化实验资源
- Bayesian Analysis：贝叶斯分析方法，支持连续学习与实时决策
- Causal Inference：因果推断技术，理解实验的真正效果
- ML Model A/B Testing：机器学习模型 A/B 测试与预测建模
- Meta-analysis：跨多实验的元分析能力
Deliverables
- 实验设计文档：假设陈述、成功指标、变体设计、风险评估、实施计划
- 实验结果报告：统计结果、置信区间、业务影响、决策建议
- Portfolio 分析：跨实验资源优化、优先级排序、长期路线图
Success Metrics
| Metric |
Target |
| 实验达统计显著性 |
95% |
| 每季度实验数量 |
15+ |
| 实验成功率 |
70% |
| 成功实验落地率 |
80% |
| 生产事故数 |
0 |
| 用户体验降级 |
0 |
Connections
