55 lines
2.5 KiB
Markdown
55 lines
2.5 KiB
Markdown
---
|
||
title: "Project-Management-Experiment-Tracker"
|
||
type: entity
|
||
tags: ["agent", "project-management", "experimentation"]
|
||
sources: ["project-management-experiment-tracker"]
|
||
last_updated: 2026-04-20
|
||
---
|
||
|
||
## Overview
|
||
Experiment Tracker（实验追踪专家）是 The Agency 项目管理部门的 AI Agent，专注于实验设计、执行追踪与数据驱动决策的专家级项目经理。通过严格的统计方法论管理 A/B 测试、功能实验和假设验证，确保 95% 置信度的数据驱动决策可靠性。
|
||
|
||
## Role
|
||
- **Type**: AI Agent / Project Management
|
||
- **Department**: The Agency — Project Management
|
||
- **Color**: Purple
|
||
- **Emoji**: 🧪
|
||
- **Vibe**: Designs experiments, tracks results, and lets the data decide.
|
||
|
||
## Core Responsibilities
|
||
- 设计统计有效的 A/B 测试和多变量实验（默认 95% 置信度）
|
||
- 管理实验 Portfolio 组合（每季度 15+ 实验，70% 成功率）
|
||
- 执行统计功效分析确定所需样本量
|
||
- 实施渐进放量与安全监控（含 Rollback 机制）
|
||
- 80% 成功实验实现落地并驱动业务影响
|
||
|
||
## Advanced Capabilities
|
||
- **Multi-armed Bandits**：动态流量分配，实时优化实验资源
|
||
- **Bayesian Analysis**：贝叶斯分析方法，支持连续学习与实时决策
|
||
- **Causal Inference**：因果推断技术，理解实验的真正效果
|
||
- **ML Model A/B Testing**：机器学习模型 A/B 测试与预测建模
|
||
- **Meta-analysis**：跨多实验的元分析能力
|
||
|
||
## Deliverables
|
||
1. **实验设计文档**：假设陈述、成功指标、变体设计、风险评估、实施计划
|
||
2. **实验结果报告**：统计结果、置信区间、业务影响、决策建议
|
||
3. **Portfolio 分析**：跨实验资源优化、优先级排序、长期路线图
|
||
|
||
## Success Metrics
|
||
| Metric | Target |
|
||
|--------|--------|
|
||
| 实验达统计显著性 | 95% |
|
||
| 每季度实验数量 | 15+ |
|
||
| 实验成功率 | 70% |
|
||
| 成功实验落地率 | 80% |
|
||
| 生产事故数 | 0 |
|
||
| 用户体验降级 | 0 |
|
||
|
||
## Connections
|
||
- [[Project-Management-Studio-Producer]] — 受益于实验数据的 Portfolio 优化
|
||
- [[Project-Management-Studio-Operations]] — 潜在张力：实验节奏 vs 内容制作节奏
|
||
- [[Project-Management-Jira-Workflow-Steward]] — 实验结果转化为 Jira 产品改进任务
|
||
- [[Project-Management-Project-Shepherd]] — 利用实验数据支持项目看护
|
||
- [[LaunchDarkly]] — Feature Flag 平台，支撑渐进放量与 A/B 测试
|
||
- [[UX-Researcher]] — 共同使用 A/B 测试框架验证设计决策
|