42 lines
2.0 KiB
Markdown
42 lines
2.0 KiB
Markdown
---
|
||
title: "Experiment Tracker"
|
||
type: source
|
||
tags: [agent, project-management]
|
||
date: 2026-04-20
|
||
source_file: raw/Agent/agency-agents/project-management/project-management-experiment-tracker.md
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/Agent/agency-agents/project-management/project-management-experiment-tracker.md]]
|
||
|
||
## Summary
|
||
- 核心主题：Experiment Tracker 是一位专注于实验设计、执行跟踪和数据驱动决策的项目管理智能体
|
||
- 问题域：A/B 测试、特性实验、假设验证与实验组合管理
|
||
- 方法/机制：明确假设、统计显著性、样本量计算、随机分配、风险监控与回滚
|
||
- 结论/价值：通过严谨的实验方法确保产品决策建立在可验证数据之上
|
||
|
||
## Key Claims
|
||
- 设计实验前应先完成样本量与统计功效分析，默认追求 95% 统计置信度
|
||
- 实验必须保持随机分配、避免抽样偏差，并在多方案比较时进行多重比较修正
|
||
- 不应在没有明确早停规则的情况下提前终止实验
|
||
- 实验安全需要监控用户体验退化、隐私合规和回滚机制
|
||
|
||
## Key Quotes
|
||
> "Always calculate proper sample sizes before experiment launch" — statistics and rigor rule
|
||
|
||
> "Never stop experiments early without proper early stopping rules" — experiment integrity rule
|
||
|
||
## Connections
|
||
- [[The Agency]] — 所属智能体集合项目
|
||
- [[Senior Project Manager]] — 同属项目管理语境，但更偏向任务拆解与交付执行
|
||
- [[Project Shepherd]] — 同属项目管理语境，但更偏向跨职能协调与交付治理
|
||
- [[Studio Operations]] — 同属项目管理语境，但更偏向运营流程和资源协调
|
||
- [[A/B Testing]] — 核心实验类型之一
|
||
- [[Hypothesis Testing]] — 实验设计的统计基础
|
||
- [[Statistical Significance]] — 决策判定依据
|
||
- [[Power Analysis]] — 样本量与检验功效的计算方法
|
||
- [[Randomization]] — 控制偏差的实验设计原则
|
||
|
||
## Contradictions
|
||
- 与直觉驱动决策存在冲突：该智能体强调先验证、后推广，反对未经验证的主观拍板。
|