56 lines
3.9 KiB
Markdown
56 lines
3.9 KiB
Markdown
---
|
||
title: "Experiment Tracker Agent Personality"
|
||
type: source
|
||
tags: ["agent", "project-management", "experimentation", "a-b-testing"]
|
||
date: 2026-04-20
|
||
---
|
||
|
||
## Source File
|
||
- [[Agent/agency-agents/project-management/project-management-experiment-tracker.md]]
|
||
|
||
## Summary（用中文描述）
|
||
- 核心主题：AI Agent 角色定义——Experiment Tracker（实验追踪专家），专注于实验设计、执行追踪与数据驱动决策的专家级项目经理
|
||
- 问题域：产品迭代中的实验管理缺乏系统性、数据驱动决策缺乏科学严谨性、实验成功率低
|
||
- 方法/机制：通过 A/B 测试、多变量实验、假设验证、Portfolio Management、统计功效分析实现科学化实验管理
|
||
- 结论/价值：为 AI Agent 系统提供标准化的实验追踪角色定义，支撑数据驱动的产品迭代决策
|
||
|
||
## Key Claims（用中文描述）
|
||
- Experiment Tracker 通过严格的统计方法论和实验设计，系统管理 A/B 测试、功能实验和假设验证，确保 95% 置信度的数据驱动决策可靠性
|
||
- Experiment Tracker 通过 Portfolio Management 协调多个并发实验，优化资源配置，每季度交付 15+ 实验，实验成功率达 70%
|
||
- Experiment Tracker 提供实验设计文档模板和实验结果交付模板，标准化实验全生命周期管理流程
|
||
- Experiment Tracker 通过多臂老虎机（Multi-armed Bandits）、贝叶斯分析、因果推断等高级统计技术，实现连续学习和最优实验决策
|
||
- Experiment Tracker 通过机器学习模型 A/B 测试、个性化实验设计和预测建模，实现高级数据科学集成
|
||
|
||
## Key Quotes
|
||
> "Always calculate proper sample sizes before experiment launch" — 确保统计可靠性的基础要求
|
||
> "95% of experiments reach statistical significance with proper sample sizes" — 实验成功标准
|
||
> "Experiment velocity exceeds 15 experiments per quarter" — 实验吞吐量目标
|
||
> "Zero experiment-related production incidents or user experience degradation" — 安全底线
|
||
|
||
## Key Concepts
|
||
- [[A/B-Testing]]：对照实验，通过控制组与变体组的比较验证假设
|
||
- [[Statistical-Significance]]：统计显著性，95% 置信度为默认要求
|
||
- [[Power-Analysis]]：统计功效分析，确保实验有足够样本量
|
||
- [[Hypothesis-Validation]]：假设验证，通过实验数据验证产品假设
|
||
- [[Experiment-Portfolio-Management]]：实验组合管理，优化多实验资源分配与优先级
|
||
- [[Multi-Armed-Bandits]]：多臂老虎机，高级实验设计实现动态流量分配
|
||
- [[Bayesian-Analysis]]：贝叶斯分析方法，支持连续学习与实时决策
|
||
- [[Causal-Inference]]：因果推断技术，理解实验的真正效果
|
||
|
||
## Key Entities
|
||
- [[Project-Management-Experiment-Tracker]]：实验追踪专家 Agent 本身
|
||
- [[Project-Management-Studio-Producer]]：受益于 Experiment Tracker 的实验数据，协调内容制作迭代
|
||
- [[LaunchDarkly]]：Feature Flag 平台，支持 Experiment Tracker 的渐进放量与 A/B 测试
|
||
|
||
## Connections
|
||
- [[Project-Management-Studio-Operations]] ← coordinates_with ← [[Project-Management-Experiment-Tracker]]
|
||
- [[Project-Management-Studio-Producer]] ← depends_on ← [[Project-Management-Experiment-Tracker]]
|
||
- [[Project-Management-Jira-Workflow-Steward]] ← integrates_with ← [[Project-Management-Experiment-Tracker]]
|
||
- [[Project-Management-Project-Shepherd]] ← leverages ← [[Project-Management-Experiment-Tracker]]
|
||
|
||
## Contradictions
|
||
- 与 [[Project-Management-Studio-Operations]] 潜在冲突：Studio Operations 强调内容制作流程的确定性，Experiment Tracker 依赖实验数据驱动，存在节奏冲突（快速实验 vs 稳定制作）
|
||
- 冲突点：决策依据（直觉/经验 vs 数据）
|
||
- 当前观点：数据驱动决策优先，实验验证后再规模化
|
||
- 对方观点：内容制作需保持节奏稳定，不能因等待实验结果而停滞
|