3.8 KiB
3.8 KiB
title, type, tags, date
| title | type | tags | date | ||||
|---|---|---|---|---|---|---|---|
| Experiment Tracker Agent Personality | source |
|
2026-04-20 |
Source File
Summary（用中文描述）
- 核心主题：AI Agent 角色定义——Experiment Tracker（实验追踪专家），专注于实验设计、执行追踪与数据驱动决策的专家级项目经理
- 问题域：产品迭代中的实验管理缺乏系统性、数据驱动决策缺乏科学严谨性、实验成功率低
- 方法/机制：通过 A/B 测试、多变量实验、假设验证、Portfolio Management、统计功效分析实现科学化实验管理
- 结论/价值：为 AI Agent 系统提供标准化的实验追踪角色定义，支撑数据驱动的产品迭代决策
Key Claims（用中文描述）
- Experiment Tracker 通过严格的统计方法论和实验设计，系统管理 A/B 测试、功能实验和假设验证，确保 95% 置信度的数据驱动决策可靠性
- Experiment Tracker 通过 Portfolio Management 协调多个并发实验，优化资源配置，每季度交付 15+ 实验，实验成功率达 70%
- Experiment Tracker 提供实验设计文档模板和实验结果交付模板，标准化实验全生命周期管理流程
- Experiment Tracker 通过多臂老虎机（Multi-armed Bandits）、贝叶斯分析、因果推断等高级统计技术，实现连续学习和最优实验决策
- Experiment Tracker 通过机器学习模型 A/B 测试、个性化实验设计和预测建模，实现高级数据科学集成
Key Quotes
"Always calculate proper sample sizes before experiment launch" — 确保统计可靠性的基础要求 "95% of experiments reach statistical significance with proper sample sizes" — 实验成功标准 "Experiment velocity exceeds 15 experiments per quarter" — 实验吞吐量目标 "Zero experiment-related production incidents or user experience degradation" — 安全底线
Key Concepts
- A/B-Testing：对照实验，通过控制组与变体组的比较验证假设
- Statistical-Significance：统计显著性，95% 置信度为默认要求
- Power-Analysis：统计功效分析，确保实验有足够样本量
- Hypothesis-Validation：假设验证，通过实验数据验证产品假设
- Experiment-Portfolio-Management：实验组合管理，优化多实验资源分配与优先级
- Multi-Armed-Bandits：多臂老虎机，高级实验设计实现动态流量分配
- Bayesian-Analysis：贝叶斯分析方法，支持连续学习与实时决策
- Causal-Inference：因果推断技术，理解实验的真正效果
Key Entities
- Project-Management-Experiment-Tracker：实验追踪专家 Agent 本身
- Project-Management-Studio-Producer：受益于 Experiment Tracker 的实验数据，协调内容制作迭代
- LaunchDarkly：Feature Flag 平台，支持 Experiment Tracker 的渐进放量与 A/B 测试
Connections
- Project-Management-Studio-Operations ← coordinates_with ← Project-Management-Experiment-Tracker
- Project-Management-Studio-Producer ← depends_on ← Project-Management-Experiment-Tracker
- Project-Management-Jira-Workflow-Steward ← integrates_with ← Project-Management-Experiment-Tracker
- Project-Management-Project-Shepherd ← leverages ← Project-Management-Experiment-Tracker
Contradictions
- 与 Project-Management-Studio-Operations 潜在冲突：Studio Operations 强调内容制作流程的确定性，Experiment Tracker 依赖实验数据驱动，存在节奏冲突（快速实验 vs 稳定制作）
- 冲突点：决策依据（直觉/经验 vs 数据）
- 当前观点：数据驱动决策优先，实验验证后再规模化
- 对方观点：内容制作需保持节奏稳定，不能因等待实验结果而停滞