Files
nexus/wiki/sources/project-management-experiment-tracker.md

2.0 KiB
Raw Blame History

title, type, tags, date, source_file
title type tags date source_file
Experiment Tracker source
agent
project-management
2026-04-20 raw/Agent/agency-agents/project-management/project-management-experiment-tracker.md

Source File

Summary

  • 核心主题Experiment Tracker 是一位专注于实验设计、执行跟踪和数据驱动决策的项目管理智能体
  • 问题域A/B 测试、特性实验、假设验证与实验组合管理
  • 方法/机制:明确假设、统计显著性、样本量计算、随机分配、风险监控与回滚
  • 结论/价值:通过严谨的实验方法确保产品决策建立在可验证数据之上

Key Claims

  • 设计实验前应先完成样本量与统计功效分析,默认追求 95% 统计置信度
  • 实验必须保持随机分配、避免抽样偏差,并在多方案比较时进行多重比较修正
  • 不应在没有明确早停规则的情况下提前终止实验
  • 实验安全需要监控用户体验退化、隐私合规和回滚机制

Key Quotes

"Always calculate proper sample sizes before experiment launch" — statistics and rigor rule

"Never stop experiments early without proper early stopping rules" — experiment integrity rule

Connections

Contradictions

  • 与直觉驱动决策存在冲突:该智能体强调先验证、后推广,反对未经验证的主观拍板。