3.0 KiB
3.0 KiB
title, type, tags
| title | type | tags | ||||
|---|---|---|---|---|---|---|
| A/B Testing Framework | concept |
|
Definition
A/B Testing Framework（A/B 测试框架）是创意优化的标准方法论，通过对照实验验证假设，区分真实效果提升与随机波动，以数据驱动决策。
Core Principles
- 假设驱动（Hypothesis-Driven）：每个测试始于明确假设
- 控制变量（Single Variable）：每次只改变一个变量
- 统计显著性（Statistical Significance）：基于置信区间判断结果可靠性
- 可重复性（Reproducibility）：测试结果可推广至更大规模
Test Design
Hypothesis Template
"If [change], then [expected outcome], because [reason]."
示例：
"If we add urgency language to headlines, then CTR will increase by 10%, because scarcity drives action."
Sample Size Calculation
| 转化率 | 最小样本（每变体） | 预估测试周期 |
|---|---|---|
| 5% | 2,500 | 7-14 天 |
| 2% | 6,500 | 14-28 天 |
| 1% | 13,000 | 28-56 天 |
公式（简化版）：
n = 16 × σ² / δ²
其中：σ = 标准差，δ = 最小可检测差异
Statistical Significance
| 置信度 | Z-score | 可靠性 |
|---|---|---|
| 90% | 1.645 | 初步参考 |
| 95% | 1.96 | 标准基准 ✅ |
| 99% | 2.576 | 高确定性 |
Testing Workflow
1. Define Hypothesis → 2. Design Test → 3. Launch → 4. Monitor → 5. Analyze → 6. Scale/Iterate
Step 1: Define Hypothesis
- 明确要测试的变量（Headline A vs Headline B）
- 设定预期提升目标
- 确定主要指标（CTR/CVR/CPA）
Step 2: Design Test
- 流量分配（50/50 或 80/20）
- 测试持续时间（2-4 周）
- 样本量计算
Step 3: Launch
- 确保变体间随机分配
- 记录测试开始时间
- 不在测试期间修改其他变量
Step 4: Monitor
- 每日检查基本数据
- 避免提前终止（除非严重错误）
- 监控外部因素（季节性/节假日）
Step 5: Analyze
- 计算统计显著性
- 分析次级指标（CVR/CPA）
- 撰写结论报告
Step 6: Scale/Iterate
- 胜出方案规模化推广
- 败出方案归档（积累学习）
- 从败出中提取新假设
Common Test Types
| 类型 | 测试内容 | 适用场景 |
|---|---|---|
| Headline Test | 不同标题变体 | RSA 优化 |
| CTA Test | 不同行动号召 | 转化率优化 |
| Image Test | 不同图片/颜色 | Display/Social |
| Landing Page Test | 不同落地页 | 转化路径优化 |
| Audience Test | 不同受众 | 定向策略优化 |
Success Criteria
- 统计显著性：95%+ 置信度
- 测试周期：2-4 周
- 最小样本：每变体至少 1000+ 转化
- Winner Criteria：显著优于控制组（10%+）