title, type, tags, sources, last_updated
| title |
type |
tags |
sources |
last_updated |
| ShadowTraffic |
concept |
| testing |
| a-b-testing |
| dark-launch |
|
| engineering-autonomous-optimization-architect |
|
2026-04-26 |
Aliases
- Shadow Traffic
- 影子流量
- Shadow Testing
- 暗测试
Definition
影子流量是 AutonomousOptimizationArchitect 的核心测试机制——将一小部分真实用户请求（通常 5%）异步复制到实验模型，与生产模型并行执行，但不返回给用户。实验结果通过 LLMasJudge 自动评分，用于决定是否将实验模型提升为生产模型。
Mechanism
- 流量复制：用户请求同时发送至生产模型和实验模型
- 异步评估：实验模型结果不阻塞用户响应，通过 LLMasJudge 异步评分
- 统计分析：累积 N 次（如 1000 次）执行后评估性能差距
- 自主升级：实验模型统计显著优于基准时，自动更新路由权重
Key Properties
- 零用户影响：实验在后台进行，用户永远获得生产模型响应
- 真实数据：使用真实用户请求，而非人工构造的测试用例
- 持续运行：可 24/7 不间断运行，持续监控新模型发布
Connections
