1.3 KiB
1.3 KiB
title, type, tags, sources, last_updated
| title | type | tags | sources | last_updated | |
|---|---|---|---|---|---|
| Shadow Traffic | concept |
|
2026-05-01 |
Shadow Traffic
Definition
暗启动（Shadow Traffic）——将一小部分真实用户流量异步复制到实验模型，在不影响生产环境的前提下验证新模型的真实表现。
Key Characteristics
- 真实数据：使用实际用户请求，而非合成测试数据
- 异步执行：影子请求不影响主请求的响应时间
- 隔离评估：影子结果仅用于评分，不影响用户可见输出
- 渐进放量：初始 1-5% 流量，成功后逐步提升
Workflow
- Phase 1: Baseline：建立当前生产模型的基准评分
- Phase 2: Shadow：将 5% 流量同时路由到实验模型
- Phase 3: Evaluate：LLM-as-a-Judge 评估实验模型输出
- Phase 4: Promote：统计显著优于基准时，自动提升流量比例
Safety Guarantees
- 用户永远只收到生产模型的输出
- 实验模型超时/错误不影响用户请求
- 熔断器随时保护异常端点
Related
- Autonomous-Optimization-Architect：设计并执行影子测试的核心 Agent
- LLM-as-a-Judge：对影子流量结果进行量化评分
- Circuit-Breaker：影子测试期间的异常保护机制