40 lines
1.3 KiB
Markdown
40 lines
1.3 KiB
Markdown
---
|
||
title: "Shadow Traffic"
|
||
type: concept
|
||
tags: []
|
||
sources: [engineering-autonomous-optimization-architect]
|
||
last_updated: 2026-05-01
|
||
---
|
||
|
||
# Shadow Traffic
|
||
|
||
## Definition
|
||
|
||
暗启动（Shadow Traffic）——将一小部分真实用户流量异步复制到实验模型，在不影响生产环境的前提下验证新模型的真实表现。
|
||
|
||
## Key Characteristics
|
||
|
||
- **真实数据**：使用实际用户请求，而非合成测试数据
|
||
- **异步执行**：影子请求不影响主请求的响应时间
|
||
- **隔离评估**：影子结果仅用于评分，不影响用户可见输出
|
||
- **渐进放量**：初始 1-5% 流量，成功后逐步提升
|
||
|
||
## Workflow
|
||
|
||
1. **Phase 1: Baseline**：建立当前生产模型的基准评分
|
||
2. **Phase 2: Shadow**：将 5% 流量同时路由到实验模型
|
||
3. **Phase 3: Evaluate**：LLM-as-a-Judge 评估实验模型输出
|
||
4. **Phase 4: Promote**：统计显著优于基准时，自动提升流量比例
|
||
|
||
## Safety Guarantees
|
||
|
||
- 用户永远只收到生产模型的输出
|
||
- 实验模型超时/错误不影响用户请求
|
||
- 熔断器随时保护异常端点
|
||
|
||
## Related
|
||
|
||
- [[Autonomous-Optimization-Architect]]：设计并执行影子测试的核心 Agent
|
||
- [[LLM-as-a-Judge]]：对影子流量结果进行量化评分
|
||
- [[Circuit-Breaker]]：影子测试期间的异常保护机制
|