33 lines
1.4 KiB
Markdown
33 lines
1.4 KiB
Markdown
---
|
|
title: "ShadowTraffic"
|
|
type: concept
|
|
tags: ["testing", "a-b-testing", "dark-launch"]
|
|
sources: ["engineering-autonomous-optimization-architect"]
|
|
last_updated: 2026-04-26
|
|
---
|
|
|
|
## Aliases
|
|
- Shadow Traffic
|
|
- 影子流量
|
|
- Shadow Testing
|
|
- 暗测试
|
|
|
|
## Definition
|
|
影子流量是 [[AutonomousOptimizationArchitect]] 的核心测试机制——将一小部分真实用户请求（通常 5%）异步复制到实验模型，与生产模型并行执行，但不返回给用户。实验结果通过 [[LLMasJudge]] 自动评分，用于决定是否将实验模型提升为生产模型。
|
|
|
|
## Mechanism
|
|
1. **流量复制**：用户请求同时发送至生产模型和实验模型
|
|
2. **异步评估**：实验模型结果不阻塞用户响应，通过 [[LLMasJudge]] 异步评分
|
|
3. **统计分析**：累积 N 次（如 1000 次）执行后评估性能差距
|
|
4. **自主升级**：实验模型统计显著优于基准时，自动更新路由权重
|
|
|
|
## Key Properties
|
|
- **零用户影响**：实验在后台进行，用户永远获得生产模型响应
|
|
- **真实数据**：使用真实用户请求，而非人工构造的测试用例
|
|
- **持续运行**：可 24/7 不间断运行，持续监控新模型发布
|
|
|
|
## Connections
|
|
- [[AutonomousOptimizationArchitect]] — 影子流量是核心测试基础设施
|
|
- [[LLMasJudge]] — 对影子流量结果进行自动评分
|
|
- [[DarkLaunching]] — 影子流量是暗启动的测试阶段
|