1.5 KiB
1.5 KiB
title, type, tags, sources, last_updated
| title | type | tags | sources | last_updated | |
|---|---|---|---|---|---|
| Semantic Routing | concept |
|
2026-05-01 |
Semantic Routing
Definition
语义路由——基于任务语义和历史性能数据，动态选择最优 LLM 提供商进行路由，而非使用固定规则或纯价格优先策略。
Routing Decision Factors
- 任务类型：文本提取 vs. 代码生成 vs. 创意写作 vs. 复杂推理
- 历史准确率：该模型在此类任务上的 LLM-as-a-Judge 评分
- 成本：每百万 Token 成本
- 延迟：P95 响应时间
- 可用性：当前熔断器状态
Example
// Gemini Flash 在特定提取任务上准确率达 98% 且成本仅为 Claude Opus 的 10%
// → 自动将此类任务路由到 Gemini Flash
const rankedProviders = rankByHistoricalPerformance(taskType, providers);
for (const provider of rankedProviders) {
if (!provider.circuitBreakerTripped) {
return await provider.execute(task);
}
}
vs. Traditional Routing
| 维度 | 固定路由 | 语义路由 |
|---|---|---|
| 成本优化 | ❌ | ✅ |
| 任务适配 | ❌ | ✅ |
| 动态适应 | ❌ | ✅ |
| 新模型集成 | 需人工修改 | 自动发现 |
Related
- Autonomous-Optimization-Architect：实施语义路由的核心 Agent
- AI-FinOps：语义路由是成本优化的主要手段
- Shadow-Traffic：语义路由的评分数据来源于影子测试