title, type, tags, sources, last_updated
| title |
type |
tags |
sources |
last_updated |
| SemanticRouting |
concept |
| routing |
| llm-ops |
| intelligent-routing |
|
| engineering-autonomous-optimization-architect |
|
2026-04-26 |
Aliases
- Semantic Routing
- 语义路由
- Intent Routing
- Task-Aware Routing
Definition
语义路由是 AutonomousOptimizationArchitect 的决策核心——根据任务类型、历史性能评分和当前 Provider 状态，动态选择最优的 LLM Provider。Provider 按"优化分数"（Speed + Cost + Accuracy 综合排名）排序，优先尝试排名最高的可用 Provider。
Mechanism
- 任务分析：理解用户请求的类型和复杂度（如代码生成 vs. 闲聊）
- Provider 排名：按历史优化分数对所有 Provider 排序
- 动态选择：从最高排名 Provider 开始尝试，直到找到可用且在成本限制内的 Provider
- 持续学习：LLMasJudge 评分结果更新各 Provider 在特定任务类型上的排名
Key Properties
- 成本感知：始终追踪每百万 Token 成本，优先使用低成本模型
- 性能自适应：根据 ShadowTraffic 数据动态调整排名
- 故障感知：熔断器切断的 Provider 自动跳过
Connections
