Sync: add ai finops and deployment notes

This commit is contained in:
2026-04-26 12:35:45 +08:00
parent f09834b5a5
commit ecdf295ded
14 changed files with 7117 additions and 5832 deletions

View File

@@ -0,0 +1,32 @@
---
title: "SemanticRouting"
type: concept
tags: ["routing", "llm-ops", "intelligent-routing"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- Semantic Routing
- 语义路由
- Intent Routing
- Task-Aware Routing
## Definition
语义路由是 [[AutonomousOptimizationArchitect]] 的决策核心——根据任务类型、历史性能评分和当前 Provider 状态,动态选择最优的 LLM Provider。Provider 按"优化分数"Speed + Cost + Accuracy 综合排名)排序,优先尝试排名最高的可用 Provider。
## Mechanism
1. **任务分析**:理解用户请求的类型和复杂度(如代码生成 vs. 闲聊)
2. **Provider 排名**:按历史优化分数对所有 Provider 排序
3. **动态选择**:从最高排名 Provider 开始尝试,直到找到可用且在成本限制内的 Provider
4. **持续学习**[[LLMasJudge]] 评分结果更新各 Provider 在特定任务类型上的排名
## Key Properties
- **成本感知**:始终追踪每百万 Token 成本,优先使用低成本模型
- **性能自适应**:根据 [[ShadowTraffic]] 数据动态调整排名
- **故障感知**:熔断器切断的 Provider 自动跳过
## Connections
- [[AutonomousOptimizationArchitect]] — 语义路由是核心路由决策逻辑
- [[CircuitBreaker]] — 提供故障感知的 Provider 过滤
- [[LLMasJudge]] — 提供更新路由权重的数据