Sync: add ai finops and deployment notes

This commit is contained in:
2026-04-26 12:35:45 +08:00
parent f09834b5a5
commit ecdf295ded
14 changed files with 7117 additions and 5832 deletions

View File

@@ -0,0 +1,31 @@
---
title: "CircuitBreaker"
type: concept
tags: ["reliability", "fault-tolerance", "llm-ops"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- Circuit Breaker
- 熔断器
- Circuit Breaker Pattern
## Definition
熔断器模式是 [[AutonomousOptimizationArchitect]] 的核心安全机制——当某个 LLM Provider 的失败频率超过阈值(如 HTTP 402/429 错误、响应超时)时,自动切断该 Provider 并切换至廉价兜底方案,同时触发告警通知人工介入。
## Mechanism
1. **监测**:追踪每个 Provider 的失败计数和失败率
2. **触发**:当失败次数超过 `maxRetries` 阈值,或检测到 HTTP 402/429 错误流时,立即 trip 熔断器
3. **降级**:所有请求切换到预配置的廉价兜底 Provider如 Gemini Flash
4. **恢复**:人工确认问题解决后手动重置,或经过冷却期后自动尝试恢复
## Key Properties
- **防止成本失控**:阻止 Token 消耗攻击(如恶意 bot 短时间内大量请求)
- **防止无限重试**:每个 Provider 配置最大重试次数 `maxRetries`
- **分级降级**:逐级切换到更便宜的备用 Provider直到找到可用路径
## Connections
- [[AutonomousOptimizationArchitect]] — 使用 CircuitBreaker 作为金融护栏的核心实现
- [[LLMasJudge]] — 评估 Provider 降级后输出质量是否可接受
- [[ShadowTraffic]] — 熔断触发后可异步在影子流量中测试备用 Provider