32 lines
1.5 KiB
Markdown
32 lines
1.5 KiB
Markdown
---
|
||
title: "CircuitBreaker"
|
||
type: concept
|
||
tags: ["reliability", "fault-tolerance", "llm-ops"]
|
||
sources: ["engineering-autonomous-optimization-architect"]
|
||
last_updated: 2026-04-26
|
||
---
|
||
|
||
## Aliases
|
||
- Circuit Breaker
|
||
- 熔断器
|
||
- Circuit Breaker Pattern
|
||
|
||
## Definition
|
||
熔断器模式是 [[AutonomousOptimizationArchitect]] 的核心安全机制——当某个 LLM Provider 的失败频率超过阈值（如 HTTP 402/429 错误、响应超时）时，自动切断该 Provider 并切换至廉价兜底方案，同时触发告警通知人工介入。
|
||
|
||
## Mechanism
|
||
1. **监测**：追踪每个 Provider 的失败计数和失败率
|
||
2. **触发**：当失败次数超过 `maxRetries` 阈值，或检测到 HTTP 402/429 错误流时，立即 trip 熔断器
|
||
3. **降级**：所有请求切换到预配置的廉价兜底 Provider（如 Gemini Flash）
|
||
4. **恢复**：人工确认问题解决后手动重置，或经过冷却期后自动尝试恢复
|
||
|
||
## Key Properties
|
||
- **防止成本失控**：阻止 Token 消耗攻击（如恶意 bot 短时间内大量请求）
|
||
- **防止无限重试**：每个 Provider 配置最大重试次数 `maxRetries`
|
||
- **分级降级**：逐级切换到更便宜的备用 Provider，直到找到可用路径
|
||
|
||
## Connections
|
||
- [[AutonomousOptimizationArchitect]] — 使用 CircuitBreaker 作为金融护栏的核心实现
|
||
- [[LLMasJudge]] — 评估 Provider 降级后输出质量是否可接受
|
||
- [[ShadowTraffic]] — 熔断触发后可异步在影子流量中测试备用 Provider
|