Files
nexus/wiki/concepts/CircuitBreaker.md

1.5 KiB
Raw Blame History

title, type, tags, sources, last_updated
title type tags sources last_updated
CircuitBreaker concept
reliability
fault-tolerance
llm-ops
engineering-autonomous-optimization-architect
2026-04-26

Aliases

  • Circuit Breaker
  • 熔断器
  • Circuit Breaker Pattern

Definition

熔断器模式是 AutonomousOptimizationArchitect 的核心安全机制——当某个 LLM Provider 的失败频率超过阈值(如 HTTP 402/429 错误、响应超时)时,自动切断该 Provider 并切换至廉价兜底方案,同时触发告警通知人工介入。

Mechanism

  1. 监测:追踪每个 Provider 的失败计数和失败率
  2. 触发:当失败次数超过 maxRetries 阈值,或检测到 HTTP 402/429 错误流时,立即 trip 熔断器
  3. 降级:所有请求切换到预配置的廉价兜底 Provider如 Gemini Flash
  4. 恢复:人工确认问题解决后手动重置,或经过冷却期后自动尝试恢复

Key Properties

  • 防止成本失控:阻止 Token 消耗攻击(如恶意 bot 短时间内大量请求)
  • 防止无限重试:每个 Provider 配置最大重试次数 maxRetries
  • 分级降级:逐级切换到更便宜的备用 Provider直到找到可用路径

Connections