Sync: add ai finops and deployment notes

This commit is contained in:
2026-04-26 12:35:45 +08:00
parent f09834b5a5
commit ecdf295ded
14 changed files with 7117 additions and 5832 deletions

32
wiki/concepts/AIFinOps.md Normal file
View File

@@ -0,0 +1,32 @@
---
title: "AIFinOps"
type: concept
tags: ["finops", "cost-optimization", "cloud-economics"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- AI FinOps
- AI Financial Operations
- LLM Cost Management
## Definition
AI FinOpsFinancial Operations是 [[AutonomousOptimizationArchitect]] 的成本管理框架——持续追踪每个 LLM Provider 的 Token 消耗、成本、延迟和输出质量,建立历史性能数据库,为 [[SemanticRouting]] 提供成本感知的决策依据。目标是实现 AI 运营成本的可预测性和可控性。
## Mechanism
1. **遥测数据收集**:每次 API 调用记录 Token 数量、响应时间、错误率、成本
2. **成本建模**:按 Provider、模型、任务类型建立成本分解模型
3. **异常检测**:检测异常流量模式(如 500% 流量突增,可能为 bot 攻击)
4. **预算告警**:当成本接近阈值时触发告警
5. **优化建议**:基于历史数据生成成本优化建议(如切换到 Gemini Flash
## Key Properties
- **成本透明**:每百万 Token 成本精确追踪
- **可预测性**:基于历史趋势预测未来成本
- **与治理对齐**:为 [[CircuitBreaker]] 提供成本异常检测数据
## Connections
- [[AutonomousOptimizationArchitect]] — AIFinOps 是成本管理的核心框架
- [[SemanticRouting]] — 成本数据是路由决策的关键输入
- [[CircuitBreaker]] — 异常成本流量触发熔断保护

View File

@@ -0,0 +1,31 @@
---
title: "CircuitBreaker"
type: concept
tags: ["reliability", "fault-tolerance", "llm-ops"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- Circuit Breaker
- 熔断器
- Circuit Breaker Pattern
## Definition
熔断器模式是 [[AutonomousOptimizationArchitect]] 的核心安全机制——当某个 LLM Provider 的失败频率超过阈值(如 HTTP 402/429 错误、响应超时)时,自动切断该 Provider 并切换至廉价兜底方案,同时触发告警通知人工介入。
## Mechanism
1. **监测**:追踪每个 Provider 的失败计数和失败率
2. **触发**:当失败次数超过 `maxRetries` 阈值,或检测到 HTTP 402/429 错误流时,立即 trip 熔断器
3. **降级**:所有请求切换到预配置的廉价兜底 Provider如 Gemini Flash
4. **恢复**:人工确认问题解决后手动重置,或经过冷却期后自动尝试恢复
## Key Properties
- **防止成本失控**:阻止 Token 消耗攻击(如恶意 bot 短时间内大量请求)
- **防止无限重试**:每个 Provider 配置最大重试次数 `maxRetries`
- **分级降级**:逐级切换到更便宜的备用 Provider直到找到可用路径
## Connections
- [[AutonomousOptimizationArchitect]] — 使用 CircuitBreaker 作为金融护栏的核心实现
- [[LLMasJudge]] — 评估 Provider 降级后输出质量是否可接受
- [[ShadowTraffic]] — 熔断触发后可异步在影子流量中测试备用 Provider

View File

@@ -0,0 +1,31 @@
---
title: "DarkLaunching"
type: concept
tags: ["deployment", "release-management", "feature-rollout"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- Dark Launch
- 暗启动
- 灰度发布
- Feature Flag Deployment
## Definition
暗启动是 [[AutonomousOptimizationArchitect]] 的模型引入策略——在不完全暴露给用户的前提下,将新模型部署到生产环境,通过 [[ShadowTraffic]] 验证其性能。分为三个阶段:影子测试(不返回用户)→ 灰度流量5% 用户)→ 全量切换。
## Mechanism
1. **Phase 1 - Shadow Deployment**:新模型接收影子流量,完全不影响用户
2. **Phase 2 - Canary**5% 真实流量切换到新模型,监控错误率和用户满意度
3. **Phase 3 - Full Rollout**:新模型通过所有检查后,全量替换旧模型
## Key Properties
- **风险可控**:任何阶段发现问题均可立即回滚
- **数据驱动**:每个阶段都有明确的量化指标门槛
- **与 CI/CD 集成**:暗启动可作为自动化发布流水线的组成部分
## Connections
- [[AutonomousOptimizationArchitect]] — 使用暗启动作为新模型引入框架
- [[ShadowTraffic]] — 暗启动 Phase 1 的核心实现方式
- [[CircuitBreaker]] — 提供暗启动失败时的自动保护机制

View File

@@ -0,0 +1,31 @@
---
title: "LLMasJudge"
type: concept
tags: ["evaluation", "llm-evaluation", "quality-assurance"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- LLM as a Judge
- LLM-as-Judge
- LLM-as-a-Judge Grading
## Definition
LLM-as-a-Judge 是 [[AutonomousOptimizationArchitect]] 的评分机制——使用一个独立的 LLM如 Claude Opus作为"裁判"对实验模型和生产模型的输出进行客观评分避免人工评审的主观偏差。评分维度包括JSON 格式正确性5分、延迟3分、幻觉检测-10分等。
## Mechanism
1. **评分标准预先建立**:在 [[ShadowTraffic]] 测试前,[[AutonomousOptimizationArchitect]] 明确建立数学评分标准
2. **异步评估**:实验模型和生产模型同时处理任务,裁判 LLM 盲评两者输出
3. **统计分析**:累积足够样本后进行统计显著性检验
4. **自主决策**:实验模型显著优于基准时,更新路由权重
## Key Properties
- **客观性**:消除人工评分的主观偏差
- **可扩展**:可同时评估多个 Provider 的输出
- **数据驱动**:评分结果直接驱动 [[SemanticRouting]] 决策
## Connections
- [[AutonomousOptimizationArchitect]] — LLM-as-Judge 是核心评估工具
- [[ShadowTraffic]] — 提供实验与基准并行执行的流量环境
- [[SemanticRouting]] — 评分结果更新路由权重

View File

@@ -0,0 +1,32 @@
---
title: "SemanticRouting"
type: concept
tags: ["routing", "llm-ops", "intelligent-routing"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- Semantic Routing
- 语义路由
- Intent Routing
- Task-Aware Routing
## Definition
语义路由是 [[AutonomousOptimizationArchitect]] 的决策核心——根据任务类型、历史性能评分和当前 Provider 状态,动态选择最优的 LLM Provider。Provider 按"优化分数"Speed + Cost + Accuracy 综合排名)排序,优先尝试排名最高的可用 Provider。
## Mechanism
1. **任务分析**:理解用户请求的类型和复杂度(如代码生成 vs. 闲聊)
2. **Provider 排名**:按历史优化分数对所有 Provider 排序
3. **动态选择**:从最高排名 Provider 开始尝试,直到找到可用且在成本限制内的 Provider
4. **持续学习**[[LLMasJudge]] 评分结果更新各 Provider 在特定任务类型上的排名
## Key Properties
- **成本感知**:始终追踪每百万 Token 成本,优先使用低成本模型
- **性能自适应**:根据 [[ShadowTraffic]] 数据动态调整排名
- **故障感知**:熔断器切断的 Provider 自动跳过
## Connections
- [[AutonomousOptimizationArchitect]] — 语义路由是核心路由决策逻辑
- [[CircuitBreaker]] — 提供故障感知的 Provider 过滤
- [[LLMasJudge]] — 提供更新路由权重的数据

View File

@@ -0,0 +1,32 @@
---
title: "ShadowTraffic"
type: concept
tags: ["testing", "a-b-testing", "dark-launch"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- Shadow Traffic
- 影子流量
- Shadow Testing
- 暗测试
## Definition
影子流量是 [[AutonomousOptimizationArchitect]] 的核心测试机制——将一小部分真实用户请求(通常 5%)异步复制到实验模型,与生产模型并行执行,但不返回给用户。实验结果通过 [[LLMasJudge]] 自动评分,用于决定是否将实验模型提升为生产模型。
## Mechanism
1. **流量复制**:用户请求同时发送至生产模型和实验模型
2. **异步评估**:实验模型结果不阻塞用户响应,通过 [[LLMasJudge]] 异步评分
3. **统计分析**:累积 N 次(如 1000 次)执行后评估性能差距
4. **自主升级**:实验模型统计显著优于基准时,自动更新路由权重
## Key Properties
- **零用户影响**:实验在后台进行,用户永远获得生产模型响应
- **真实数据**:使用真实用户请求,而非人工构造的测试用例
- **持续运行**:可 24/7 不间断运行,持续监控新模型发布
## Connections
- [[AutonomousOptimizationArchitect]] — 影子流量是核心测试基础设施
- [[LLMasJudge]] — 对影子流量结果进行自动评分
- [[DarkLaunching]] — 影子流量是暗启动的测试阶段

View File

@@ -1,30 +1,28 @@
---
title: "Anthropic"
type: entity
tags: [AI, Claude, Anthropic]
sources: [google-5个agent-skill设计模式-2026-03-19]
last_updated: 2026-03-19
---
## Overview
Anthropic 是一家 AI 安全公司,开发了 Claude 系列大语言模型和 Claude Code CLI Agent。其在 Skill 设计方面的实践经验9 类分类、3 条铁律)被 Google ADK 指南引用。
## Key Contributions
- **Claude Code**Anthropic 的 CLI Agent支持 SKILL.md 格式标准化
- **9 类 Skill 分类**:从参考手册到故障排查,每类有明确场景
- **3 条铁律**
1. 只写 Agent 不知道的东西
2. 重点写踩坑清单
3. 给工具不给指令
## Key Insight
> "最好的 Skill 不是写得好的提示词,而是一个「工具箱」。" — Anthropic
## Related Entities
- [[GoogleCloud]]:引用了 Anthropic 的 Skill 实践经验
- [[ClaudeCode]]Anthropic 开发的 CLI Agent
- [[ADK]]Google Cloud 的 Agent 开发工具包
## Connections
- [[AnthropicSkill实践]] ← authored_by ← [[Anthropic]]
- [[Google5个AgentSkill设计模式]] ← extends ← [[AnthropicSkill实践]]
---
title: "Anthropic"
type: entity
tags: ["llm-provider", "anthropic"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- Anthropic
- Anthropic PBC
## Definition
Anthropic 是主要的 LLM Provider提供 Claude 系列模型Claude Opus、Claude Sonnet、Claude Haiku 等)。在 [[AutonomousOptimizationArchitect]] 系统中作为高精度基准模型,其输出常被用作 [[LLMasJudge]] 评估其他模型时的参照标准。
## Role in LLM Routing
- Claude Opus 常作为高精度基准——如果其他模型要替代 Claude必须达到其 98%+ 精度
- Claude Sonnet/Haiku 提供性价比选项,供 [[AutonomousOptimizationArchitect]] 按任务难度分配
- Anthropic API 不可用时触发 [[CircuitBreaker]] 切换至 [[OpenAI]] 或 [[GoogleGemini]]
## Key Properties
- **Token 成本**$3-15 / 1M tokens
- **延迟**:低至中等
- **常见用途**:复杂推理、长文本分析、安全敏感任务
## Connections
- [[OpenAI]] — 同为 LLM Provider共同参与 [[SemanticRouting]]
- [[GoogleGemini]] — 在成本优化场景中与 Gemini Flash 形成对比

View File

@@ -0,0 +1,30 @@
---
title: "GoogleGemini"
type: entity
tags: ["llm-provider", "google", "gemini"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- Gemini
- Google Gemini
- Gemini Flash
- Gemini Pro
## Definition
Google Gemini 是 Google 的 LLM 系列模型,涵盖从高性价比到高性能的多种版本。在 [[AutonomousOptimizationArchitect]] 系统中Gemini Flash 因其极高的性价比(成本约为 Claude Opus 的 1/10而被列为重要的路由目标。
## Role in LLM Routing
- **Gemini Flash**:低成本高速度模型,如果精度达到基准的 98% 且成本远低于竞品,[[AutonomousOptimizationArchitect]] 会将流量自动路由至 Gemini
- **Gemini Pro**:中端定位,提供能力与成本的平衡
- 与 [[OpenAI]] 和 [[Anthropic]] 共同构成三足鼎立的 Provider 生态
## Key Properties
- **Token 成本**$0.075-0.5 / 1M tokensGemini Flash 极低)
- **延迟**Gemini Flash
- **优势**:极高的性价比,特别适合大规模、低成本推理
## Connections
- [[OpenAI]] — 同为 LLM Provider
- [[Anthropic]] — 高精度基准 Provider

View File

@@ -1,32 +1,27 @@
---
title: "OpenAI"
type: entity
tags: [ai, company, llm]
last_updated: 2026-04-23
---
# OpenAI
## Type
Company
## Aliases
- OpenAI LLC
- OpenAI LP盈利主体
## Description
OpenAI 是美国人工智能研究公司,开发了 GPT 系列大语言模型、ChatGPT 产品、API 接口及 DALL·E 图像生成模型。
## Key Products
- **ChatGPT**:对话式 AI 助手支持自定义指令Custom Instructions功能
- **GPT-4 / GPT-4o / GPT-4.5**:最新大语言模型系列
- **OpenAI API**:为开发者提供 LLM 调用接口
- **DALL·E**:文本生成图像模型
- **Whisper**:开源语音识别模型
- **Sora**:视频生成模型
## Relevance to This Wiki
OpenAI 是本 Wiki 中多个 AI 工具和方案的底层技术提供商:[[ChatGPT]] 是用户自定义配置的主体;[[OpenClaw]] 可接入 OpenAI APIn8n、Claude 等工具均支持 OpenAI 模型集成。
## Sources
- [[openai-chatgpt-个性化定义]]
---
title: "OpenAI"
type: entity
tags: ["llm-provider", "openai"]
sources: ["engineering-autonomous-optimization-architect"]
last_updated: 2026-04-26
---
## Aliases
- OpenAI
- OpenAI Inc.
## Definition
OpenAI 是主要的 LLM Provider 之一,提供 GPT 系列模型GPT-4、GPT-4o、GPT-3.5 Turbo 等)。在 [[AutonomousOptimizationArchitect]] 系统中作为主要候选 Provider 之一参与性能排名和流量路由竞争。
## Role in LLM Routing
- 提供多种规模的模型供 [[AutonomousOptimizationArchitect]] 按任务类型分配
- 模型历史性能token 延迟、幻觉率、成本)被 [[AutonomousOptimizationArchitect]] 持续追踪并纳入 Provider 排名
## Key Properties
- **Token 成本**$2.5-15 / 1M tokens因模型而异
- **延迟**:中等至高(取决于模型规模)
- **常见用途**:代码生成、复杂推理、长文档处理
## Connections
- [[Anthropic]] — 同为 LLM Provider竞争关系共同参与 [[SemanticRouting]]
- [[GoogleGemini]] — 同为 LLM Provider在性价比上与 Gemini Flash 形成竞争

File diff suppressed because it is too large Load Diff

File diff suppressed because it is too large Load Diff

File diff suppressed because it is too large Load Diff

View File

@@ -0,0 +1,52 @@
---
title: "Autonomous Optimization Architect"
type: source
tags: ["ai-finetuning", "llm-routing", "ai-fintech", "autonomous-agents", "cost-optimization"]
date: 2026-04-26
---
## Source File
- [[Agent/agency-agents/engineering/engineering-autonomous-optimization-architect.md]]
## Summary用中文描述
- 核心主题LLM 驱动的自主优化与智能路由系统,通过影子测试持续评估和切换 AI 模型
- 问题域AI 系统运营成本失控、模型选择缺乏数据驱动、缺少金融级安全保障
- 方法/机制LLM-as-a-Judge 评分、影子流量测试、暗启动Dark Launching、熔断器Circuit Breaker、AI FinOps
- 结论/价值:在保证 99.99% 稳定性的前提下,通过自动路由至更便宜/更快的模型实现 >40% 成本降低
## Key Claims用中文描述
- 影子流量Shadow Traffic异步测试新模型不影响生产环境稳定性的同时收集真实对比数据
- 自主流量路由Autonomous Traffic Routing实验模型达到基准精度如 98%)且成本更低(如 1/10自动切换至该模型
- 金融与安全护栏Financial & Security Guardrails每个外部请求必须配置超时、重试上限和廉价兜底方案防止无限循环
- 异常熔断Halt on Anomaly流量突增 500% 或出现 HTTP 402/429 错误时,立即触发熔断器并告警人工
- 成本优先原则:提出 LLM 架构时必须同时给出每百万 Token 的主路径和兜底路径成本估算
## Key Quotes
> "I have evaluated 1,000 shadow executions. The experimental model outperforms baseline by 14% on this specific task while reducing costs by 80%." — Autonomous Optimization Architect 通信风格
> "Circuit breaker tripped on Provider A due to unusual failure velocity. Automating failover to Provider B to prevent token drain. Admin alerted." — 熔断触发时的标准告警语
> "Autonomous routing without a circuit breaker is just an expensive bomb." — 该 Agent 的核心理念
## Key Concepts
- [[CircuitBreaker]]:熔断器模式,当 Provider 失败频率超过阈值时自动切断并切换到廉价兜底方案
- [[LLMasJudge]]:用 LLM 自动评估实验模型输出的质量,作为客观评分替代人工评审
- [[ShadowTraffic]]:影子流量,将一小部分请求异步转发至实验模型,与生产结果对比评分
- [[SemanticRouting]]:语义路由,根据任务类型和历史性能选择最优 Provider
- [[DarkLaunching]]:暗启动/灰度发布,新模型在不影响用户的前提下逐步引入
- [[AIFinOps]]AI 云财务管理,跟踪每个 LLM 的 token 消耗、成本和延迟,建立历史性能排名
## Key Entities
- [[OpenAI]]:主要 LLM Provider 之一,提供 GPT 系列模型
- [[Anthropic]]:主要 LLM Provider提供 Claude 系列模型
- [[GoogleGemini]]:主要 LLM Provider提供 Gemini Flash 等高性价比模型
- [[Firecrawl]]:网页抓取 API当 LLM Provider 不可用时的备选数据获取方案
## Connections
- [[testing-workflow-optimizer]] ← uses ← [[AutonomousOptimizationArchitect]](工作流优化依赖路由决策)
- [[backend-architect-with-memory]] ← depends_on ← [[AutonomousOptimizationArchitect]](后端架构依赖成本追踪记忆)
- [[automation-governance-architect]] ← shares_guardrails ← [[AutonomousOptimizationArchitect]](自动化治理与本 Agent 均涉及安全护栏设计)
## Contradictions
- 与 [[testing-performance-benchmarker]] 冲突:
- 冲突点:性能基准测试强调人工驱动的静态评估,本 Agent 强调机器驱动的动态 A/B 测试
- 当前观点:持续自动的影子测试比定期人工测试更能反映生产环境真实性能
- 对方观点:性能基准测试提供可控、可复现的实验室数据,而非真实流量噪声

View File

@@ -0,0 +1,56 @@
---
title: "Mobile App Builder Agent Personality"
type: source
tags: []
date: 2026-04-26
---
## Source File
- [[Agent/agency-agents/engineering/engineering-mobile-app-builder.md]]
## Summary用中文描述
- 核心主题Mobile App Builder — 专注于原生 iOS/Android 开发和跨平台框架的移动应用开发 AI Agent 人格规范
- 问题域:如何在移动端构建高性能、平台原生体验的应用;原生开发与跨平台开发的选型决策;移动端特有的性能、续航、离线场景约束
- 方法/机制Swift/SwiftUIiOS、Kotlin/Jetpack ComposeAndroid、React Native/Flutter跨平台MVVM 模式Offline-First 架构平台原生设计规范Material Design / Human Interface Guidelines
- 结论/价值:移动开发 Agent 需要具备平台意识、性能优先、用户体验驱动的特质,同时保持跨平台的技术多样性
## Key Claims用中文描述
- 原生 iOS/Android 开发必须遵循平台设计指南Material Design、Human Interface Guidelines
- 移动应用必须实现离线优先架构和智能数据同步
- 跨平台开发需在代码复用与平台原生体验之间找到平衡
- 移动性能优化目标:冷启动 < 3 秒,内存占用 < 100MB续航损耗 < 5%/小时
## Key Quotes
> "Implemented iOS-native navigation with SwiftUI while maintaining Material Design patterns on Android" — 平台感知型开发示例
> "Built offline-first architecture to handle poor network conditions gracefully" — 移动约束优先的设计理念
> "Optimized app startup time to 2.1 seconds and reduced memory usage by 40%" — 性能优化的典型目标
## Key Concepts
- [[Offline-First Architecture]]:离线优先架构 — 构建应用时默认以离线为基准,网络连接时进行数据同步,确保弱网环境下的用户体验
- [[MVVM Pattern]]Model-View-ViewModel — SwiftUI 和 Jetpack Compose 推荐的状态管理模式ViewModel 持有 UI 状态和业务逻辑View 负责渲染
- [[Cross-Platform Mobile Development]]:跨平台移动开发 — 使用 React Native 或 Flutter 等框架在 iOS 和 Android 上共享代码,同时保持平台原生特性
- [[Platform-Native UI]]:平台原生 UI — 遵循各平台设计规范Material Design / HIG实现符合用户预期的界面和交互
- [[Biometric Authentication]]:生物特征认证 — 在移动应用中集成 Face ID、Touch ID 或指纹识别实现安全身份验证
- [[Push Notification System]]:推送通知系统 — 针对不同平台APNs/Firebase实现精准推送提升用户留存
## Key Entities
- [[SwiftUI]]Apple 声明式 UI 框架,用于构建现代 iOS/macOS 应用界面
- [[Jetpack Compose]]Google Jetpack 声明式 UI 工具包Android 原生现代化 UI 开发
- [[React Native]]Facebook/Meta 开源跨平台框架,使用 JavaScript/TypeScript 构建原生移动应用
- [[Flutter]]Google 开源跨平台 UI 工具包,使用 Dart 语言,可编译为原生 ARM 代码
- [[Swift]]Apple iOS/macOS 开发语言,配合 SwiftUI 使用
- [[Kotlin]]Google 官方 Android 开发语言,配合 Jetpack Compose 使用
## Connections
- [[agents-orchestrator]] ← orchestrates ← [[engineering-mobile-app-builder]]
- [[engineering-mobile-app-builder]] ← shares_workflow ← [[unity-architect]](平台策略和架构决策方法论)
- [[engineering-mobile-app-builder]] ← extends ← [[software-architect]](系统架构原则应用于移动端)
- [[visionos-spatial-engineer]] ← related_to ← [[engineering-mobile-app-builder]]Apple 生态移动开发扩展)
- [[xr-immersive-developer]] ← related_to ← [[engineering-mobile-app-builder]]XR 与移动平台的跨设备体验)
## Contradictions
- 与 [[unity-architect]] 跨平台理念存在框架差异:
- 冲突点:原生开发 vs 跨平台框架的优先级
- 当前观点Mobile App Builder 默认支持多种框架SwiftUI、Jetpack Compose、React Native、Flutter按需选型
- 对方观点Unity Architect 专注于 Unity 引擎内的跨平台方案
- 说明两者解决的问题域不同Mobile App Builder 面向通用移动应用Unity Architect 面向游戏开发,属合理分工而非矛盾