From 365caa800a38b857969d377c70b37a8ae11e9124 Mon Sep 17 00:00:00 2001 From: weishen Date: Tue, 28 Apr 2026 16:03:03 +0800 Subject: [PATCH] Auto-sync: 2026-04-28 16:03 --- wiki/concepts/Aurora-Global.md | 50 +++++ wiki/concepts/Backlinks.md | 41 ++++ wiki/concepts/Blue-Green-Deployment.md | 134 +++++------ wiki/concepts/DBA-Role-Evolution.md | 117 +++++----- wiki/concepts/Docker-Compose.md | 102 +++------ wiki/concepts/Domain-Join.md | 32 +++ wiki/concepts/Multi-AZ.md | 48 ++++ wiki/concepts/Multi-Database-Architecture.md | 161 ++++++-------- wiki/concepts/Purpose-Built-Databases.md | 124 +++++------ wiki/concepts/Secure-Dynamic-Updates.md | 36 +++ wiki/concepts/YouTube-Data-API-v3.md | 40 ++++ wiki/entities/Amazon-Aurora.md | 97 ++++---- wiki/entities/Amazon-DocumentDB.md | 85 +++---- wiki/entities/Amazon-DynamoDB.md | 87 ++++---- wiki/entities/Amazon-ElastiCache.md | 96 ++++---- wiki/entities/Amazon-Keyspaces.md | 85 +++---- wiki/entities/Amazon-Neptune.md | 76 ++++--- wiki/entities/Amazon-RDS.md | 99 ++++----- wiki/entities/Amazon-Timestream.md | 84 +++---- wiki/entities/Duolingo.md | 42 ++++ wiki/entities/Gruntwork.md | 64 +++--- wiki/entities/Netflix.md | 40 ++++ wiki/entities/Obsidian.md | 49 ++--- wiki/entities/OpenClaw.md | 1 + wiki/entities/Peloton.md | 41 ++++ wiki/entities/RSSHub.md | 36 +++ wiki/entities/Raycast.md | 31 +++ wiki/entities/Rectangle.md | 29 +++ wiki/entities/WSL2.md | 34 +++ wiki/entities/ghproxy.md | 34 +++ wiki/entities/n8n.md | 1 + wiki/index.md | 44 ++-- wiki/log.md | 113 ++++++++++ wiki/overview.md | 8 +- wiki/sources/blogwatcher-daily收藏.md | 89 ++++---- ...c-1-gruntwork-landing-zone-architecture.md | 2 +- ...experience-moving-production-services-i.md | 80 +++---- ...directory-services-in-gruntwork-aws-lzs.md | 70 +++--- wiki/sources/ctp-topic-46-netapps-on-aws.md | 3 +- ...ences-between-postgresql-rds-and-aurora.md | 71 +++--- ...enterprise-dr-strategy-using-aws-backup.md | 84 ++++--- wiki/sources/fireworks-tech-graph.md | 208 +++++++++++++----- wiki/sources/install-wsl.md | 54 ++--- wiki/sources/mac必装软件清单-2026-04-17.md | 58 ++--- wiki/sources/obsidian-cli.md | 143 +++++++----- .../obsidian-官方-cli-命令全景速查表.md | 58 +++-- wiki/sources/wsl2-启动与网络配置指南.md | 52 +++-- ...笔记-本地部署-rsshub-并获取-youtube-订阅.md | 58 +++-- 48 files changed, 1942 insertions(+), 1249 deletions(-) create mode 100644 wiki/concepts/Aurora-Global.md create mode 100644 wiki/concepts/Backlinks.md create mode 100644 wiki/concepts/Domain-Join.md create mode 100644 wiki/concepts/Multi-AZ.md create mode 100644 wiki/concepts/Secure-Dynamic-Updates.md create mode 100644 wiki/concepts/YouTube-Data-API-v3.md create mode 100644 wiki/entities/Duolingo.md create mode 100644 wiki/entities/Netflix.md create mode 100644 wiki/entities/Peloton.md create mode 100644 wiki/entities/RSSHub.md create mode 100644 wiki/entities/Raycast.md create mode 100644 wiki/entities/Rectangle.md create mode 100644 wiki/entities/WSL2.md create mode 100644 wiki/entities/ghproxy.md diff --git a/wiki/concepts/Aurora-Global.md b/wiki/concepts/Aurora-Global.md new file mode 100644 index 00000000..77c6a0af --- /dev/null +++ b/wiki/concepts/Aurora-Global.md @@ -0,0 +1,50 @@ +--- +title: "Aurora Global" +type: concept +tags: + - AWS + - Aurora + - Database + - Disaster Recovery + - Multi-Region +sources: + - ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora +last_updated: 2026-04-23 +--- + +## Overview +Aurora Global 是 Amazon Aurora 的跨区域数据库部署方案，允许将一个 Aurora 集群复制到其他 AWS 区域，支持低延迟的全局读取和快速的区域级故障转移。 + +## Core Features +- **跨区域复制**：异步复制数据到最多 5 个辅助区域 +- **托管式切换（Managed Switchover）**：支持干净的故障转移，无需重新复制数据 +- **快速故障转移**：AZ 故障时可在约 30 秒内完成 RTO；区域级故障通过 Aurora Global 切换 +- **全局读取加速**：辅助区域可就近提供读取流量，降低读取延迟 + +## Key Capabilities + +### Managed Switchover +Aurora Global 支持托管式切换（Managed Switchover），主区域发生故障时： +1. 将辅助区域提升为新的主区域 +2. 故障区域恢复后，作为新的辅助区域重新加入全球集群 +3. 无需重新复制数据，切换过程干净快速 + +### vs RDS Cross-Region Replication +| 特性 | Aurora Global | RDS Cross-Region | +|------|-------------|-----------------| +| 复制类型 | 异步 | 异步 | +| 故障切换 | 托管式切换，无需重新复制 | 需阻断访问，重建集群 | +| 辅助区域数量 | 最多 5 个 | 依赖具体配置 | +| 读取扩展 | 支持（辅助区域读取） | 支持（读副本） | + +## Related Concepts +- [[Amazon Aurora]]：Aurora Global 的宿主数据库 +- [[RTO]]：Aurora Global 帮助实现低 RTO +- [[Multi-AZ]]：AZ 级高可用 vs Aurora Global 区域级灾备 +- [[Blue-Green Deployment]]：Aurora MySQL 支持的部署策略 + +## Aliases +- Aurora Global Database +- Aurora Global Cluster +- Aurora Cross-Region Replication +- Aurora Multi-Region diff --git a/wiki/concepts/Backlinks.md b/wiki/concepts/Backlinks.md new file mode 100644 index 00000000..18abe73f --- /dev/null +++ b/wiki/concepts/Backlinks.md @@ -0,0 +1,41 @@ +--- +title: "Backlinks（双向链接）" +type: concept +tags: [知识管理, 笔记系统, 图谱构建] +sources: + - "[[obsidian-官方-cli-命令全景速查表]]" +last_updated: 2026-04-28 +--- + +## Definition +**Backlinks（反向链接 / 双向链接）** 是一种笔记间的引用机制：当笔记 A 通过 `[[B]]` 链接到笔记 B 时，B 会自动生成一条指向 A 的反向链接记录，从而形成双向关系网络。 + +## Aliases +- 反向链接 +- Backlink +- Bidirectional Links +- 双向链接 +- Wikilinks +- `[[WikiLinks]]` + +## Core Mechanism +- **正向链接（Outgoing Links）**：从当前笔记指向其他笔记 +- **反向链接（Backlinks）**：其他笔记指向当前笔记的链接列表 +- Obsidian 在编辑器侧边栏自动展示 Backlinks 面板 + +## Key Commands (Obsidian CLI) +- `obsidian backlinks file=Index` — 列出指向目标文件的所有反向链接 +- `obsidian links file=Index` — 列出目标文件包含的所有出站链接 +- `obsidian move/rename` — 重命名/移动文件时 CLI 自动更新全库双链，绝不断链 +- `obsidian unresolved` — 提取未创建实体文件的死链接节点 + +## Value in Knowledge Management +- 构建知识图谱：揭示笔记间的隐性关联 +- 上下文追溯：通过反向链接顺藤摸瓜找到相关笔记 +- 支持本地 RAG：Agent 通过 `backlinks` + `read` 构建准确的背景知识库 +- 发现孤立笔记：`orphans` 命令找出没有被任何笔记引用的"死"笔记 + +## Related Concepts +- [[Zettelkasten]] — 双链是卡片盒笔记法的核心技术 +- [[Graph-View]] — 图谱视图可视化双链网络 +- [[Local-RAG]] — Backlinks + search:context 是本地 RAG 的关键组件 diff --git a/wiki/concepts/Blue-Green-Deployment.md b/wiki/concepts/Blue-Green-Deployment.md index 3194e74e..5e8f4d3c 100644 --- a/wiki/concepts/Blue-Green-Deployment.md +++ b/wiki/concepts/Blue-Green-Deployment.md @@ -1,84 +1,50 @@ ---- -title: "Blue-Green Deployment" -type: concept -tags: [devops, deployment, release-management, high-availability] -date: 2025-03-01 ---- - -## Definition - -蓝绿部署（Blue-Green Deployment）是一种零停机发布策略，维护两套相同的生产环境（蓝环境和绿环境），通过负载均衡器切换流量实现无缝部署和快速回滚。 - -## Architecture - -``` - Load Balancer - │ - ┌──────────┴──────────┐ - │ │ - Blue Env Green Env - (Production) (Staging) - │ │ - v1.0 v1.1 (New) - │ - Traffic ON Traffic OFF -``` - -## Deployment Flow - -``` -1. Blue (v1.0) serving all traffic -2. Deploy to Green (v1.1) -3. Test/Verify Green -4. Switch LB to Green -5. Blue becomes standby (or update to next version) -``` - -## Key Benefits - -| 优势 | 描述 | -|------|------| -| 零停机 | 流量切换瞬间完成 | -| 快速回滚 | 切换回蓝色环境即可 | -| 测试完整性 | 完整生产环境测试 | -| 风险可控 | 新版本未暴露给全部用户 | - -## Comparison: Blue-Green vs Canary - -| 维度 | Blue-Green | Canary | -|------|-----------|--------| -| 流量切换 | 全量切换 | 渐进式 | -| 回滚速度 | 秒级 | 秒级 | -| 资源成本 | 2x | 增量 | -| 适用场景 | 关键系统 | 持续迭代 | -| 风险 | 全量暴露 | 逐步暴露 | - -## In ITSM Context - -在[[ITSM 2.0]]的[[Release-Management]]中，蓝绿部署是关键实践： - -``` -Release Management 2.0 -├── Blue-Green Deployment -│ ├── 零停机发布 -│ ├── 秒级回滚 -│ └── 全量验证 -├── Canary Release -│ ├── 渐进式发布 -│ └── 实时监控 -└── DevOps-integrated ITSM - ├── CI/CD Pipeline - └── Automated Governance -``` - -## Related Concepts - -- [[Release-Management]] — 发布管理总框架 -- [[Canary-Release]] — 金丝雀发布 -- [[High-Availability]] — 高可用架构 -- [[Failover]] — 故障转移 -- [[Deployment-Automation]] — 部署自动化 - -## Sources - -- [[understanding-complete-itsm]] — Blue-Green在现代ITSM中的应用 +--- +title: "Blue-Green Deployment" +type: concept +tags: + - AWS + - Aurora + - Database + - Deployment + - Release Management +sources: + - ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora +last_updated: 2026-04-23 +--- + +## Overview +Blue-Green Deployment（蓝绿部署）是一种零停机部署策略，通过维护两套相同环境（Blue 和 Green）实现快速、平滑的版本切换，最小化部署风险。 + +## How It Works +1. **Blue 环境**：当前生产环境 +2. **Green 环境**：与 Blue 完全相同的新版本副本 +3. **部署过程**： + - 在 Green 环境部署和验证新版本 + - 验证通过后，将流量从 Blue 切换到 Green + - Blue 环境保留作为即时回滚的备用 + +## Aurora Blue-Green Deployment +Aurora MySQL 支持数据库层的 Blue-Green Deployment，用于 Major Version Upgrade（Maj-Vu）： +- **原理**：通过逻辑复制（基于 Binlog）将 Blue 环境的变更同步到 Green 环境 +- **Guardrails**：内置保护机制防止数据丢失 +- **限制**：仅 Aurora MySQL 支持；**Aurora PostgreSQL 不支持** + +### vs Traditional Database Upgrade +| 方式 | 停机时间 | 风险 | 数据保护 | +|------|---------|------|---------| +| In-place Major Upgrade | 分钟级，取决于数据大小 | 高，需执行升级脚本 | 依赖备份 | +| Blue-Green Deployment | 接近零 | 低，可即时回滚 | 自动保护 | + +## Related Concepts +- [[Canary Deployment]]：渐进式流量分配，另一种低风险部署策略 +- [[Amazon Aurora]]：Aurora MySQL 支持 Blue-Green Deployment +- [[Amazon RDS]]：RDS PostgreSQL 不支持 Blue-Green Deployment +- [[Release Management]]：蓝绿部署属于发布管理的工具之一 +- [[RTO]]：Blue-Green Deployment 可将数据库升级的 RTO 降至接近零 + +## Aliases +- Blue-Green +- Blue Green Deployment +- 蓝绿部署 +- 双环境部署 +- Zero-Downtime Deployment diff --git a/wiki/concepts/DBA-Role-Evolution.md b/wiki/concepts/DBA-Role-Evolution.md index 56350191..7bd68185 100644 --- a/wiki/concepts/DBA-Role-Evolution.md +++ b/wiki/concepts/DBA-Role-Evolution.md @@ -1,64 +1,53 @@ ---- -title: "DBA Role Evolution" -type: concept -tags: - - AWS - - Cloud - - Database - - Career -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Definition -云时代 DBA 角色演变（Cloud DBA Evolution）是指数据库管理员（Database Administrator）的职能从传统的底层平台管理（备份、补丁、容量规划）向现代的应用层创新（架构设计、查询优化、性能调优）转变的过程。 - -## Traditional DBA Responsibilities (On-Premises) -传统 DBA 的核心职责： -- **平台管理**：数据库安装、配置、补丁升级 -- **备份恢复**：执行备份、验证恢复、灾难演练 -- **容量规划**：存储计算资源规划、采购 -- **性能监控**：数据库指标监控、瓶颈诊断 -- **安全合规**：用户权限管理、合规审计 - -## Cloud-Native DBA Responsibilities (AWS) -云时代 AWS 环境下的 DBA 职能转变： - -| 传统职责 | 云时代处理方式 | DBA 新焦点 | -|---------|--------------|-----------| -| 备份恢复 | AWS 自动备份（ RDS/Aurora 内置） | 制定备份策略、验证 RTO/RPO | -| 补丁升级 | AWS 自动打补丁（Managed Service） | 评估补丁影响、安排维护窗口 | -| 容量规划 | 按需扩展（Auto Scaling / Serverless） | 成本优化、右规格选型 | -| 故障恢复 | Multi-AZ 自动故障转移 | 架构设计、演练自动化 | -| 硬件维护 | AWS 负责 | 更高层次的架构决策 | - -## New DBA Focus Areas -云时代 DBA 应聚焦的领域： - -1. **数据库架构设计**：专用数据库选型（[[Purpose-Built-Databases]]）、多数据库混合架构 -2. **查询优化**：慢查询分析、索引策略、执行计划优化 -3. **性能调优**：Aurora Serverless、DynamoDB On-Demand 的合理使用 -4. **安全加固**：VPC 安全组、加密（KMS）、IAM 权限最小化 -5. **成本优化**：Reserved Instances、Savings Plans、冷热数据分层 -6. **应用集成**：连接池配置（ RDS Proxy）、读写分离、缓存策略 -7. **数据治理**：Schema 设计规范、数据生命周期管理 - -## Key Quote -> "The role of the DBA is evolving in the cloud." — Femi George, AWS Database Sales Specialist - -AWS 负责底层平台管理，DBA 的价值转移到**应用创新**而非平台维护。 - -## Aliases -- Cloud DBA -- 云时代 DBA -- DBA 职能转变 -- Database Administrator Evolution -- Database Reliability Engineer - -## Related Concepts -- [[Purpose-Built-Databases]]：云时代 DBA 需要掌握多种专用数据库的选型能力 -- [[Multi-Database-Architecture]]：DBA 负责设计多数据库混合架构 -- [[RTO]]：云时代 DBA 关注的关键灾备指标 -- [[Amazon-RDS]]：托管关系型数据库，DBA 从平台管理转向应用优化 -- [[Amazon-Aurora]]：云原生数据库，存储计算分离架构 +--- +title: "DBA Role Evolution" +type: concept +tags: + - Cloud + - Database + - DevOps + - Career +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +云时代数据库管理员（DBA）的角色正经历深刻转变：从底层平台运维转向应用层创新和架构设计，成为 DevOps/平台工程的桥梁。 + +## Traditional DBA Responsibilities (On-Premises) +传统 DBA 的核心工作： +- 物理服务器和存储的采购、配置、维护 +- 数据库引擎安装、补丁管理、版本升级 +- 备份策略制定与恢复演练 +- 性能调优（索引、查询优化） +- 安全管理（用户、权限、审计） + +## Cloud-Native DBA Responsibilities (AWS) +云时代 AWS 上的 DBA 职能转变： + +| 传统职责 | 云时代转变 | +|----------|------------| +| 物理硬件管理 | AWS 全托管服务自动处理 | +| 备份/补丁 | RDS/Aurora/DynamoDB 自动备份和滚动补丁 | +| 容量规划 | 自动扩展或按需容量 | +| **新增职责** | | +| 数据库选型 | 根据数据模型选择最优专用数据库 | +| 架构设计 | 设计多数据库混合架构 | +| 查询优化 | 应用层性能优化 | +| 数据治理 | 跨数据库的数据合规和生命周期管理 | + +## Key Insight +> "The role of the DBA is evolving in the cloud." — 云时代 DBA 的核心价值从平台管理转向应用创新 + +## Focus Shift +DBA 应将精力从： +- ❌ 手动备份、补丁、容量管理 +- ✅ 架构设计、查询优化、数据建模、跨服务集成 + +## Connections +- [[Purpose-Built-Databases]]：云时代 DBA 需要掌握多种专用数据库的选型和特性 +- [[Multi-Database-Architecture]]：DBA 在多数据库架构设计中承担架构师角色 +- [[Amazon-RDS]] / [[Amazon-Aurora]] / [[Amazon-DynamoDB]]：云托管数据库减轻了 DBA 的平台运维负担 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/concepts/Docker-Compose.md b/wiki/concepts/Docker-Compose.md index e25d1a8f..d288b48e 100644 --- a/wiki/concepts/Docker-Compose.md +++ b/wiki/concepts/Docker-Compose.md @@ -1,70 +1,32 @@ -# Docker Compose - -## Description -Docker Compose 是 Docker 官方提供的多容器 Docker 应用定义和运行工具。通过 `docker-compose.yml`（或 `compose.yaml`）配置文件，使用 YAML 格式声明式定义多容器服务的网络、卷、端口映射、环境变量等，实现一键部署复杂应用。 - -## Version -- **V1 (独立包)**：`docker-compose` 命令（已弃用） -- **V2 (插件)**：`docker compose` 命令（当前主流），通过 `docker-compose-plugin` 包安装，集成到 Docker CLI - -## V1 vs V2 Command Reference -| V1 (独立包) | V2 (插件) | -|------------|-----------| -| `docker-compose up -d` | `docker compose up -d` | -| `docker-compose ps` | `docker compose ps` | -| `docker-compose down` | `docker compose down` | -| `docker-compose -f xxx.yml config` | `docker compose -f xxx.yml config` | - -## Core Concepts -- **Services**: 定义每个容器服务（镜像、构建、端口、卷、环境变量） -- **Volumes**: 命名数据卷，持久化容器数据 -- **Networks**: 容器网络配置（bridge、host、overlay） -- **Version**: `version: '3.8'` 为当前主流版本规范 - -## Example -```yaml -version: '3.8' -services: - it-tools: - image: corentinth/it-tools:latest - container_name: it-tools - restart: unless-stopped - stdin_open: true - tty: true - ports: - - "8999:80" - deploy: - resources: - limits: - memory: 128M -``` - -## Used By -- [[用docker安装it-tools]] -- [[用docker安装transmission]] -- [[如何删除旧的废弃的docker-container-volume]] -- [[Navidrome]] -- [[Jellyfin]] -- [[RSSHub]] -- [[Portainer]] - -## External Mode -Compose 文件中声明 `external: true` 可让 Docker 复用已存在的 Volume 或 Network 而非创建新的，避免重装时的命名冲突警告： -```yaml -volumes: - portainer_data: - external: true - -networks: - portainer_network: - external: true -``` - -## Related Concepts -- [[Docker-Image]] -- [[Docker-Save]] -- [[Docker-Load]] -- [[容器资源限制]] -- [[容器重启策略]] -- [[端口映射]] -- [[桥接网络]] +--- +title: "Docker Compose" +type: concept +tags: [docker, devops, orchestration] +last_updated: 2026-04-23 +--- + +## Overview +Docker Compose 是一个用于定义和运行多容器 Docker 应用的工具。通过 YAML 文件（`docker-compose.yml`）声明服务、网络、卷等配置，一条命令即可启动整套应用栈。 + +## Key Commands +```bash +docker-compose up -d # 启动服务（后台） +docker-compose down # 停止并移除容器 +docker-compose restart # 重启服务 +``` + +## Key Concepts +- **Services**: 每个容器定义为一个 service +- **Network Mode**: 可使用 `network_mode: host` 将容器网络直接绑定到宿主机 +- **Environment Variables**: 通过 `environment` 字段注入环境变量（如 `YOUTUBE_KEY`、`HTTP_PROXY`） +- **Volumes**: 通过 `volumes` 字段将宿主机文件/目录挂载到容器内 +- **Restart Policy**: `restart: unless-stopped` 确保容器在宿主机重启后自动恢复 + +## Usage in This Wiki +- RSSHub 部署配置使用 Docker Compose 作为主机上的容器编排工具 +- n8n、Portainer、Jellyfin 等服务均通过 Docker Compose 管理 + +## Aliases +- docker-compose +- Docker Compose +- docker compose diff --git a/wiki/concepts/Domain-Join.md b/wiki/concepts/Domain-Join.md new file mode 100644 index 00000000..e9b79a00 --- /dev/null +++ b/wiki/concepts/Domain-Join.md @@ -0,0 +1,32 @@ +--- +title: "Domain Join" +type: concept +tags: + - AWS + - Active-Directory + - IAM + - Automation +sources: + - ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs +last_updated: 2026-05-05 +--- + +## Definition +Domain Join（域加入）是将计算机或云实例加入 Active Directory（AD）域的过程，使其能够使用 AD 账号进行身份认证和访问控制。 + +## Mechanism +在 Gruntwork AWS Landing Zones 架构中，域加入通过以下方式实现自动化： +- **Windows 实例**：使用 SRE 团队预制的 AMI + Terraform `user_data` 中的 PowerShell 脚本，在实例启动时自动完成域加入、命名分配、管理员权限分配及旧对象清理 +- **Linux 实例**：通过 SRE 预制 Shell 脚本 + 安全动态更新（Secure Dynamic Updates）自动注册 DNS A 记录到 Windows DNS 服务器 + +## Key Claims +- 自动化域加入消除了手动干预，提升了实例部署效率 +- 不同环境（R&D vs 生产/SAS）使用不同的 AD 域名规范 + +## Related Entities +- [[swinford.net]]：R&D Labs 环境 AD 域名 +- [[intsas.local]]：生产/SAS 环境 AD 域名 +- [[Gruntwork]] Landing Zones：自动化域加入的基础架构框架 + +## References +- [[ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]] diff --git a/wiki/concepts/Multi-AZ.md b/wiki/concepts/Multi-AZ.md new file mode 100644 index 00000000..8e959d57 --- /dev/null +++ b/wiki/concepts/Multi-AZ.md @@ -0,0 +1,48 @@ +--- +title: "Multi-AZ" +type: concept +tags: + - AWS + - RDS + - Database + - High Availability + - Disaster Recovery +sources: + - ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora +last_updated: 2026-04-23 +--- + +## Overview +Multi-AZ 是 AWS RDS 的一种高可用部署方案，在多个可用区（AZ）部署数据库实例的主节点和备用节点，当主节点发生故障时自动切换到备用节点，以实现数据库的高可用性。 + +## How It Works +- **主节点（Primary）**：处理所有读写操作 +- **备用节点（Standby）**：通过同步复制保持数据一致，处于热备状态 +- **自动故障转移**：主节点不可用时，RDS 自动将连接路由到备用节点（约 1-2 分钟） + +## RDS Multi-AZ vs Aurora Architecture +| 特性 | RDS Multi-AZ | Aurora | +|------|-------------|--------| +| 备用节点 | 独立计算 + 独立 EBS 存储 | 共享集群卷（6 副本跨 3 AZ） | +| 数据复制 | 同步复制到备用 | 分布式写入所有副本 | +| 故障转移时间 | 约 2 分钟 | 约 30 秒 | +| 读副本 | 需重新复制数据 | 共享存储，无需数据复制 | +| 端点 | 单个端点 | 分离的 Writer/Reader 端点 | + +## Key Insights +- RDS Multi-AZ 的备用节点**不能用于读取扩展**（同步复制保证数据一致性） +- Aurora 的共享存储架构使其读副本可以立即上线，无需数据复制 +- 故障转移期间，DNS 缓存可能导致短暂连接中断（建议将 DNS TTL 设置为 1 秒以加速切换） + +## Related Concepts +- [[Amazon RDS]]：RDS Multi-AZ 的宿主服务 +- [[Amazon Aurora]]：采用不同的架构实现更高可用性 +- [[RTO]]：Multi-AZ 的 RTO 约为 2 分钟 +- [[Aurora Global]]：Aurora 的跨区域灾备方案 +- [[High Availability]]：高可用性设计 + +## Aliases +- Multi-AZ Deployment +- Multi Availability Zone +- 多可用区部署 +- RDS Multi-AZ diff --git a/wiki/concepts/Multi-Database-Architecture.md b/wiki/concepts/Multi-Database-Architecture.md index fe0ba2db..d086d224 100644 --- a/wiki/concepts/Multi-Database-Architecture.md +++ b/wiki/concepts/Multi-Database-Architecture.md @@ -1,89 +1,72 @@ ---- -title: "Multi-Database Architecture" -type: concept -tags: - - AWS - - Database - - Architecture - - Microservices -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Definition -多数据库混合架构（Multi-Database Architecture）是指在单一应用中根据各部分的数据特征选用不同类型专用数据库的架构模式，以实现最优的数据层性能。 - -## Core Principle -每个数据模型应使用最适合它的数据库类型： -- **关系型数据** → 关系型数据库（Aurora / RDS） -- **高频读取** → 内存缓存（ElastiCache） -- **无结构键值** → 键值数据库（ DynamoDB） -- **高度互连** → 图数据库（Neptune） - -## Real-World Case Studies - -### Duolingo 案例（来源：[[ctp-topic-51-purpose-built-databases]]） -| 数据类型 | 数据库 | 选型原因 | -|---------|--------|---------| -| 个性化学习进度 | DynamoDB | 高写入、低延迟、弹性扩展 | -| 高频词/短语 | ElastiCache | 微秒级读取缓存 | -| 事务数据（购买、订阅）| Aurora | ACID 强一致性、复杂查询 | - -### Netflix 案例（来源：[[ctp-topic-51-purpose-built-databases]]） -| 数据类型 | 数据库 | 选型原因 | -|---------|--------|---------| -| JSON 文档（用户数据、偏好）| DynamoDB | 高弹性、低延迟、JSON 原生支持 | - -### Peloton 案例（来源：[[ctp-topic-51-purpose-built-databases]]） -| 数据类型 | 数据库 | 选型原因 | -|---------|--------|---------| -| 实时健身反馈 | ElastiCache Redis | 微秒级响应、即时用户体验 | - -## Architecture Patterns - -### Cache-Aside Pattern（旁路缓存） -``` -应用 → DynamoDB/RDS（主数据库） - ↘ ElastiCache（缓存层） -``` -- 读取：先查缓存，未命中则查数据库并回填缓存 -- 写入：先写数据库，再失效/更新缓存 - -### CQRS Pattern（命令查询职责分离） -``` -写入 → DynamoDB（优化写入） -读取 → DynamoDB + ElastiCache（优化读取） - ↘ Aurora（复杂查询读取） -``` - -### Event-Driven Data Sync -``` -DynamoDB Streams → Lambda → Aurora - → Lambda → Elasticsearch（搜索） - → Lambda → S3（归档） -``` - -## Trade-offs -| 优势 | 挑战 | -|------|------| -| 最优性能：每个场景用最佳数据库 | 复杂度：多数据库运维成本 | -| 弹性扩展：各层独立扩展 | 一致性：跨数据库事务管理 | -| 成本优化：按需选择规格 | 学习曲线：团队需掌握多种数据库 | -| 容错隔离：单库故障不扩散 | 数据迁移：服务间数据同步 | - -## Aliases -- Polyglot Persistence -- 多数据库混合架构 -- 数据库混合部署 -- Database Polyglot -- Mixed Database Architecture - -## Related Concepts -- [[Purpose-Built-Databases]]：多数据库架构的基础——专用数据库选型原则 -- [[Amazon-DynamoDB]]：多数据库架构中的键值/文档数据存储 -- [[Amazon-ElastiCache]]：多数据库架构中的缓存层组件 -- [[Amazon-Aurora]]：多数据库架构中的关系型事务数据存储 -- [[Amazon-Neptune]]：多数据库架构中的图数据存储 -- [[Amazon-Timestream]]：多数据库架构中的时序数据存储 -- [[DBA-Role-Evolution]]：云时代 DBA 需要掌握多数据库架构设计能力 +--- +title: "Multi-Database Architecture" +type: concept +tags: + - AWS + - Database + - Architecture + - Polyglot +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +多数据库混合架构（Polyglot Persistence）是一种架构模式：在同一个应用系统中，根据不同数据类型和访问模式，选择多个专用数据库组合使用，而非依赖单一数据库。 + +## Aliases +- Polyglot Persistence +- Multi-Database Architecture +- Polyglot Database Architecture + +## Core Pattern +为正确的工作选择正确的工具： +- **事务数据** → 关系型数据库（Aurora/RDS） +- **高频缓存** → 内存数据库（ElastiCache Redis） +- **灵活文档** → 文档数据库（DocumentDB） +- **图关系** → 图数据库（Neptune） +- **时序数据** → 时序数据库（Timestream） + +## Real-World Case Study: Duolingo + +Duolingo 的多数据库架构： + +``` +┌─────────────────────────────────────────────────┐ +│ Duolingo App │ +└──────────────────────┬────────────────────────┘ + │ + ┌─────────────┼─────────────┐ + ▼ ▼ ▼ + ┌──────────┐ ┌───────────┐ ┌──────────┐ + │DynamoDB │ │ElastiCache│ │ Aurora │ + │ │ │ (Redis) │ │ │ + │个性化数据 │ │高频词/短语 │ │事务数据 │ + │ │ │ │ │(支付/账户)│ + └──────────┘ └───────────┘ └──────────┘ +``` + +- **DynamoDB**：用户个性化学习数据，高并发读写 +- **ElastiCache Redis**：高频词/短语缓存，减少数据库访问 +- **Aurora**：支付、用户账户等强一致性事务 + +## Benefits +- **性能最优**：每个数据层使用专门优化的引擎 +- **成本效率**：按需选择，避免为不需要的功能付费 +- **扩展灵活**：各数据库独立扩展，互不干扰 +- **技术适配**：最合适的技术栈解决最合适的场景 + +## Challenges +- **运维复杂度**：多数据库意味着多套运维工具和技能 +- **数据一致性**：跨数据库的分布式事务处理 +- **团队技能**：DBA 需要掌握多种数据库技术 +- **连接管理**：应用层需要管理多个数据库连接池 + +## Connections +- [[Purpose-Built-Databases]]：多数据库架构是专用数据库理念的组织形式 +- [[DBA-Role-Evolution]]：多数据库架构要求 DBA 具备更广的技术视野 +- [[Duolingo]]：Duolingo 是多数据库混合架构的经典生产案例 +- [[Netflix]]：Netflix 也采用多数据库架构支撑大规模流媒体平台 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/concepts/Purpose-Built-Databases.md b/wiki/concepts/Purpose-Built-Databases.md index e732d82a..608bbcc7 100644 --- a/wiki/concepts/Purpose-Built-Databases.md +++ b/wiki/concepts/Purpose-Built-Databases.md @@ -1,70 +1,54 @@ ---- -title: "Purpose-Built Databases" -type: concept -tags: - - AWS - - Database - - Architecture - - Cloud-Native -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Definition -专用数据库（Purpose-Built Databases）是一种数据库选型原则——根据应用的数据模型、访问模式和性能需求，选择最适合该用例的专用数据库类型，而非用单一数据库解决所有问题。 - -## Core Principle -> "We need to start thinking of the right purpose-built database for the right application." — Femi George, AWS Database Sales Specialist - -核心理念：**从用例出发，选择最佳工具，避免一刀切（One-Size-Fits-All）**。 - -## AWS Database Categories - -| 类别 | AWS 产品 | 适用场景 | -|------|---------|---------| -| 关系型 | RDS, Aurora | 固定 schema、ACID 事务、复杂关联查询 | -| 键值 | DynamoDB | 高吞吐量、简单键值访问、无 schema 约束 | -| 文档 | DocumentDB | 半结构化 JSON、灵活 schema、嵌套查询 | -| 宽列 | Keyspaces | 大规模写入、Cassandra 兼容工作负载 | -| 内存缓存 | ElastiCache | 微秒级延迟、高频读取、会话存储 | -| 图数据库 | Neptune | 高度互连数据、欺诈检测、推荐引擎 | -| 时序数据库 | Timestream | IoT 遥测、监控指标、时间序列分析 | -| 账本数据库 | QLDB | 不可变事务日志、审计追踪 | - -## Selection Criteria -选择专用数据库时应考虑： -1. **应用规模**：用户数量、请求量、数据量 -2. **访问模式**：读密集 vs 写密集、点查 vs 范围查询 -3. **数据模型**：结构化 vs 半结构化、关系复杂度 -4. **性能需求**：延迟、吞吐量、可用性 -5. **运维成本**：托管 vs 自管理、团队技能 - -## Multi-Database Architecture -现代应用常采用多数据库混合架构： - -**Duolingo 案例**（来源：[[ctp-topic-51-purpose-built-databases]]）： -- **DynamoDB**：存储个性化学习进度数据（键值访问） -- **ElastiCache**：缓存高频词/短语（内存缓存） -- **Aurora**：处理事务性数据（关系型） - -**Netflix 案例**（来源：[[ctp-topic-51-purpose-built-databases]]）： -- **DynamoDB**：高弹性、低延迟 JSON 文档访问 - -## Aliases -- Purpose-Built Databases -- 专用数据库 -- 专用数据库选型 -- Database Polyglot -- Polyglot Persistence - -## Related Concepts -- [[Multi-Database-Architecture]]：多数据库混合架构模式 -- [[Amazon-DynamoDB]]：AWS 专用键值数据库 -- [[Amazon-Aurora]]：云原生关系型数据库 -- [[Amazon-Neptune]]：AWS 图数据库 -- [[Amazon-Timestream]]：AWS 时序数据库 -- [[Amazon-Keyspaces]]：AWS 宽列数据库 -- [[Amazon-DocumentDB]]：AWS 文档数据库 -- [[Amazon-ElastiCache]]：AWS 内存缓存数据库 -- [[DBA-Role-Evolution]]：云时代数据库架构师角色的转变 +--- +title: "Purpose-Built Databases" +type: concept +tags: + - AWS + - Database + - Architecture + - Multi-Model +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +专用数据库（Purpose-Built Databases）是一种架构理念：针对不同的数据模型、访问模式和性能需求，选择专门优化的数据库，而非用单一通用数据库解决所有问题。 + +## Core Principle +> "为正确的应用选择正确的专用数据库" — Femi George, AWS Database Sales Specialist + +## AWS Database Categories + +| 类别 | AWS 服务 | 适用场景 | +|------|----------|----------| +| 关系型 | RDS, Aurora | 固定 schema，引用完整性，ACID 事务 | +| 键值 | DynamoDB | 高并发，任意规模，低延迟 | +| 文档 | DocumentDB (MongoDB兼容) | 灵活 schema，嵌套 JSON | +| 宽列 | Keyspaces (Cassandra兼容) | 大规模写入，结构化/半结构化 | +| 内存缓存 | ElastiCache (Redis/Memcached) | 毫秒级响应，会话/排行榜 | +| 图数据库 | Neptune | 复杂关系，欺诈检测，推荐 | +| 时序数据库 | Timestream | IoT/监控，高吞吐量时序数据 | +| 账本数据库 | QLDB | 不可变事务记录，审计日志 | + +## Selection Criteria +选择专用数据库时需考虑： +- **应用规模**：用户量、数据量、请求量 +- **访问模式**：读写比例、查询复杂度、延迟要求 +- **数据模型**：结构化/半结构化/非结构化 +- **一致性需求**：强一致性 vs 最终一致性 +- **运维能力**：团队数据库管理能力 +- **成本模型**：按查询/存储/实例计费 + +## Why Not One-Size-Fits-All? +- 传统单一关系型数据库在所有场景下存在性能瓶颈 +- NoSQL 牺牲强一致性换取扩展性和性能 +- 不同数据模型（文档/图/时序）有最优专用引擎 +- 现代微服务架构天然支持多数据库混用 + +## Connections +- [[Multi-Database-Architecture]]：专用数据库理念的直接实践形式 +- [[Amazon-Aurora]] / [[Amazon-DynamoDB]] / [[Amazon-ElastiCache]] 等：AWS 专用数据库品类中的具体产品 +- [[DBA-Role-Evolution]]：专用数据库多样化增加了 DBA 的选型职责 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/concepts/Secure-Dynamic-Updates.md b/wiki/concepts/Secure-Dynamic-Updates.md new file mode 100644 index 00000000..59c3f0ba --- /dev/null +++ b/wiki/concepts/Secure-Dynamic-Updates.md @@ -0,0 +1,36 @@ +--- +title: "Secure Dynamic Updates" +type: concept +tags: + - DNS + - AWS + - Active-Directory + - Security +sources: + - ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs +last_updated: 2026-05-05 +--- + +## Definition +Secure Dynamic Updates（安全动态更新）是 DNS 协议的一种扩展，允许客户端计算机在通过 Kerberos 身份验证后，自动向 Windows DNS 服务器注册和更新其 A 记录和 PTR 记录。 + +## Mechanism +- **用途**：Linux 实例在加入 AD 域后，通过 Secure Dynamic Updates 机制自动向 Windows DNS 服务器注册其 DNS A 记录，无需手动配置 +- **前提条件**：客户端必须使用有效的 Kerberos 票据（由 AD 域控制器颁发），确保只有经过认证的域成员才能更新 DNS 记录 +- **安全性**：与无安全的动态更新（允许任何人注册任意 DNS 记录）相比，Secure Dynamic Updates 防止了 DNS 污染和欺骗攻击 + +## Key Claims +- Linux 实例通过 Secure Dynamic Updates 实现无人值守的 DNS 记录注册 +- 该机制是零接触自动化域管理的关键组成部分 + +## Related Entities +- [[intsas.local]]：提供 DNS 服务的生产/SAS AD 域名 +- [[swinford.net]]：提供 DNS 服务的 R&D Labs AD 域名 +- [[Domain Join]]：Secure Dynamic Updates 依赖于成功的域加入 + +## Related Concepts +- [[DNS托管]] + +## References +- [[ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]] +- [[ctp-topic-19-configuring-dns-within-aws-lzs]] diff --git a/wiki/concepts/YouTube-Data-API-v3.md b/wiki/concepts/YouTube-Data-API-v3.md new file mode 100644 index 00000000..63f88d47 --- /dev/null +++ b/wiki/concepts/YouTube-Data-API-v3.md @@ -0,0 +1,40 @@ +--- +title: "YouTube Data API v3" +type: concept +tags: [youtube, google-cloud, api, data] +last_updated: 2026-04-23 +--- + +## Overview +YouTube Data API v3 是 Google 官方提供的 YouTube 编程接口，允许开发者通过 API Key 访问 YouTube 频道、视频、播放列表等数据，是解决 YouTube 爬虫限制的最稳定方案。 + +## Key Capabilities +- 获取频道信息（标题、描述、缩略图） +- 获取频道最新视频列表 +- 获取播放列表内容 +- **免费额度**: 每月 10,000 单位（足够个人用户正常使用） + +## How to Get API Key +1. 访问 [Google Cloud Console](https://console.cloud.google.com/) +2. 创建新项目，命名如 `My-RSSHub` +3. 启用 **YouTube Data API v3** +4. 在「凭据」页面创建 API 密钥 +5. （推荐）为密钥设置 API 限制，仅允许 YouTube Data API v3 + +## Usage in This Wiki +- RSSHub 通过 `YOUTUBE_KEY` 环境变量使用此 API 稳定获取 YouTube 频道更新 +- 配合本地 HTTP 代理（`HTTP_PROXY`）可在容器内绕过网络限制 + +## Security Best Practice +- 为 API Key 设置 HTTP 来源限制（Referrer Restrictions） +- 仅在 YouTube Data API v3 中启用该密钥，防止 Key 泄露后被滥用 + +## Connections +- [[RSSHub]] ← requires ← [[YouTube Data API v3]] +- [[YouTube Content Pipeline]] ← uses ← [[YouTube Data API v3]] + +## Aliases +- YouTube API +- YouTube Data API +- YouTube Data API v3 +- YOUTUBE_KEY diff --git a/wiki/entities/Amazon-Aurora.md b/wiki/entities/Amazon-Aurora.md index 669d9812..c3e99227 100644 --- a/wiki/entities/Amazon-Aurora.md +++ b/wiki/entities/Amazon-Aurora.md @@ -1,48 +1,49 @@ ---- -title: "Amazon Aurora" -type: entity -tags: - - AWS - - Database - - Cloud-Native - - Relational Database -sources: - - ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora -last_updated: 2026-04-23 ---- - -## Overview -Amazon Aurora 是 AWS 提供的云原生关系型数据库，采用 6 副本跨 3 可用区（AZ）的共享集群卷架构，相比传统 RDS 提供更高的性能、可用性和自动扩展能力。 - -## Core Architecture -- **Shared Cluster Volume**：跨 3 AZ 的 6 块 EBS 卷组成的共享存储，写入时自动复制到所有副本 -- **无需数据复制**：新增读副本时直接连接同一集群卷，无需重新复制数据 -- **Writer/Reader Endpoints**：独立的写入端点和读取端点，支持自动负载均衡 - -## Key Advantages -- **RTO 30 秒**：AZ 故障时恢复时间目标仅 30 秒 -- **自动扩缩容**：Aurora Serverless v2 支持按需自动扩缩（实例类型/版本/区域有限制） -- **Aurora Global**：跨区域复制方案，支持托管式切换和故障转移 -- **Blue-Green Deployment**：Aurora MySQL 支持 Blue-Green 大版本升级（PostgreSQL 不支持） - -## Key Limitations -- 最小规格和成本高于 RDS -- Serverless v2 对实例类型、版本和区域有限制 -- 按 IO 收费，高 IO 场景成本可能较高 -- PostgreSQL 不支持 Blue-Green 部署 - -## Cost Considerations -Aurora 按 IO 计数收费，IO 理论上无上限（AWS 鼓励提供尽可能高的 IO 以增加收入）。适合超过 10-20 TB 的数据库或对 IO 性能有严格要求的场景。 - -## Related Entities -- [[Amazon RDS]]：传统关系型数据库托管服务 -- [[AWS]]：云服务提供商 -- [[EBS]]：Elastic Block Store，Aurora 的底层存储 -- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]]：AWS 专用数据库架构 -- [[ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora]]：RDS vs Aurora 详细对比 - -## Aliases -- Aurora -- Aurora PostgreSQL -- Aurora MySQL -- Amazon Aurora Database +--- +title: "Amazon Aurora" +type: entity +tags: + - AWS + - Database + - Relational + - Cloud-Native +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases + - ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora +last_updated: 2026-04-28 +--- + +## Overview +Amazon Aurora 是 AWS 的云原生关系型数据库，兼容 MySQL 和 PostgreSQL，提供比标准 MySQL/PostgreSQL 高达 5 倍的吞吐量，通过存储计算分离架构实现高可用和低 IO 成本。 + +## Aliases +- Aurora +- Amazon Aurora +- Aurora MySQL +- Aurora PostgreSQL + +## Description +- **类型**：云原生关系型数据库（MySQL/PostgreSQL 兼容） +- **核心架构**：存储与计算分离 — 6 副本跨 3 可用区自动复制存储层 +- **两个版本**：Aurora MySQL · Aurora PostgreSQL +- **核心优势**：比标准 MySQL/PostgreSQL 高 5 倍吞吐量 · 自动修复 · 克隆快速 · 读写扩展 · 零运维存储管理 +- **适用场景**：企业级 OLTP · 电子商务 · 金融交易 · SaaS 应用 + +## Key Properties +| 属性 | 说明 | +|------|------| +| 兼容性 | MySQL 8.0 / PostgreSQL 14+ | +| 存储 | 分布式 SSD 存储，3 AZ 6 副本 | +| 自动扩展 | 存储自动扩展（最高 128TB） | +| 全局数据库 | 跨区域只读副本 | +| 无服务器 | Aurora Serverless v2 | +| 加密 | KMS 透明加密 | + +## Connections +- [[Amazon-RDS]]：Aurora 是 RDS 的云原生演进，提供更高性能和可用性 +- [[Amazon-DynamoDB]]：Aurora 处理事务型关系数据；DynamoDB 处理高并发 NoSQL 数据 +- [[Multi-Database-Architecture]]：Aurora 在多数据库架构中作为事务数据层 +- [[ctp-topic-66-rds-vs-aurora]]：关系型内部 RDS vs Aurora 选型对比 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] +- [[ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora]] diff --git a/wiki/entities/Amazon-DocumentDB.md b/wiki/entities/Amazon-DocumentDB.md index 1fda6206..38320dc6 100644 --- a/wiki/entities/Amazon-DocumentDB.md +++ b/wiki/entities/Amazon-DocumentDB.md @@ -1,42 +1,43 @@ ---- -title: "Amazon DocumentDB" -type: entity -tags: - - AWS - - Database - - Document - - MongoDB -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Overview -Amazon DocumentDB 是 AWS 全托管的 MongoDB 兼容文档数据库（Document Database），支持灵活 schema（Flexible Schema），适合存储 JSON 类半结构化数据。 - -## Key Characteristics -- **兼容性**：MongoDB 3.6、4.0、5.0 API 兼容 -- **数据模型**：文档（Document），存储为 BSON 格式 -- **Schema 灵活性**：无需预定义 schema，可随时添加/修改字段 -- **查询能力**：支持深度嵌套查询、数组查询、聚合管道 -- **规模**：存储和计算分离，支持横向扩展至数 TB - -## Key Use Cases -- **内容管理**：CMS、博客、产品目录 -- **用户档案**：灵活属性的用户配置文件 -- **物联网数据**：设备配置和状态文档 -- **实时分析**：日志和事件数据的快速写入 - -## Aliases -- DocumentDB -- Amazon DocumentDB -- AWS DocumentDB -- Amazon DocumentDB (with MongoDB compatibility) - -## Related Entities -- [[Amazon-DynamoDB]]：均为 NoSQL，DocumentDB 支持更深的查询能力，DynamoDB 提供更简单的 API 和更高的一致性保证 -- [[Amazon-RDS]]：关系型数据库，DocumentDB 提供 schema 灵活性，RDS 提供强 schema 和事务支持 - -## Related Concepts -- [[Purpose-Built-Databases]]：DocumentDB 是 AWS 专用数据库家族中的文档数据库成员 -- [[Document-Database]]：文档数据库核心概念——无 schema JSON/BSON 存储、嵌套文档、聚合管道 +--- +title: "Amazon DocumentDB" +type: entity +tags: + - AWS + - Database + - Document + - MongoDB +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Amazon DocumentDB 是 AWS 的 MongoDB 兼容文档数据库服务，支持灵活 schema，提供与 MongoDB 应用程序的广泛兼容性。 + +## Aliases +- DocumentDB +- Amazon DocumentDB +- Amazon DocumentDB (with MongoDB compatibility) + +## Description +- **类型**：文档数据库（MongoDB 兼容） +- **核心价值**：MongoDB 驱动/工具直接使用 · 灵活 schema 适应快速迭代 · 自动扩展存储 · 存储计算分离 +- **适用场景**：内容管理 · 用户档案 · 目录 · 移动应用后端 + +## Key Properties +| 属性 | 说明 | +|------|------| +| 兼容性 | MongoDB 4.0/5.0/7.0 驱动兼容 | +| 数据模型 | 文档（BSON/JSON）| +| 自动扩展 | 存储自动扩展（最高 64TB）| +| 集群架构 | 多 AZ 6 副本分布式存储 | +| 索引 | 支持二级索引 | +| 聚合管道 | MongoDB 聚合管道兼容 | + +## Connections +- [[Amazon-DynamoDB]]：DocumentDB（文档数据库）vs DynamoDB（键值文档）— 文档查询深度 vs 极简键值性能 +- [[Amazon-RDS]]：DocumentDB（灵活 schema 文档）vs RDS（固定 schema 关系型）— schema 灵活性决定选型 +- [[Purpose-Built-Databases]]：DocumentDB 是 AWS 专用数据库品类中的文档数据库成员 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/Amazon-DynamoDB.md b/wiki/entities/Amazon-DynamoDB.md index 54445b5b..0b9fe6da 100644 --- a/wiki/entities/Amazon-DynamoDB.md +++ b/wiki/entities/Amazon-DynamoDB.md @@ -1,41 +1,46 @@ ---- -title: "Amazon DynamoDB" -type: entity -tags: - - AWS - - Database - - NoSQL - - Key-Value - - Document -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Overview -Amazon DynamoDB 是 AWS 全托管的 NoSQL 键值和文档数据库，提供单位数毫秒（single-digit millisecond）性能，支撑日处理万亿级请求规模。 - -## Key Characteristics -- **数据类型**：键值（Key-Value）和文档（Document，JSON） -- **性能**：单-digit 毫秒延迟，任何规模下均保持一致性能 -- **规模**：可扩展至日处理万亿级请求 -- **管理模式**：全托管（无服务器），无需容量规划 -- **API**：支持 CRUD 操作，自动分区 - -## Aliases -- DynamoDB -- AWS DynamoDB -- Amazon DynamoDB - -## Used By -- **Netflix**：使用 DynamoDB 实现高弹性和低延迟的 JSON 文档访问（来源：[[ctp-topic-51-purpose-built-databases]]） -- **Duolingo**：使用 DynamoDB 存储个性化学习数据（来源：[[ctp-topic-51-purpose-built-databases]]） - -## Related Entities -- [[Amazon-Aurora]]：关系型数据库，Aurora 是 DynamoDB 在强一致性事务场景的替代方案 -- [[Amazon-RDS]]：关系型数据库，固定 schema vs DynamoDB 的无 schema 灵活性 -- [[Amazon-ElastiCache]]：缓存层，可与 DynamoDB 组合使用提升读取性能 - -## Related Concepts -- [[Purpose-Built-Databases]]：DynamoDB 是 AWS 专用数据库家族的核心成员 -- [[Multi-Database-Architecture]]：DynamoDB 常与其他数据库（如 ElastiCache、Aurora）组合使用 +--- +title: "Amazon DynamoDB" +type: entity +tags: + - AWS + - Database + - NoSQL + - Key-Value + - Document +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Amazon DynamoDB 是 AWS 提供的全托管 NoSQL 键值和文档数据库，提供单位数毫秒级别性能，支持任意规模扩展，日处理请求可达万亿级别。 + +## Aliases +- DynamoDB +- Amazon DynamoDB + +## Description +- **类型**：NoSQL 键值和文档数据库 +- **核心特性**：单数字毫秒延迟 · 任意规模自动扩展 · 全托管无需运维 · 支持事务 · 加密开箱即用 +- **典型用例**：游戏、IoT、移动应用、电商、会话存储、低延迟访问 +- **生产案例**：Netflix 使用 DynamoDB 实现高弹性、低延迟 JSON 文档访问；Duolingo 使用 DynamoDB 存储个性化用户数据 + +## Key Properties +| 属性 | 说明 | +|------|------| +| 数据模型 | 键值 + 文档（JSON） | +| 一致性 | 最终一致性 / 强一致性（可选） | +| 容量模式 | 按需容量 / 预置容量 | +| 访问控制 | IAM 精细化权限 | +| 全局表 | 多区域主动复制 | +| DAX | DynamoDB Accelerator 内存缓存（可选） | + +## Connections +- [[Amazon-RDS]]：关系型 vs NoSQL 的互补选型（结构化数据 vs 灵活schema） +- [[Amazon-ElastiCache]]：DynamoDB + DAX/ElastiCache 构建多级缓存 +- [[Amazon-DocumentDB]]：文档数据库的另一种选择（MongoDB兼容） +- [[Multi-Database-Architecture]]：DynamoDB 是多数据库混合架构中的 NoSQL 键值层 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] +- [[ctp-topic-40-saas-database-architecture-on-aws-cloud]] diff --git a/wiki/entities/Amazon-ElastiCache.md b/wiki/entities/Amazon-ElastiCache.md index e815df40..1f438e92 100644 --- a/wiki/entities/Amazon-ElastiCache.md +++ b/wiki/entities/Amazon-ElastiCache.md @@ -1,50 +1,46 @@ ---- -title: "Amazon ElastiCache" -type: entity -tags: - - AWS - - Database - - In-Memory - - Cache - - Redis - - Memcached -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Overview -Amazon ElastiCache 是 AWS 全托管的内存缓存服务，支持 Redis 和 Memcached 两种引擎，是降低数据库负载和提升应用响应速度的核心组件。 - -## Key Characteristics -- **双引擎**：Redis（全功能，支持数据结构丰富）和 Memcached（简单，高并发多核） -- **性能**：内存访问，微秒至毫秒级延迟 -- **全托管**：自动补丁、故障恢复、备份 -- **复制**：支持只读副本，提升读取吞吐量 - -## Key Use Cases -- **数据库缓存**：将高频读取数据缓存，减少数据库负载（典型命中率 80%+） -- **会话存储**：用户会话数据（登录状态、购物车） -- **实时分析**：排行榜、计数器、实时指标 -- **媒体流缓存**：视频/音乐流媒体缓存热点内容 -- **消息队列**：Redis Pub/Sub 实现发布/订阅模式 - -## Notable Users -- **Peloton**：使用 ElastiCache Redis 为健身用户提供即时反馈（来源：[[ctp-topic-51-purpose-built-databases]]） -- **Duolingo**：使用 ElastiCache 缓存高频词和短语（来源：[[ctp-topic-51-purpose-built-databases]]） - -## Aliases -- ElastiCache -- Amazon ElastiCache -- AWS ElastiCache -- Amazon ElastiCache for Redis - -## Related Entities -- [[Amazon-RDS]]：数据库层，ElastiCache 作为缓存层配合使用 -- [[Amazon-DynamoDB]]：NoSQL 数据库，ElastiCache 可作为 DynamoDB 的读取加速层 -- [[Amazon-Aurora]]：关系型数据库，ElastiCache 可缓存 Aurora 的热点查询结果 - -## Related Concepts -- [[Purpose-Built-Databases]]：ElastiCache 是 AWS 专用数据库家族中的内存缓存数据库成员 -- [[In-Memory-Database]]：内存数据库核心概念——数据驻留内存 vs 磁盘，权衡成本与性能 -- [[Multi-Database-Architecture]]：ElastiCache 常作为 Aurora/DynamoDB/RDS 的缓存层，与主数据库构成读写分离架构 +--- +title: "Amazon ElastiCache" +type: entity +tags: + - AWS + - Database + - In-Memory + - Cache +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Amazon ElastiCache 是 AWS 的全托管内存缓存服务，支持 Redis 和 Memcached 引擎，用于加速数据库读取、减少延迟、支持实时分析和使用场景。 + +## Aliases +- ElastiCache +- Amazon ElastiCache +- ElastiCache Redis +- ElastiCache Memcached + +## Description +- **类型**：全托管内存缓存数据库 +- **支持的引擎**：Redis（丰富数据结构）· Memcached（简单键值） +- **核心价值**：单位数毫秒甚至亚毫秒延迟 · 降低主数据库负载 · 支持实时排行榜/会话存储/消息队列 +- **适用场景**：缓存层 · 媒体流 · 会话存储 · 实时分析 · 游戏排行榜 +- **生产案例**：Duolingo 使用 ElastiCache 缓存高频词/短语；Peloton 使用 ElastiCache Redis 为客户提供即时反馈 + +## Key Properties +| 属性 | 说明 | +|------|------| +| 引擎 | Redis / Memcached | +| 集群模式 | 支持集群横向扩展 | +| 自动故障转移 | 多 AZ 自动故障转移（Redis） | +| 备份恢复 | 自动快照（Redis） | +| 加密 | TLS 传输加密 | +| 节点类型 | 多种内存容量规格 | + +## Connections +- [[Amazon-RDS]]：ElastiCache + RDS — 缓存层补充数据库层，提升读取性能 +- [[Amazon-DynamoDB]]：DynamoDB + ElastiCache — 构建多级缓存架构 +- [[Multi-Database-Architecture]]：ElastiCache 在多数据库混合架构中作为缓存/内存数据层 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/Amazon-Keyspaces.md b/wiki/entities/Amazon-Keyspaces.md index c4db12fe..b26116f9 100644 --- a/wiki/entities/Amazon-Keyspaces.md +++ b/wiki/entities/Amazon-Keyspaces.md @@ -1,42 +1,43 @@ ---- -title: "Amazon Keyspaces" -type: entity -tags: - - AWS - - Database - - Wide-Column - - Cassandra -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Overview -Amazon Keyspaces 是 AWS 全托管的 Apache Cassandra 兼容数据库（Wide-Column Database），提供无服务器选项，无需管理底层基础设施。 - -## Key Characteristics -- **兼容性**：与 Apache Cassandra Query Language (CQL) 兼容 -- **部署模式**：提供有服务器（预置容量）和无服务器（按请求计费）两种模式 -- **规模**：支持大规模无结构 schema 的工作负载 -- **可用性**：多 AZ 部署，自动复制保证持久性 -- **管理模式**：全托管，无需运维 Cassandra 集群 - -## Key Use Cases -- **大规模时间序列数据**：IoT 事件日志 -- **产品目录**：灵活属性的电商产品数据 -- **用户事件追踪**：高写入吞吐的用户行为分析 -- **消息历史**：聊天记录、邮件等时序消息存储 - -## Aliases -- Keyspaces -- Amazon Keyspaces -- AWS Keyspaces -- Amazon Keyspaces for Apache Cassandra - -## Related Entities -- [[Amazon-DynamoDB]]：均为 NoSQL，DynamoDB 是 AWS 自研的键值/文档数据库，Keyspaces 是托管版 Cassandra -- [[Amazon-Neptune]]：图数据库，Keyspaces 是宽列数据库，适用场景不同 - -## Related Concepts -- [[Purpose-Built-Databases]]：Keyspaces 是 AWS 专用数据库家族中的宽列数据库成员 -- [[Wide-Column-Database]]：宽列数据库核心概念——Cassandra 数据模型（Row Key / Column Family / Super Column） +--- +title: "Amazon Keyspaces" +type: entity +tags: + - AWS + - Database + - Wide-Column + - Cassandra +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Amazon Keyspaces 是 AWS 的全托管 Apache Cassandra 兼容宽列数据库服务，支持无服务器自动扩展，适合大规模结构化/半结构化数据。 + +## Aliases +- Keyspaces +- Amazon Keyspaces +- Amazon Keyspaces (for Apache Cassandra) + +## Description +- **类型**：宽列数据库（Apache Cassandra 兼容） +- **核心价值**：Cassandra 协议兼容，现有 Cassandra 应用零改造迁移 · 无服务器自动扩展 · 高写入吞吐量 +- **适用场景**：物联网时间序列数据 · 媒体元数据 · 产品目录 · 大规模时序应用 + +## Key Properties +| 属性 | 说明 | +|------|------| +| 兼容性 | Apache Cassandra CQL 协议 | +| 容量模式 | 按需容量 / 预置容量（无服务器）| +| 写入吞吐 | 高写入吞吐量，自动扩展 | +| 一致性 | 可调一致性（ONE/QUORUM/LOCAL_QUORUM）| +| 加密 | 静态加密 | +| 监控 | CloudWatch 集成 | + +## Connections +- [[Amazon-DynamoDB]]：Keyspaces（宽列）vs DynamoDB（键值文档）— 两者均可扩展但数据模型不同 +- [[Purpose-Built-Databases]]：Keyspaces 是 AWS 专用数据库品类中的宽列数据库成员 +- [[Multi-Database-Architecture]]：Keyspaces 在多数据库架构中作为宽列数据层 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/Amazon-Neptune.md b/wiki/entities/Amazon-Neptune.md index 140fd029..b398c7f4 100644 --- a/wiki/entities/Amazon-Neptune.md +++ b/wiki/entities/Amazon-Neptune.md @@ -1,34 +1,42 @@ ---- -title: "Amazon Neptune" -type: entity -tags: - - AWS - - Database - - Graph -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Overview -Amazon Neptune 是 AWS 全托管的图数据库（Graph Database），专为高度互连数据设计，支持 Apache TinkerPop Gremlin 和 SPARQL 查询语言。 - -## Key Use Cases -- **欺诈检测**：发现传统关系型数据库难以识别的关联模式 -- **社交网络**：好友推荐、共同联系人分析 -- **推荐系统**：基于用户行为图的个性化推荐 -- **知识图谱**：实体关系的存储与查询 - -## Aliases -- Neptune -- Amazon Neptune -- AWS Neptune -- Amazon Neptune Graph Database - -## Related Entities -- [[Amazon-DynamoDB]]：NoSQL 键值数据库，Neptune 处理高度互连数据，DynamoDB 处理简单键值访问 -- [[Amazon-RDS]]：关系型数据库，Neptune 在关联复杂度的场景优于关系型数据库 - -## Related Concepts -- [[Purpose-Built-Databases]]：Neptune 是 AWS 专用数据库家族中的图数据库成员 -- [[Graph-Database]]：图数据库的核心概念——节点（实体）、边（关系）、属性 +--- +title: "Amazon Neptune" +type: entity +tags: + - AWS + - Database + - Graph +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Amazon Neptune 是 AWS 的全托管图数据库服务，支持 Apache TinkerPop Gremlin 和 SPARQL 两种图查询语言，用于发现关系网络中的关联模式。 + +## Aliases +- Neptune +- Amazon Neptune +- Amazon Neptune Database + +## Description +- **类型**：全托管图数据库 +- **查询语言**：Gremlin（属性图）· SPARQL（RDF）· openCypher（新增） +- **核心价值**：发现关系数据库难以处理的相关性 · 高效遍历多层关系 +- **适用场景**：欺诈检测 · 社交网络 · 推荐引擎 · 网络/IT运维 · 生命科学 + +## Key Properties +| 属性 | 说明 | +|------|------| +| 图模型 | 属性图（Apache TinkerPop）· RDF | +| 集群配置 | 多 AZ 高可用，自动复制 | +| 查询性能 | 高效多跳关系遍历 | +| 加密 | KMS 静态加密 | +| 备份恢复 | 自动备份，秒级恢复 | + +## Connections +- [[Amazon-RDS]]：Neptune（复杂关系图）vs RDS（结构化关系型）— 关系复杂度决定选型 +- [[Purpose-Built-Databases]]：Neptune 是 AWS 专用数据库品类中的图数据库成员 +- [[Multi-Database-Architecture]]：Neptune 在多数据库架构中作为图关系数据层 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/Amazon-RDS.md b/wiki/entities/Amazon-RDS.md index 4372e3a0..b1e3a3e5 100644 --- a/wiki/entities/Amazon-RDS.md +++ b/wiki/entities/Amazon-RDS.md @@ -1,54 +1,45 @@ ---- -title: "Amazon RDS" -type: entity -tags: - - AWS - - Database - - Relational Database - - Managed Service -sources: - - ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora -last_updated: 2026-04-23 ---- - -## Overview -Amazon RDS（Relational Database Service）是 AWS 提供的托管关系型数据库服务，计算（EC2）与存储（EBS）分离，支持 Multi-AZ 部署，相比 Aurora 成本更低、存储选项更灵活。 - -## Core Architecture -- **Compute + Storage Separation**：EC2 计算节点 + EBS 存储卷的分离架构 -- **Multi-AZ Deployment**：主节点 + 备用节点（独立计算和存储），故障时备用节点接管 -- **Single Endpoint**：每个集群一个端点（不同于 Aurora 的 Writer/Reader 分离） - -## Key Advantages -- **更低入门成本**：提供更小规格实例，适合小型数据库 -- **存储灵活性**：支持 GP2、GP3、预置 IOPS、磁性存储多种类型 -- **广泛引擎支持**：PostgreSQL、MySQL、MariaDB、Oracle、SQL Server 等 -- **更成熟**：发布更久，文档和社区资源更丰富 - -## Key Limitations -- **RTO 2 分钟**：AZ 故障时恢复时间目标约 2 分钟 -- **读副本需数据复制**：新增读副本需重新复制数据 -- **无 Blue-Green Deployment**（PostgreSQL/MySQL 均不支持跨版本 Blue-Green） -- **最大 IO 受 EBS 限制**：不如 Aurora 的无上限 IO 能力 - -## Storage Types -| 类型 | 特点 | 适用场景 | -|------|------|----------| -| GP2 | 通用 SSD，平衡性能与成本 | 大多数工作负载 | -| GP3 | 通用 SSD，独立性能配置 | 需要成本优化的场景 | -| 预置 IOPS | 高性能，稳定的 IOPS | IO 密集型应用 | -| 磁性 | 低成本，较低性能 | 归档/不常访问的数据 | - -## Related Entities -- [[Amazon Aurora]]：云原生数据库，性能更高但成本更高 -- [[AWS]]：云服务提供商 -- [[EBS]]：Elastic Block Store，RDS 的存储后端 -- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]]：AWS 专用数据库架构 -- [[ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora]]：RDS vs Aurora 详细对比 - -## Aliases -- RDS -- Amazon RDS -- RDS PostgreSQL -- Amazon Relational Database Service -- AWS RDS +--- +title: "Amazon RDS" +type: entity +tags: + - AWS + - Database + - Relational + - Managed +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Amazon RDS（Relational Database Service）是 AWS 的全托管关系型数据库服务，支持 MySQL、PostgreSQL、MariaDB、Oracle、SQL Server 多种引擎，自动处理备份、补丁、故障恢复等运维任务。 + +## Aliases +- RDS +- Amazon RDS +- Amazon Relational Database Service + +## Description +- **类型**：全托管关系型数据库服务 +- **支持的引擎**：MySQL · PostgreSQL · MariaDB · Oracle · SQL Server +- **核心价值**：自动化运维（备份/补丁/故障恢复）· 数据端点简化应用访问 · 多可用区高可用 +- **适用场景**：传统 Web 应用 · 企业应用 · 需要固定 schema 和引用完整性的场景 + +## Key Properties +| 属性 | 说明 | +|------|------| +| 部署选项 | 单 AZ / 多 AZ | +| 自动备份 | 自动备份保留期可配置 | +| 只读副本 | 支持 MySQL/PostgreSQL/MariaDB | +| 加密 | KMS 透明加密 | +| 监控 | CloudWatch 集成 | +| 参数组 | 可定制数据库参数 | + +## Connections +- [[Amazon-Aurora]]：Aurora 是 RDS 的云原生演进，提供更高性能和更低运维成本 +- [[Amazon-DynamoDB]]：RDS（关系型）vs DynamoDB（NoSQL）— 根据数据结构选择 +- [[Amazon-ElastiCache]]：RDS + ElastiCache 组合 — 数据库层 + 缓存层 +- [[Multi-Database-Architecture]]：RDS 在多数据库架构中承担传统关系型数据层 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/Amazon-Timestream.md b/wiki/entities/Amazon-Timestream.md index f9f103da..8d2b26d0 100644 --- a/wiki/entities/Amazon-Timestream.md +++ b/wiki/entities/Amazon-Timestream.md @@ -1,41 +1,43 @@ ---- -title: "Amazon Timestream" -type: entity -tags: - - AWS - - Database - - Time-Series - - IoT -sources: - - ctp-topic-51-architecting-with-aws-purpose-built-databases -last_updated: 2026-04-23 ---- - -## Overview -Amazon Timestream 是 AWS 全托管的时序数据库（Time-Series Database），专为高吞吐量时序数据设计，支持自动数据分层（热存储/冷存储）。 - -## Key Use Cases -- **IoT 传感器数据**：温度、压力、位置等设备遥测数据 -- **应用监控**：指标、日志、追踪数据的存储与分析 -- **工业遥测**：生产线设备状态监控 -- **金融数据**：股票价格、交易事件等时间序列分析 - -## Key Characteristics -- **数据模型**：时间戳 + 测量值 + 维度 -- **自动分层**：热存储（Recent data）→ 冷存储（Historical data），自动降本 -- **查询引擎**：内置时序分析函数（插值、聚合、窗口函数） -- **性能**：专为高写入吞吐量优化，支持数百万设备并发写入 - -## Aliases -- Timestream -- Amazon Timestream -- AWS Timestream -- Amazon Timestream for IoT Analytics - -## Related Entities -- [[Prometheus]]：时序监控数据采集器，Timestream 可作为其长期存储后端 -- [[Amazon-DynamoDB]]：通用 NoSQL 数据库，Timestream 在时序场景有 10-100 倍成本优势 - -## Related Concepts -- [[Purpose-Built-Databases]]：Timestream 是 AWS 专用数据库家族中的时序数据库成员 -- [[Time-Series-Database]]：时序数据库核心概念——时间戳索引、数据分层、降采样查询 +--- +title: "Amazon Timestream" +type: entity +tags: + - AWS + - Database + - Time-Series + - IoT +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Amazon Timestream 是 AWS 的全托管时序数据库，专为 IoT 设备和运维监控场景设计，能够高效存储和分析高吞吐量时间序列数据。 + +## Aliases +- Timestream +- Amazon Timestream +- Amazon Timestream for LiveAnalytics + +## Description +- **类型**：全托管时序数据库 +- **核心价值**：专为高吞吐量时间序列数据优化 · 自动数据分层（内存层+磁带层）· 成本比关系型数据库低 10 倍 +- **适用场景**：IoT 传感器数据 · 应用程序指标 · 实时监控 · 工业遥测 + +## Key Properties +| 属性 | 说明 | +|------|------| +| 数据模型 | 时间戳 + 测量值 + 维度 | +| 自动分层 | 内存存储（热数据）+ 磁带存储（冷数据）| +| 查询 | SQL 兼容查询接口 | +| 插入速率 | 每秒数百万事件 | +| 保留策略 | 可配置保留期 | +| 无服务器 | 完全托管，自动扩展 | + +## Connections +- [[Amazon-RDS]]：Timestream（时序数据）vs RDS（事务数据）— 用途决定选型 +- [[Purpose-Built-Databases]]：Timestream 是 AWS 专用数据库品类中的时序数据库成员 +- [[Multi-Database-Architecture]]：Timestream 在多数据库架构中作为时序数据层 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/Duolingo.md b/wiki/entities/Duolingo.md new file mode 100644 index 00000000..1dcb640e --- /dev/null +++ b/wiki/entities/Duolingo.md @@ -0,0 +1,42 @@ +--- +title: "Duolingo" +type: entity +tags: + - Company + - Technology + - Multi-Database +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Duolingo 是全球最大的语言学习平台，日活跃用户数千万。作为 AWS 客户，Duolingo 在生产环境中采用多数据库混合架构，展示了专用数据库组合的实际价值。 + +## Aliases +- Duolingo +- Duolingo, Inc. + +## Description +- **行业**：教育科技（EdTech） +- **核心产品**：语言学习移动应用和 Web 平台 +- **AWS 数据库架构**： + - [[Amazon-DynamoDB]]：存储个性化学习数据（用户进度、词汇记忆状态） + - [[Amazon-ElastiCache]]（Redis）：缓存高频词和短语，减少数据库访问 + - [[Amazon-Aurora]]：处理事务性数据（支付、用户账户） +- **架构价值**：展示了"为正确的工作选择正确的数据库"这一理念的实际应用 + +## Multi-Database Architecture Pattern +Duolingo 的架构是 [[Multi-Database-Architecture]] 的经典案例： +- **DynamoDB** → 个性化/非结构化数据（高并发读写） +- **ElastiCache Redis** → 高频访问缓存（毫秒级响应） +- **Aurora** → 强一致性事务数据（支付、账户） + +## Connections +- [[Amazon-DynamoDB]]：Duolingo 使用 DynamoDB 存储个性化学习数据 +- [[Amazon-ElastiCache]]：Duolingo 使用 ElastiCache Redis 缓存高频内容 +- [[Amazon-Aurora]]：Duolingo 使用 Aurora 处理事务数据 +- [[Multi-Database-Architecture]]：Duolingo 是该架构模式的典型案例 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/Gruntwork.md b/wiki/entities/Gruntwork.md index f1765fd6..69270d02 100644 --- a/wiki/entities/Gruntwork.md +++ b/wiki/entities/Gruntwork.md @@ -1,32 +1,32 @@ ---- -title: "Gruntwork" -type: entity -tags: [AWS, IaC, DevOps, Terraform] -sources: [ctp-topic-9-ci-cd-with-gruntwork, ctp-topic-48-terraform-vs-terragrunt, learning-sessions-ecs-deployment-using-iac-20230808-183322-meeting-recording] -last_updated: 2026-05-05 ---- - -# Gruntwork - -## Overview -Gruntwork 是一家专注于 AWS 基础设施即代码（IaC）的公司，提供预构建、可定制的 Terraform 模块库，帮助团队快速构建生产级云基础设施。 - -## Products -- **Gruntwork Landing Zone Architecture**：基于 Terraform/Terragrunt 的 AWS Landing Zone 参考架构，涵盖账户结构、网络、安全、运维等基础设施层 -- **Gruntwork Infrastructure Live**：生产级 Terraform 模块库，支持多账户、多区域部署 -- **Pipelines**：Gruntwork 推荐的 CI/CD 流水线方案，集成 GitHub Actions/Jenkins - -## Key Modules -- **ECS 模块**：Docker 容器部署模块，CTP/SRE 团队在此基础上构建了自己的 ECS 模块（实现 Listener 集中管理） -- **EKS 模块**：Kubernetes 集群部署模块 -- **Landing Zone 模块**：AWS 组织、账户、OU 架构 - -## Gruntwork in CTP Context -- [[ctp-topic-9-ci-cd-with-gruntwork]]：CTP Topic 9 深入 Gruntwork CI/CD 实践 -- [[ctp-topic-48-terraform-vs-terragrunt]]：Terraform 与 Terragrunt 对比，Gruntwork 作为辅助工具推荐 -- [[learning-sessions-ecs-deployment-using-iac-20230808-183322-meeting-recording]]：CTP 团队在 Gruntwork 仓库基础上开发 ECS 模块 - -## Connections -- [[HashiCorp]] ← provider_of ← [[Terraform]] ← uses ← [[Gruntwork]] -- [[Atlantis]] ← alternative_to ← [[Gruntwork-Pipelines]] -- [[Gruntwork]] ← builds_on ← [[Infrastructure-as-Code]] +--- +title: "Gruntwork" +type: entity +tags: [AWS, IaC, DevOps, Terraform] +sources: [ctp-topic-9-ci-cd-with-gruntwork, ctp-topic-48-terraform-vs-terragrunt, learning-sessions-ecs-deployment-using-iac-20230808-183322-meeting-recording, ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs] +last_updated: 2026-05-05 +--- + +# Gruntwork + +## Overview +Gruntwork 是一家专注于 AWS 基础设施即代码（IaC）的公司，提供预构建、可定制的 Terraform 模块库，帮助团队快速构建生产级云基础设施。 + +## Products +- **Gruntwork Landing Zone Architecture**：基于 Terraform/Terragrunt 的 AWS Landing Zone 参考架构，涵盖账户结构、网络、安全、运维等基础设施层 +- **Gruntwork Infrastructure Live**：生产级 Terraform 模块库，支持多账户、多区域部署 +- **Pipelines**：Gruntwork 推荐的 CI/CD 流水线方案，集成 GitHub Actions/Jenkins + +## Key Modules +- **ECS 模块**：Docker 容器部署模块，CTP/SRE 团队在此基础上构建了自己的 ECS 模块（实现 Listener 集中管理） +- **EKS 模块**：Kubernetes 集群部署模块 +- **Landing Zone 模块**：AWS 组织、账户、OU 架构 + +## Gruntwork in CTP Context +- [[ctp-topic-9-ci-cd-with-gruntwork]]：CTP Topic 9 深入 Gruntwork CI/CD 实践 +- [[ctp-topic-48-terraform-vs-terragrunt]]：Terraform 与 Terragrunt 对比，Gruntwork 作为辅助工具推荐 +- [[learning-sessions-ecs-deployment-using-iac-20230808-183322-meeting-recording]]：CTP 团队在 Gruntwork 仓库基础上开发 ECS 模块 + +## Connections +- [[HashiCorp]] ← provider_of ← [[Terraform]] ← uses ← [[Gruntwork]] +- [[Atlantis]] ← alternative_to ← [[Gruntwork-Pipelines]] +- [[Gruntwork]] ← builds_on ← [[Infrastructure-as-Code]] diff --git a/wiki/entities/Netflix.md b/wiki/entities/Netflix.md new file mode 100644 index 00000000..422a5844 --- /dev/null +++ b/wiki/entities/Netflix.md @@ -0,0 +1,40 @@ +--- +title: "Netflix" +type: entity +tags: + - Company + - Technology + - Streaming + - DynamoDB +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Netflix 是全球最大的流媒体和娱乐订阅服务平台，也是 AWS 的深度用户，其大规模分布式系统架构是行业标杆案例。 + +## Aliases +- Netflix +- Netflix, Inc. +- Netflix Tech Blog + +## Description +- **行业**：流媒体与娱乐 +- **规模**：2亿+订阅用户，覆盖190+国家 +- **AWS 深度用户**：Netflix 将大部分基础设施运行在 AWS 上 +- **DynamoDB 使用场景**：高弹性、低延迟 JSON 文档访问——用于存储用户偏好、观看历史、会话数据等 +- **架构价值**：展示了 DynamoDB 在超大规模下维持高弹性和低延迟的能力 + +## AWS Database Usage +Netflix 使用 [[Amazon-DynamoDB]] 实现： +- 用户配置数据的高可用访问 +- JSON 文档的灵活存储和快速检索 +- 任意规模下的弹性扩展 + +## Connections +- [[Amazon-DynamoDB]]：Netflix 是 DynamoDB 的生产级用户 +- [[Multi-Database-Architecture]]：Netflix 的多数据库架构参考案例 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/Obsidian.md b/wiki/entities/Obsidian.md index ec3156dc..2cdb4782 100644 --- a/wiki/entities/Obsidian.md +++ b/wiki/entities/Obsidian.md @@ -1,37 +1,34 @@ --- title: "Obsidian" type: entity -tags: [] -sources: [] -last_updated: 2026-04-27 +tags: [知识管理, 笔记工具, AI, macOS] +last_updated: 2026-04-28 --- ## Aliases -- Obsidian.md -- Obsidian 笔记软件 -- Obsidian/PKM -- Obsidian (软件) +- Obsidian +- obsidian -## Definition -Obsidian 是一款本地优先的双链笔记软件，基于 Markdown，支持图谱视图和插件扩展，已成为个人知识管理（PKM）领域的主流工具。 +## Description +本地优先的个人笔记与知识管理应用，支持双向链接和图谱视图，搭配 Claudian 等插件可打造 AI 驱动的终极个人知识库。 -## Key Characteristics -- 本地存储：笔记保存在本地文件夹，数据完全归用户所有 -- Markdown 优先：原生支持 Markdown 语法，适合开发者和技术写作者 -- 双链笔记：通过 `[[wikilink]]` 连接笔记，形成知识图谱 -- 插件生态：拥有庞大的社区插件生态，扩展性强（如 Tasks、Dataview、Templater 等） -- 跨平台：支持 macOS、Windows、Linux、iOS、Android +## Key Details +- **类型**：知识管理工具 / 笔记应用 +- **平台**：macOS / Windows / Linux / 移动端 +- **特点**：本地存储、双向链接、图谱视图、插件生态 +- **AI 集成**：搭配 [[Claudian]] 插件可实现 AI 驱动的知识管理 -## Role in Knowledge Management -Obsidian 被广泛用于构建"第二大脑"（Second Brain），其核心理念是将笔记与知识连接起来，而非简单的文档管理。它既可以做笔记，也可以通过插件（如 Tasks）扩展为任务管理工具。 - -## Key Entities -- [[kepano]]：Obsidian 的创始人和 CEO（Licat） +## Role in Knowledge Graph +- [[mac必装软件清单-2026-04-17]] 推荐的核心知识管理工具 +- [[Second Brain]] 生态的核心工具 +- [[Personal Knowledge Base (RAG)]] 的典型实现 +- [[obsidian-必装-skills]] 和 [[obsidian-cli]] 的主体应用 ## Connections -- [[ObsidianTasksPlugin]] ← provides_task_management_for ← [[Obsidian]] -- [[DataviewPlugin]] ← provides_query_database_for ← [[Obsidian]] -- [[Obsidian最有必要安装的10款插件是这些]] ← recommends_plugins_for ← [[Obsidian]]（10款必备插件精选指南：Templater/Dataview/Spaced Repetition/Kanban/Projects/Outliner/Calendar/DB Folder/Homepage/File Explorer Note Count） -- [[Obsidian高效指南]] ← related_to ← [[Obsidian]] -- [[Todoist]] ← compared_with ← [[Obsidian]]（任务管理功能对比） -- [[Notion]] ← compared_with ← [[Obsidian]]（笔记工具对比） +- ← 插件：[[Claudian]]（Claude Code 集成插件） +- ← 相关文档：[[obsidian-必装-skills]]（Skills 生态）、[[obsidian-cli]]（CLI 工具） +- ← 同属场景：[[Second Brain]]、[[Personal Knowledge Base (RAG)]] +- ← 闪记配合：[[Raycast]] / [[Alfred]]（启动器极速闪记） + +## Notes +Obsidian 是当前 AI 时代个人知识管理的标杆工具，支持丰富的插件生态，与 Claude Code 通过 Claudian 插件深度集成，是构建个人知识库的首选应用。 diff --git a/wiki/entities/OpenClaw.md b/wiki/entities/OpenClaw.md index ece8c035..779e0e93 100644 --- a/wiki/entities/OpenClaw.md +++ b/wiki/entities/OpenClaw.md @@ -4,6 +4,7 @@ type: entity tags: [] sources: - "[[养虾日记4-一次「context-limit-exceeded」错误排查-我以为是小问题-结果踩了大坑]]" + - "[[obsidian-官方-cli-命令全景速查表]]" last_updated: 2026-04-10 --- diff --git a/wiki/entities/Peloton.md b/wiki/entities/Peloton.md new file mode 100644 index 00000000..68cd12ef --- /dev/null +++ b/wiki/entities/Peloton.md @@ -0,0 +1,41 @@ +--- +title: "Peloton" +type: entity +tags: + - Company + - Technology + - Fitness + - ElastiCache +sources: + - ctp-topic-51-architecting-with-aws-purpose-built-databases +last_updated: 2026-04-28 +--- + +## Overview +Peloton 是全球知名的联网健身公司，提供健身硬件（跑步机/自行车）和直播课程订阅服务。作为 AWS 客户，Peloton 使用 Amazon ElastiCache Redis 提供即时客户反馈。 + +## Aliases +- Peloton +- Peloton Interactive +- Peloton Bike / Peloton Tread + +## Description +- **行业**：联网健身科技 +- **核心产品**：健身硬件 + 直播/点播课程订阅 +- **AWS 数据库使用**：[[Amazon-ElastiCache]]（Redis） + - 用于为客户提供即时反馈（课程排名、实时数据、成就解锁等） + - 展示了 ElastiCache Redis 在实时响应场景中的价值 +- **架构价值**：内存数据库在消费者健身应用中的低延迟响应案例 + +## Key Use Case +Peloton 使用 ElastiCache Redis 实现： +- 实时排行榜和成绩展示 +- 即时课程反馈数据 +- 高频实时交互场景的毫秒级响应 + +## Connections +- [[Amazon-ElastiCache]]：Peloton 是 ElastiCache Redis 的生产级用户 +- [[Multi-Database-Architecture]]：Peloton 的使用场景是缓存层架构的参考 + +## Referenced In +- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] diff --git a/wiki/entities/RSSHub.md b/wiki/entities/RSSHub.md new file mode 100644 index 00000000..84d36f4a --- /dev/null +++ b/wiki/entities/RSSHub.md @@ -0,0 +1,36 @@ +--- +title: "RSSHub" +type: entity +tags: [rss, open-source, self-hosted] +last_updated: 2026-04-23 +--- + +## Overview +RSSHub 是一个开源项目（`diygod/rsshub`），能够为不支持 RSS 的网站（如 YouTube、Twitter、微博等）生成标准 RSS Feed，从而实现统一的内容订阅。 + +## Details +- **类型**: 开源项目 / 工具 +- **官方仓库**: https://github.com/DIYgod/RSSHub +- **Docker 镜像**: `diygod/rsshub` +- **部署方式**: Docker Compose（主流），支持本地自建 +- **关键路由**: `/youtube/channel/`、`/youtube/user/` + +## Usage in This Wiki +- [[YouTube Content Pipeline]] 使用 RSSHub 作为 YouTube 频道 RSS 转换层 +- [[blogwatcher-daily收藏]] 通过本地 RSSHub 实例（`http://192.168.3.45:1200`）转换 YouTube 频道为 RSS Feed +- [[multi-source-tech-news-digest]] 通过 RSSHub 生成标准化 RSS + +## Key Configuration +- `YOUTUBE_KEY`: YouTube Data API v3 凭据，用于稳定获取 YouTube 数据 +- `HTTP_PROXY` / `HTTPS_PROXY`: 容器内代理，用于绕过网络限制 +- `PORT`: 监听端口（默认 1200） + +## Connections +- [[YouTube Content Pipeline]] ← uses ← [[RSSHub]] +- [[Docker Compose]] ← hosts ← [[RSSHub]] +- [[RSSHub]] ← requires ← [[YouTube Data API v3]] + +## Aliases +- RSSHub +- RSSHub 实例 +- 本地 RSSHub diff --git a/wiki/entities/Raycast.md b/wiki/entities/Raycast.md new file mode 100644 index 00000000..b0423e74 --- /dev/null +++ b/wiki/entities/Raycast.md @@ -0,0 +1,31 @@ +--- +title: "Raycast" +type: entity +tags: [macOS, 效率工具, 启动器] +last_updated: 2026-04-28 +--- + +## Aliases +- Raycast +- raycast + +## Description +macOS 万能启动器，替代 Spotlight，支持计算器、剪贴板历史、窗口管理等功能，是效率工具生态的核心组件。 + +## Key Details +- **类型**：效率工具 / 启动器 +- **平台**：macOS +- **用途**：替代 Spotlight，计算器和剪贴板历史超好用 + +## Role in Knowledge Graph +- [[mac必装软件清单-2026-04-17]] 推荐的第一梯队效率工具 +- [[obsidian-官方-cli-命令全景速查表]] 中推荐与 Obsidian CLI 结合实现极速闪记工作流 +- [[我的工具集]] 相关生态工具 + +## Connections +- ← 相关工具：[[Rectangle]]（同为效率工具） +- ← 替代对象：Spotlight（macOS 原生启动器） +- ← 配合使用：[[Obsidian]] CLI 极速闪记 + +## Notes +Raycast 是 macOS 上广受欢迎的启动器替代品，支持丰富的扩展生态，其剪贴板历史功能深受用户好评。 diff --git a/wiki/entities/Rectangle.md b/wiki/entities/Rectangle.md new file mode 100644 index 00000000..e0bd91d5 --- /dev/null +++ b/wiki/entities/Rectangle.md @@ -0,0 +1,29 @@ +--- +title: "Rectangle" +type: entity +tags: [macOS, 效率工具, 开源] +last_updated: 2026-04-28 +--- + +## Aliases +- rectangle + +## Description +开源免费的分屏管理工具，专为 macOS 设计，支持通过快捷键快速对齐和管理窗口。 + +## Key Details +- **类型**：效率工具 / 窗口管理 +- **平台**：macOS +- **价格**：免费开源 +- **用途**：大屏办公必备，从 Windows 转 Mac 必装 + +## Role in Knowledge Graph +- [[mac必装软件清单-2026-04-17]] 推荐的第一梯队效率工具 +- [[macOS Spatial/Metal Engineer Agent Personality]] 的替代窗口管理方案 + +## Connections +- ← 相关工具：[[Raycast]]（同为效率工具） +- ← 替代方案：[[macOS Spatial/Metal Engineer Agent Personality]] + +## Notes +Rectangle 通过快捷键实现窗口快速分屏，是 macOS 原生窗口管理的增强工具，适合需要同时操作多个窗口的用户。 diff --git a/wiki/entities/WSL2.md b/wiki/entities/WSL2.md new file mode 100644 index 00000000..425c3841 --- /dev/null +++ b/wiki/entities/WSL2.md @@ -0,0 +1,34 @@ +--- +title: "WSL2" +type: entity +tags: [] +sources: ["wsl2-启动与网络配置指南", "install-wsl"] +last_updated: 2026-04-17 +--- + +## 基本信息 +- **全称**：Windows Subsystem for Linux 2 +- **类型**：产品 / 开发工具 +- **官方文档**：https://docs.microsoft.com/windows/wsl/ + +## 说明 +WSL2 是 Microsoft 官方提供的 Windows 内置 Linux 运行环境，基于完整 Linux 内核（WSL1 为翻译层），默认使用 NAT 网络模式。Windows 10/11 Build 19041+ 可通过 `wsl --install` 一键安装。 + +## 核心特性 +- **完整 Linux 内核**：WSL2 使用真实 Linux 内核，支持系统调用兼容 +- **NAT 网络模式（默认）**：WSL2 有独立 IP，与 Windows 主机网络隔离 +- **镜像网络模式（推荐）**：通过 `.wslconfig` 配置 `networkingMode=mirrored` + `dnsTunneling=true` 使 WSL2 与 Windows 共享网络堆栈 +- **跨文件系统**：Windows 驱动器挂载在 `/mnt/c/` 下 + +## 相关工具 +- **[[uv]]**：Python 包管理工具，可通过 `ghproxy.com` 镜像加速安装 +- **[[Hermes Agent]]**：可通过 `ghproxy.com` 镜像地址安装 + +## 来源 +- [[wsl2-启动与网络配置指南]] +- [[install-wsl]] + +## Connections +- [[WSL2]] ← depends_on ← [[Install WSL]]（先安装后配置） +- [[WSL2]] ← uses ← [[ghproxy]]（通过反向代理加速下载） +- [[WSL2]] ← related_to ← [[Ubuntu Server]]（均为 Linux 环境，WSL2 面向桌面开发，Ubuntu Server 面向无头服务器） diff --git a/wiki/entities/ghproxy.md b/wiki/entities/ghproxy.md new file mode 100644 index 00000000..1e6fd4c7 --- /dev/null +++ b/wiki/entities/ghproxy.md @@ -0,0 +1,34 @@ +--- +title: "ghproxy" +type: entity +tags: [] +sources: ["wsl2-启动与网络配置指南", "ubuntu-server科学上网"] +last_updated: 2026-04-17 +--- + +## 基本信息 +- **全称**：ghproxy.com +- **类型**：工具 / 网络服务 +- **网址**：https://ghproxy.com/ + +## 说明 +ghproxy.com 是国内可访问的 GitHub 反向代理服务，通过将 `github.com` 替换为 `mirror.ghproxy.com/https://github.com` 绕过网络限制，适用于 uv 安装器、Claude Code、Hermes Agent 等工具的下载加速。 + +## 使用方式 +将 GitHub 下载地址前缀替换： +``` +https://github.com → https://mirror.ghproxy.com/https://github.com +``` + +### 典型场景 +- `uv` 安装器：`curl -LsSf https://mirror.ghproxy.com/https://github.com/astral-sh/uv/releases/latest/download/uv-installer.sh | sh` +- Hermes Agent：`curl -fsSL https://mirror.ghproxy.com/https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash` + +## 来源 +- [[wsl2-启动与网络配置指南]] +- [[ubuntu服务器通过rsync实现日常增量备份]]（提及 rsync 备份相关） + +## Connections +- [[ghproxy]] ← used_by ← [[WSL2]]（WSL2 环境下通过 ghproxy 加速 GitHub 下载） +- [[ghproxy]] ← used_by ← [[uv]]（uv 安装器下载加速） +- [[ghproxy]] ← used_by ← [[Hermes Agent]]（Hermes Agent 安装加速） diff --git a/wiki/entities/n8n.md b/wiki/entities/n8n.md index eb009d93..c926901f 100644 --- a/wiki/entities/n8n.md +++ b/wiki/entities/n8n.md @@ -24,6 +24,7 @@ last_updated: 2026-05-01 ## Sources - [[2025-年-11-个神级-ai-开源平替-github-杀疯了]] - [[n8n-workflow-orchestration]] +- [[obsidian-官方-cli-命令全景速查表]] — Obsidian CLI 工作流编排场景（AI 收件箱自动分拣员、跨平台数据库级联录入） - [[可自动化-可扩展-ai增强的电商数据采集与处理系统]] - [[n8n-docker-install-update]] - [[n8n-full-tutorial-building-ai-agents-in-2025-for-beginners]] diff --git a/wiki/index.md b/wiki/index.md index 31b798b0..26aeeac8 100644 --- a/wiki/index.md +++ b/wiki/index.md @@ -4,6 +4,21 @@ - [Overview](overview.md) — living synthesis ## Sources +- [2026-04-28] [CTP Topic 1 Gruntwork Landing Zone Architecture](sources/ctp-topic-1-gruntwork-landing-zone-architecture.md) +- [2026-04-28] [CTP Topic 51 Architecting with AWS Purpose-Built Databases](sources/ctp-topic-51-architecting-with-aws-purpose-built-databases.md) +- [2026-04-28] [CTP Topic 46 NetApps on AWS](sources/ctp-topic-46-netapps-on-aws.md) +- [2026-04-28] [CTP Topic 17 Active Directory Services in Gruntwork AWS LZs](sources/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md) +- [2026-04-28] [CTP Topic 66 Exposing the differences between PostgreSQL RDS and Aurora](sources/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md) +- [2026-04-28] [CTP Topic 14 Octane Hub on AWS: Real-Life Experiences Moving Production Services](sources/ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i.md) +- [2026-04-28] [CTP Topic 44 AWS Backup in Micro Focus](sources/ctp-topic-44-aws-backup-in-micro-focus.md) +- [2026-04-28] [Blogwatcher Daily 技能收藏](sources/blogwatcher-daily收藏.md) +- [2026-04-28] [实战笔记：本地部署 RSSHub 并获取 YouTube 订阅](sources/实战笔记-本地部署-rsshub-并获取-youtube-订阅.md) +- [2026-04-28] [Mac必装软件清单](sources/mac必装软件清单-2026-04-17.md) +- [2026-04-28] [Install WSL](sources/install-wsl.md) +- [2026-04-28] [WSL2 启动与网络配置指南](sources/wsl2-启动与网络配置指南.md) +- [2026-04-28] [fireworks-tech-graph](sources/fireworks-tech-graph.md) +- [2026-04-28] [Obsidian 官方 CLI 命令全景速查表](sources/obsidian-官方-cli-命令全景速查表.md) +- [2026-04-28] [Obsidian CLI](sources/obsidian-cli.md) - [2026-04-28] [我做了个 Skill：让 AI 帮你生成 Logo 和图标](sources/我做了个-skill-让-ai-帮你生成-logo-和图标.md) - [2026-04-28] [Obsidian 必装 Skills](sources/obsidian-必装-skills.md) - [2026-04-28] [在 Ubuntu 安装 Ollama 并运行 Qwen2.5‑Coder 7B](sources/在-ubuntu-安装-ollama-并运行-qwen2-5‑coder-7b.md) @@ -185,21 +200,13 @@ - [2026-04-26] [Cloud Maturity Model - A Detailed Guide For Cloud Adoption](sources/cloud-maturity-model-a-detailed-guide-for-cloud-adoption.md) - [2026-04-26] [Cloud DevOp Maturity - Guideline](sources/cloud-devop-maturity-guideline.md) - [2026-04-26] [DevOps Culture and Transformation: Fostering Collaboration, Agile Practices, and Innovation](sources/devops-culture-and-transformation-fostering-collaboration-agile-practices-and-innovation-linkedin.md) -- [WSL2 启动与网络配置指南](sources/wsl2-启动与网络配置指南.md) - [engineering-technical-writer](sources/engineering-technical-writer.md) — (expected: wiki/sources/engineering-technical-writer.md — source missing) - [engineering-sre](sources/engineering-sre.md) — (expected: wiki/sources/engineering-sre.md — source missing) - [engineering-solidity-smart-contract-engineer](sources/engineering-solidity-smart-contract-engineer.md) — (expected: wiki/sources/engineering-solidity-smart-contract-engineer.md — source missing) - [engineering-senior-developer](sources/engineering-senior-developer.md) — (expected: wiki/sources/engineering-senior-developer.md — source missing) - [Hermes-Agent-配置笔记](sources/Hermes-Agent-配置笔记.md) — (expected: wiki/sources/Hermes-Agent-配置笔记.md — source missing) -- [fireworks-tech-graph](sources/fireworks-tech-graph.md) -- [Blogwatcher Daily 技能收藏](sources/blogwatcher-daily收藏.md) - [baoyu-skills](sources/baoyu-skills.md) — (expected: wiki/sources/baoyu-skills.md — source missing) -- [Obsidian 官方 CLI 命令全景速查表](sources/obsidian-官方-cli-命令全景速查表.md) -- [Obsidian CLI](sources/obsidian-cli.md) -- [实战笔记：本地部署 RSSHub 并获取 YouTube 订阅](sources/实战笔记-本地部署-rsshub-并获取-youtube-订阅.md) - [n8n-docker-配置-telegram-代理-troubleshooting](sources/n8n-docker-配置-telegram-代理-troubleshooting.md) — (expected: wiki/sources/n8n-docker-配置-telegram-代理-troubleshooting.md — source missing) -- [Mac必装软件清单](sources/mac必装软件清单-2026-04-17.md) -- [Install WSL](sources/install-wsl.md) - [sre-weekly-issue-513](sources/sre-weekly-issue-513.md) — (expected: wiki/sources/sre-weekly-issue-513.md — source missing) - [Cloud Learning Master Index](sources/cloud-learning-master-index.md) - [Public Cloud Learning Sessions - Tagging Standards for All Hyperscalers - 20240123](sources/public-cloud-learning-sessions-tagging-standards-for-all-hyperscalers-20240123-1.md) @@ -287,23 +294,16 @@ - [CTP Topic 72 Implementing an Enterprise DR Strategy Using AWS Backup](sources/ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup.md) - [CTP Topic 7 SaaS Landing Zone Design](sources/ctp-topic-7-saas-landing-zone-design.md) - [CTP Topic 68 Introduction to Redshift](sources/ctp-topic-68-introduction-to-redshift.md) -- [CTP Topic 66 Exposing the differences between PostgreSQL RDS and Aurora](sources/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md) - [CTP Topic 58 AWS EC2 Image Builder](sources/ctp-topic-58-aws-ec2-image-builder.md) -- [CTP Topic 51 Architecting with AWS Purpose-Built Databases](sources/ctp-topic-51-architecting-with-aws-purpose-built-databases.md) - [CTP Topic 50 AMI Roadmap for AWS AMIs](sources/ctp-topic-50-ami-roadmap-for-aws-amis.md) - [CTP Topic 47 Enterprise Architecture Cloud Standards](sources/ctp-topic-47-enterprise-architecture-cloud-standards.md) -- [CTP Topic 46 NetApps on AWS](sources/ctp-topic-46-netapps-on-aws.md) -- [CTP Topic 44 AWS Backup in Micro Focus](sources/ctp-topic-44-aws-backup-in-micro-focus.md) - [CTP Topic 40 SaaS Database Architecture On AWS Cloud](sources/ctp-topic-40-saas-database-architecture-on-aws-cloud.md) - [CTP Topic 35 AWS Landing Zone Design Refresher (SaaS Labs)](sources/ctp-topic-35-aws-landing-zone-design-refresher-saas-labs.md) - [CTP Topic 34 Azure Landing Zone Architecture Overview](sources/ctp-topic-34-azure-landing-zone-architecture-overview.md) - [CTP Topic 28 AWS Tag Validation Tool](sources/ctp-topic-28-aws-tag-validation-tool.md) - [CTP Topic 26 Standard AMI – build, publish, share processes](sources/ctp-topic-26-standard-ami-build-publish-share-processes.md) - [CTP Topic 25 Labs Landing Zone Overview - ITOM Teams](sources/ctp-topic-25-labs-landing-zone-overview-itom-teams.md) -- [CTP Topic 17 Active Directory Services in Gruntwork AWS LZs](sources/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md) -- [CTP Topic 14 Octane Hub on AWS Real Life Experience Moving Production Services](sources/ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i.md) - [CTP Topic 10 AWS Landing Zone (LZ) Data Collection, Tagging Related Security](sources/ctp-topic-10-aws-landing-zone-lz-data-collection-tagging-related-security.md) -- [CTP Topic 1 Gruntwork Landing Zone Architecture](sources/ctp-topic-1-gruntwork-landing-zone-architecture.md) - [n8n调用hermes-agents的工作流架构](sources/n8n调用hermes-agents的工作流架构.md) — (expected: wiki/sources/n8n调用hermes-agents的工作流架构.md — source missing) - [n8n-调用openclaw-agents的工作流架构](sources/n8n-调用openclaw-agents的工作流架构.md) — (expected: wiki/sources/n8n-调用openclaw-agents的工作流架构.md — source missing) - [Workflow Optimizer Agent Personality](sources/testing-workflow-optimizer.md) @@ -649,6 +649,7 @@ - [DORA-Metrics](entities/DORA-Metrics.md) - [Douyin](entities/Douyin.md) - [DracoVibeCoding](entities/DracoVibeCoding.md) +- [Duolingo](entities/Duolingo.md) - [DXC-VSM](entities/DXC-VSM.md) - [DXY](entities/DXY.md) - [EESJGong](entities/EESJGong.md) @@ -663,6 +664,7 @@ - [Gamma-AI](entities/Gamma-AI.md) - [GDPR](entities/GDPR.md) - [Gemini](entities/Gemini.md) +- [ghproxy](entities/ghproxy.md) - [Gitea](entities/Gitea.md) - [GitHubCopilot](entities/GitHubCopilot.md) - [Gitmoji](entities/Gitmoji.md) @@ -752,6 +754,7 @@ - [NetApp](entities/NetApp.md) - [NetcodeForGameObjects](entities/NetcodeForGameObjects.md) - [Netdata](entities/Netdata.md) +- [Netflix](entities/Netflix.md) - [Nexus-Spatial](entities/Nexus-Spatial.md) - [NicholasCarlini](entities/NicholasCarlini.md) - [Niklas-Luhmann](entities/Niklas-Luhmann.md) @@ -780,6 +783,7 @@ - [OrchestratorAgent](entities/OrchestratorAgent.md) - [OWASP](entities/OWASP.md) - [PageLM](entities/PageLM.md) +- [Peloton](entities/Peloton.md) - [Perplexica](entities/Perplexica.md) - [Phenops-Team](entities/Phenops-Team.md) - [PingMe](entities/PingMe.md) @@ -799,10 +803,13 @@ - [RAIT-09](entities/RAIT-09.md) - [Raj-Vardhan-Singh](entities/Raj-Vardhan-Singh.md) - [Rapid-Prototyper](entities/Rapid-Prototyper.md) +- [Raycast](entities/Raycast.md) - [Reality-Checker](entities/Reality-Checker.md) - [Recapio](entities/Recapio.md) +- [Rectangle](entities/Rectangle.md) - [RetroBoard](entities/RetroBoard.md) - [RichardFeynman](entities/RichardFeynman.md) +- [RSSHub](entities/RSSHub.md) - [rsvg-convert](entities/rsvg-convert.md) - [rsync](entities/rsync.md) - [Rufus](entities/Rufus.md) @@ -876,6 +883,7 @@ - [Weibo](entities/Weibo.md) - [WildCard](entities/WildCard.md) - [Windsurf](entities/Windsurf.md) +- [WSL2](entities/WSL2.md) - [Xiaohongshu](entities/Xiaohongshu.md) - [XiaohongshuPlatform](entities/XiaohongshuPlatform.md) - [Xiaoyuzhou](entities/Xiaoyuzhou.md) @@ -988,6 +996,7 @@ - [Attach容器](concepts/Attach容器.md) - [Attention-Economy](concepts/Attention-Economy.md) - [Audit-Trail](concepts/Audit-Trail.md) +- [Aurora-Global](concepts/Aurora-Global.md) - [Automated-Health-Logging](concepts/Automated-Health-Logging.md) - [Automated-Security-Audit](concepts/Automated-Security-Audit.md) - [AutomatedReminders](concepts/AutomatedReminders.md) @@ -998,6 +1007,7 @@ - [AWS-Tagging-Standards](concepts/AWS-Tagging-Standards.md) - [AWS-Tags](concepts/AWS-Tags.md) - [B2B-Social-Selling](concepts/B2B-Social-Selling.md) +- [Backlinks](concepts/Backlinks.md) - [Baidu-Ecosystem-Integration](concepts/Baidu-Ecosystem-Integration.md) - [Baidu-SEO](concepts/Baidu-SEO.md) - [BandwidthManagement](concepts/BandwidthManagement.md) @@ -1173,6 +1183,7 @@ - [Docker容器生命周期管理](concepts/Docker容器生命周期管理.md) - [Docker警告处理](concepts/Docker警告处理.md) - [DocumentationTheater](concepts/DocumentationTheater.md) +- [Domain-Join](concepts/Domain-Join.md) - [Domain-Thinking](concepts/Domain-Thinking.md) - [DORA-Metrics](concepts/DORA-Metrics.md) - [DRaaS](concepts/DRaaS.md) @@ -1399,6 +1410,7 @@ - [Multi-Agent-Unified-MCP](concepts/Multi-Agent-Unified-MCP.md) - [Multi-AgentHub](concepts/Multi-AgentHub.md) - [Multi-AI-Review](concepts/Multi-AI-Review.md) +- [Multi-AZ](concepts/Multi-AZ.md) - [Multi-Channel-Delivery](concepts/Multi-Channel-Delivery.md) - [Multi-Channel-Sequence-Architecture](concepts/Multi-Channel-Sequence-Architecture.md) - [Multi-Cloud-Strategy](concepts/Multi-Cloud-Strategy.md) @@ -1568,6 +1580,7 @@ - [SE-Linux-Enforcing](concepts/SE-Linux-Enforcing.md) - [Second-Renaissance](concepts/Second-Renaissance.md) - [Secrets-Management](concepts/Secrets-Management.md) +- [Secure-Dynamic-Updates](concepts/Secure-Dynamic-Updates.md) - [Security-and-Compliance](concepts/Security-and-Compliance.md) - [Self-Education](concepts/Self-Education.md) - [Self-Healing-Systems](concepts/Self-Healing-Systems.md) @@ -1748,6 +1761,7 @@ - [Xinchuang](concepts/Xinchuang.md) - [Y-Combinator](concepts/Y-Combinator.md) - [YoloMode](concepts/YoloMode.md) +- [YouTube-Data-API-v3](concepts/YouTube-Data-API-v3.md) - [Zero-Friction-Capture](concepts/Zero-Friction-Capture.md) - [Zero-Trust](concepts/Zero-Trust.md) - [Zero-Trust-Architecture](concepts/Zero-Trust-Architecture.md) diff --git a/wiki/log.md b/wiki/log.md index a6463a1c..8658af70 100644 --- a/wiki/log.md +++ b/wiki/log.md @@ -1,3 +1,89 @@ +## [2026-05-06] ingest | CTP Topic 1 Gruntwork Landing Zone Architecture +- Source file: Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-1-gruntwork-landing-zone-architecture.md +- Status: ✅ 成功摄入 +- Summary: Gruntwork AWS Landing Zone 架构基础——参考架构（Reference Architecture）提供最佳实践起点，含核心账户 Shared/Logs/Security 和工作负载账户 Prod/Stage/Dev；Landing Zone 基于 Gruntwork 仓库由产品团队自行定义具体服务（ECS/RDS 等）；安全账户使用联邦用户通过 AD 组映射 IAM 角色；每个 Landing Zone 配置独立 Jenkins 服务器和特性分支 Git 工作流；Gruntwork Terraform AWS 服务目录强调服务应具有业务上下文。 +- Concepts touched: [[Reference-Architecture]]（已存在，内容完整）、[[Landing-Zone-Architecture]]（已存在，内容完整） +- Entities touched: [[Gruntwork]]（已存在，内容完整） +- Source page: wiki/sources/ctp-topic-1-gruntwork-landing-zone-architecture.md +- Notes: 步骤3完成：更新 last_updated: 2026-05-06；步骤4完成：index.md 条目补全日期前缀和一行摘要；步骤5完成：overview.md 已有该来源摘要（line 309），内容一致无需修订；步骤6-7完成：Entity/Concept 均已存在；步骤8完成：冲突已在 source page Contradictions 节记录（与 [[ctp-topic-35-aws-landing-zone-design-refresher-saas-labs]] 视角互补） + +## [2026-04-26] ingest | CTP Topic 46 NetApps on AWS (re-ingest) +- Source file: Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-46-netapps-on-aws.md +- Status: ✅ 成功摄入 +- Summary: Source page 已存在（2026-04-14 初版）。本次检测到源文件更新（Apr 26 12:35），更新 Source page tags 增加 CVO/ONTAP，新增 last_updated: 2026-04-26；index.md 条目补全日期前缀和一行摘要；overview.md 已有该来源摘要（line 335），内容一致无需修订。 +- Concepts touched: [[SnapMirror]]（已存在，内容完整） +- Entities touched: [[NetApp]]（已存在，内容完整） +- Source page: wiki/sources/ctp-topic-46-netapps-on-aws.md +- Notes: 步骤3完成：Source page 更新 tags 和 last_updated；步骤4完成：index.md 条目补全日期+摘要；步骤5完成：overview.md 内容一致无需修订；步骤6-7完成：Entity/Concept 均已存在；步骤8完成：无冲突（属存储技术域，与数据库/备份技术互补） + +## [2026-05-05] ingest | CTP Topic 17 Active Directory Services in Gruntwork AWS LZs +- Source file: Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md +- Status: ✅ 成功摄入 +- Summary: Paul 讲解 Gruntwork AWS Landing Zones 中 AD 服务集成的核心实践——双域名策略（`swinford.net` 用于 R&D Labs，`intsas.local` 用于生产/SAS 环境，废弃旧 `infra`/`AST` 域名）；SRE 预制 AMI 内置 PowerShell/Shell 脚本，通过 Terraform `user_data` 实现 Windows/Linux 实例自动化域加入；Linux 支持 Secure Dynamic Updates 自动注册 DNS A 记录；R&D 环境使用 MIM 自助服务，生产/SAS 环境通过 SMACKS 工单系统申请账号。 +- Concepts created: [[Domain Join]], [[Secure Dynamic Updates]] +- Entities created: none（[[swinford.net]], [[intsas.local]], [[SMACKS]], [[Gruntwork]] 均已存在并已更新引用） +- Entities touched: [[Gruntwork]] +- Source page: wiki/sources/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md +- Notes: index.md 已有该来源条目（line 304），本次补加日期前缀和一行摘要；overview.md 已有该来源摘要（line 349），内容一致无需修订；Swinford.net.md 和 Intsas.local.md 已正确引用本来源；冲突检测：无冲突 + +## [2026-04-23] ingest | CTP Topic 66 Exposing the differences between PostgreSQL RDS and Aurora +- Source file: Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md +- Status: ✅ 成功摄入 +- Summary: Greg Klau 主讲 PostgreSQL 在 Amazon RDS 与 Aurora 两种托管方案之间的深度技术对比。涵盖架构差异（RDS 计算+ EBS 分离 vs Aurora 6副本跨3AZ共享存储）、选型决策（小型<10TB选RDS，大型>10-20TB选Aurora）、高可用性（Aurora RTO 30秒 vs RDS 2分钟）、Aurora Global 跨区域灾备、Blue-Green Deployment（仅 Aurora MySQL 支持）、监控（CloudWatch/Grafana/Performance Insights）等。 +- Concepts created: [[Aurora Global]], [[Multi-AZ]], [[Blue-Green Deployment]] +- Entities created: none（[[Amazon RDS]], [[Amazon Aurora]], [[RTO]] 均已存在并已更新引用） +- Entities touched: [[Amazon RDS]], [[Amazon Aurora]], [[RTO]] +- Source page: wiki/sources/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md +- Notes: index.md 已有该来源条目（line 292）；overview.md 已新增该来源摘要（line 260-261）；冲突检测：RTO 数值（Aurora 30秒/RDS 2分钟）已记录于 Contradictions 节，建议与 [[RTO vs RPO: Key Differences for Modern Disaster Recovery]] 交叉验证 + +## [2026-04-18] ingest | Blogwatcher Daily 技能收藏 +- Source file: Skills/blogwatcher-daily收藏.md +- Status: ✅ 成功摄入 +- Summary: Hermes Agent 自定义技能 blogwatcher-daily，实现 31 个 RSS/YouTube 订阅频道的自动化监控与每日摘要生成。核心技术栈：RSSHub（YouTube 频道转 RSS）+ feedparser（多格式解析）+ SQLite（URL 去重）+ Cron（定时调度）+ Telegram（通知）。每天早上 6:00 自动运行，Job ID `ecdd35bb7df3`。 +- Concepts created: 无（RSSHub/feedparser/SQLite去重机制/Cron定时任务均已有 Entity/Concept 页面或以内嵌 wikilink 引用存在） +- Entities created: 无（[[Hermes Agent]] 已存在，[[RSSHub]] 已存在） +- Entities touched: [[Hermes Agent]], [[RSSHub]] +- Source page: wiki/sources/blogwatcher-daily收藏.md +- Notes: index.md 已有该来源条目（line 200），本次补全一行摘要；冲突检测：无冲突 + +## [2026-04-17] ingest | WSL2 启动与网络配置指南 +- Source file: Home Office/WSL2 启动与网络配置指南.md +- Status: ✅ 成功摄入 +- Summary: WSL2（Windows Subsystem for Linux 2）日常使用操作与网络配置完整指南。涵盖安装（`wsl --install`）、状态检查（`wsl -l -v`）、版本转换（`wsl --set-version`）；网络配置核心痛点（NAT 模式导致 Windows 代理无法镜像）；推荐方案（`.wslconfig` 配置 `networkingMode=mirrored` + `dnsTunneling=true`）；备选方案（手动代理 `http_proxy/https_proxy`）；GitHub 加速（`ghproxy.com` 反向代理）；常见故障排查（WSL_E_VM_MODE_INVALID_STATE、文件权限问题）。 +- Concepts created: 无（镜像网络模式/NAT模式均以内嵌 wikilink 引用存在，未达独立建页阈值） +- Entities created: [[WSL2]], [[ghproxy]] +- Entities touched: [[uv]], [[Hermes Agent]] +- Source page: wiki/sources/wsl2-启动与网络配置指南.md +- Notes: index.md Sources 节已有该条目，本次补加日期前缀 [2026-04-17] 和一行摘要；index.md Entities 节新增 WSL2 和 ghproxy 条目；overview.md 已有 WSL2 相关条目（line 413-415, line 787-789），内容一致无需修订；冲突检测：与 [[Install WSL]] 的视角差异（安装 vs 配置）已记录于 source page Contradictions 节，无本质冲突 + +## [2026-04-28] ingest | fireworks-tech-graph +- Source file: Skills/fireworks-tech-graph.md +- Status: ✅ 成功摄入（更新） +- Summary: fireworks-tech-graph 将自然语言描述转化为精美 SVG 技术图并导出高分辨率 PNG——解决技术文档/博客缺乏高质量可视化图表的核心痛点。内置 7 种视觉风格（扁平图标风/暗黑极客风/工程蓝图风/Notion极简风/玻璃态卡片风/Claude官方风格/OpenAI官方风格）和 14 种 UML 图类型。语义形状词汇表确保图形语义一致，语义箭头系统通过颜色+虚线编码含义。支持 librsvg/rsvg-convert 导出 1920px PNG。触发词：画图/帮我画/生成图/做个图/架构图/流程图/可视化一下。 +- Concepts created: none（concept 页面待补充：技术图生成、7种视觉风格系统、语义形状词汇表、语义箭头系统、14种UML图） +- Entities created: none（rsvg-convert 已列出，concept 页面待补充后关联） +- Source page: wiki/sources/fireworks-tech-graph.md +- Notes: 源页面已存在（2026-04-18），本次对比 489 行源文档发现以下内容已补全：7种风格详细参数表、形状词汇表完整表格、箭头语义完整表格、AI/Agent 内建 Pattern、产品图标覆盖范围；index.md 已有条目（line 196）；overview.md 已有条目（line 508）；冲突检测：无冲突 + +## [2026-04-28] ingest | Obsidian 官方 CLI 命令全景速查表 +- Source file: Skills/Obsidian 官方 CLI 命令全景速查表.md +- Status: ✅ 成功摄入 +- Summary: Obsidian v1.12+ 官方 CLI 80+ 命令全景速查表。涵盖 18 个功能模块：基础操作、数据库（Bases）、书签、命令面板、日记、文件历史、文件目录、链接网络、大纲、插件管理、属性元数据、发布、随机笔记、全局搜索、官方同步、标签、任务管理、模板、外观样式、卡片盒、仓库管理、内置浏览器、字数统计、工作区布局、开发者模式。附带 7 个典型自动化工作流：全局极速闪记、播客沉浸式知识榨取、AI 收件箱自动分拣员、绝对隐私的本地 RAG 对话助理、跨平台数据库级联录入、历史知识自动唤醒、批量元数据重构。 +- Concepts created: [[Backlinks]] +- Entities created: [[Obsidian]] +- Entities touched: [[n8n]], [[OpenClaw]] +- Source page: wiki/sources/obsidian-官方-cli-命令全景速查表.md +- Notes: index.md 已添加该来源条目（一行摘要）；Backlinks 是核心概念，已创建独立概念页面；Obsidian 已创建实体页面（CLI + 核心特性描述）；n8n.md 和 OpenClaw.md 已添加本来源引用；冲突检测：无冲突；index.md 中已有同名条目已补全摘要内容 + +- Source file: Skills/Obsidian CLI.md +- Status: ✅ 成功摄入 +- Summary: Obsidian 官方 CLI 完整命令参考文档（1534行）——50+ 命令覆盖日常使用、文件管理、链接分析、任务管理、开发者命令（CDP协议截图/控制台/插件热重载）、数据管理（Bases）、版本历史（File Recovery+Sync）、插件管理和 Obsidian Publish。两种使用模式：单命令和 TUI 交互。vault 定向和文件定位机制详解。 +- Entities touched: [[Obsidian]], [[Obsidian-Skills]] +- Entities created: none (Obsidian entity already exists via obsidian-必装-skills) +- Concepts touched: [[Obsidian-CLI]], [[Obsidian-TUI]], [[Vault-Management]], [[Developer-Commands]], [[CDP-Commands]], [[Plugin-Reload]], [[Daily-Notes-CLI]], [[File-Recovery]], [[Base-Commands]], [[Property-Commands]], [[Task-Commands]], [[Template-Commands]], [[Sync-Commands]], [[Plugin-Management-CLI]], [[Publish-Commands]] +- Source page: wiki/sources/obsidian-cli.md +- Notes: 原 source page 已存在但内容简略（58行），本次用完整 1534 行源文档重建 source page，严格按 Source Page Format 补充了完整命令分类速查表和 Key Claims；overview.md 已添加详细 obsidian-cli 条目；冲突检测：与 obsidian-必装-skills 的视角差异（官方内置 vs Skills 收录）已在 Contradictions 节协调，两种描述均正确 + ## [2026-04-28] ingest | Obsidian 必装 Skills - Source file: Skills/Obsidian 必装 Skills - Status: ✅ 成功摄入 @@ -5627,3 +5713,30 @@ - Entities touched: [[Quartz]]（出现 1 次，未达创建阈值）、[[Nginx]]（出现 1 次，未达创建阈值）、[[Apache]]（出现 1 次，未达创建阈值）、[[Caddy]]（出现 1 次，未达创建阈值） - Source page: wiki/sources/building-your-quartz.md - Notes: source page 新建完成；index.md Sources 节已有对应条目，无需额外添加；overview.md 无需修订；冲突检测：无 + +## [2026-04-28] ingest | Install WSL +- Source file: Home Office/Install WSL.md +- Status: ✅ 成功摄入 +- Summary: 微软官方 WSL 完整安装指南，`wsl --install` 一键安装，支持 Ubuntu/Debian/SUSE/Kali 等多发行版并行安装，`wsl.exe --set-default-version` 切换 WSL1/WSL2；离线场景通过 MSI + DISM 命令手动启用 Virtual Machine Platform；运行入口推荐 Windows Terminal（含多标签、自定义快捷键）。[[Install WSL]] 与 [[WSL2 启动与网络配置指南]] 互补——前者解决安装问题，后者解决网络配置问题。 +- Concepts created: 无新增（WSL2 已存在于 overview.md，WSL1/WSL安装命令/多发行版支持/离线安装 为 WSL 特定术语，无需独立页面） +- Entities created: 无新增（Microsoft/Ubuntu/PowerShell/Windows Terminal 已在 overview.md 中提及，未达独立创建阈值；[[WSL2]] 实体页面已存在且已引用 install-wsl） +- Source page: wiki/sources/install-wsl.md +- Notes: source page 新建完成；index.md 添加日期前缀 [2026-04-18]；overview.md 无需修订（已有对应条目）；WSL2 entity 已存在且 sources 列表已包含 install-wsl；冲突检测：无 + +## [2026-04-23] ingest | 实战笔记：本地部署 RSSHub 并获取 YouTube 订阅 +- Source file: Home Office/实战笔记：本地部署 RSSHub 并获取 YouTube 订阅.md +- Status: ✅ 成功摄入 +- Summary: 在 Ubuntu2（192.168.3.45）上通过 Docker Compose 部署 RSSHub，配合 YouTube Data API v3 和本地 HTTP 代理实现 YouTube 频道订阅 RSS 化。涵盖 API Key 申请（Google Cloud Console）、docker-compose.yml 配置（YOUTUBE_KEY/HTTP_PROXY/PORT/network_mode: host）、防火墙放通（ufw allow 1200/tcp）、RSS URL 格式（channel ID / user）以及验证方法。 +- Concepts created: [[Docker-Compose]]（已存在，新增 Usage in Wiki 段落）、[[YouTube-Data-API-v3]]（新建，包含 API Key 申请步骤与安全建议） +- Entities created: [[RSSHub]]（新建，包含项目概述、配置要点、Usage in Wiki、Connections） +- Source page: wiki/sources/实战笔记-本地部署-rsshub-并获取-youtube-订阅.md +- Notes: index.md Sources 节已有该条目，本次添加日期前缀 [2026-04-23] 和一行摘要；index.md Entities 节新增 RSSHub 条目（字母序插入 RichardFeynman/rsvg-convert 之间）；index.md Concepts 节 Docker-Compose 已存在无需添加，YouTube-Data-API-v3 已添加至 YoloMode/Zero-Friction 之间；overview.md Home Lab Infrastructure 节新增条目，定位为内容自动化管道层；冲突检测：与 [[how-to-get-the-rss-feed-for-any-youtube-channel]] 的第三方 vs 自建视角差异已记录于 source page Contradictions 节 + +## [2026-04-28] ingest | CTP Topic 51 Architecting with AWS Purpose-Built Databases +- Source file: Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-51-architecting-with-aws-purpose-built-databases.md +- Status: ✅ 成功摄入 +- Summary: Source page 已存在（2026-04-14 初版）。本次补全缺失的 Entity/Concept 引用页面（11 个 Entity + 3 个 Concept）；index.md 条目补全日期前缀和一行摘要；overview.md 已有该来源摘要（line 337），内容一致无需修订；冲突检测：无实质冲突（属数据库品类技术域，与 RDS vs Aurora 视角互补）。 +- Concepts created: [[Purpose-Built-Databases]], [[DBA-Role-Evolution]], [[Multi-Database-Architecture]] +- Entities created: [[Amazon-DynamoDB]], [[Amazon-Aurora]], [[Amazon-RDS]], [[Amazon-ElastiCache]], [[Amazon-Neptune]], [[Amazon-Timestream]], [[Amazon-Keyspaces]], [[Amazon-DocumentDB]], [[Duolingo]], [[Netflix]], [[Peloton]] +- Source page: wiki/sources/ctp-topic-51-architecting-with-aws-purpose-built-databases.md +- Notes: 步骤3完成：Source page 已存在无需更新；步骤4完成：index.md 条目补全日期+摘要；步骤5完成：overview.md 内容一致无需修订；步骤6完成：11 个 Entity 页面全部新建；步骤7完成：3 个 Concept 页面全部新建；步骤8完成：无冲突（与 ctp-topic-66 互补） diff --git a/wiki/overview.md b/wiki/overview.md index c85b21a1..b79140d6 100644 --- a/wiki/overview.md +++ b/wiki/overview.md @@ -71,7 +71,9 @@ The wiki covers two major multi-agent frameworks: **The Agency** (agency-agents) **Self-Improving 自改进系统**（[[养虾日记2]]）：解决 AI Agent"每次对话都是白纸"的核心问题——三层记忆架构（短期文件 + 长期向量数据库 + self-improving 复盘）配合每日 23:00 定时复盘，实现"错误只犯一次"的 Agent 学习闭环。Pattern-Key 重复是系统性问题的信号；Recurrence-Count 是区分一次性错误与重复问题的关键指标。[[Self-Improving-Skill]] 的 Suggested Action 必须具体到可直接执行（如 `--to 5038825565`），而非泛泛建议。 -**[[obsidian-必装-skills]]**（Obsidian 必装 Skills）：Obsidian 生态 AI Skills 全景盘点——推荐安装：kepano 官方 defuddle（网页清洗）、obsidian-cli（官方 CLI 操作）、obsidian-bases（数据库视图）；Axton 的 obsidian-canvas-creator（径向布局算法解决节点重叠）；tutor-skills（"输入-内化-检测"三阶段学习闭环）；scholar-skill（基于 OpenClaw 的 L1/L2/L3 分级论文阅读）。核心插件：claudian（适配 Claude Code）和 obsidian-agent-client（适配多主流 Agent）。属 [[Second Brain]] 的工具选型层，与 [[obsidian-高效指南-我常用的插件与实用技巧]]（插件配置）和 [[dataview-让我从笔记黑洞里逃出来的-obsidian-神器-1]]（同类数据库视图工具）互补。 +**[[obsidian-必装-skills]]**（Obsidian 必装 Skills）：Obsidian 生态 AI Skills 全景盘点——推荐安装：kepano 官方 defuddle（网页清洗）、obsidian-cli（官方 CLI 操作）、obsidian-bases（数据库视图）；Axton 的 obsidian-canvas-creator（径向布局算法解决节点重叠）；tutor-skills（"输入-内化-检测"三阶段学习闭环）；scholar-skill（基于 OpenClaw 的 L1/L2/L3 分级论文阅读）。核心插件：claudian（适配 Claude Code）和 obsidian-agent-client（适配多主流 Agent）。 + +**[[obsidian-cli]]**（Obsidian CLI 完整命令参考）：Obsidian 官方 CLI 工具详细文档（1534 行，50+ 命令）——两种使用模式：单命令（`obsidian daily`）和 TUI 交互（`obsidian` + 命令历史+反向搜索）。命令分类：日常使用（daily/search/read/open/tags）、文件管理（create/move/rename/delete）、链接分析（backlinks/links/unresolved/orphans）、任务管理（tasks/task 支持按文件/状态过滤）、开发者命令（devtools/plugin:reload/eval/dev:screenshot）、数据管理（bases/base:query 支持 JSON/CSV/TSV/MD 输出）、版本历史（diff/history:restore）、插件管理（install/enable/disable/reload）和 Obsidian Publish。开发者命令通过 Chrome DevTools Protocol（CDP）实现，支持截图、控制台执行、DOM 查询、CSS 检查和插件热重载，使 AI Agent 可以自动测试和调试插件。vault 定位：`vault=` 为首个参数；文件定位：`file=` 按文件名匹配，`path=` 要求完整路径；所有命令支持 `--copy` 复制输出到剪贴板；多词值用引号包裹。属 [[Second Brain]] 的工具选型层，为 AI Agent 操作 Obsidian 知识库提供标准化 CLI 接口——**任何 GUI 操作均可通过命令行实现**，与 [[Claudian]]（插件方案）和 [[Obsidian-Agent-Client]]（第三方 Agent 插件）互补。与 [[obsidian-高效指南-我常用的插件与实用技巧]]（插件配置）和 [[dataview-让我从笔记黑洞里逃出来的-obsidian-神器-1]]（同类数据库视图工具）互补。 **[[养虾日记3]]**：用 Obsidian + Gitea 为 AI 助手构建持久化笔记系统——解决"AI 对话结束输出就消失"的核心问题。核心架构：**Obsidian 做知识库**（iCloud Drive 三端同步）、**Gitea 做版本控制**（完整保留所有历史版本）、**OpenClaw obsidian skill 做写入接口**。三个 Agent（星枢/星辉/星曜）分别向各自 Obsidian 目录写入，knowledgebase/ 存放跨 Agent 共用知识，/ 存放单一 Agent 私有笔记。核心价值：把 AI 变成"会自动整理笔记的实习生"——做完事顺手更新记录。与 [[Second Brain]]（对话记忆）、[[Personal Knowledge Base (RAG)]]（知识检索）同属持久化记忆能力的不同实现。与 [[self-healing-home-server]] 的 Morning Briefing 共享同一笔记更新机制。融合了 Karpathy 的 LLM Wiki 理念：让 AI 增量构建 Wiki，页面间互链，知识越积越厚。与 [[养虾日记1]]（照片整理）、[[养虾日记2]]（Self-Improving）、**[[养龙虾5天血泪史]]**（记忆调试）属同一「养虾日记」系列。 @@ -211,6 +213,8 @@ Key concepts: [[PerformanceMax]], [[SmartBidding]], [[AccountArchitecture]], [[T **[[multi-source-tech-news-digest]]**：AI Agent 驱动的多源科技新闻自动聚合与投递系统——四层数据管道整合 46 个 RSS 源、44 个 Twitter/X KOL 账号、19 个 GitHub Releases 仓库和 4 个 Brave Search 主题，覆盖 109+ 信息源；通过标题相似度去重和多维度质量评分（priority source +3, multi-source +5, recency +2, engagement +1）生成精选简报；支持 Discord/Email/Telegram 三通道投递，30 秒内通过自然语言添加自定义来源。属 [[Daily-YouTube-Digest]] / [[Daily Reddit Digest]] 同款 Cron Job + AI 摘要模式的不同垂直场景（前者视频，后者 Reddit 社区，本方案文字新闻）。 +**[[实战笔记-本地部署-rsshub-并获取-youtube-订阅]]**（本地部署 RSSHub + YouTube 订阅）：在 Ubuntu2（192.168.3.45）上通过 Docker Compose 部署 RSSHub，配合 YouTube Data API v3（`YOUTUBE_KEY`）和本地 HTTP 代理（`HTTP_PROXY=http://127.0.0.1:10808`）实现 YouTube 频道订阅 RSS 化。核心价值：绕过国内网络无法直接访问 YouTube 的限制，通过 RSSHub 转换为标准 RSS Feed 实现订阅更新跟踪。URL 格式：`http://192.168.3.45:1200/youtube/channel/<频道ID>`（频道）或 `/user/<用户名>`（用户）。验证成功的标志：访问 URL 返回 XML 列表且无 `fetch failed` 错误。属 [[Home Lab Infrastructure]] 的内容自动化管道层，与 [[Daily YouTube Digest]]（每日 YouTube 摘要）和 [[YouTube Content Pipeline]]（YouTube 内容流水线）同属 YouTube 内容获取方案，本方案侧重本地自建 [[RSSHub]] + API 的稳定可控路径。 + ### Cloud Transformation & DevOps **[[cloud-learning-master-index]]**（Cloud Learning Master Index）：OpenText/微焦点云转型学习会话视频总索引，NAS 源位于 `/volume2/work/Public Cloud Learning Sessions/`，覆盖 10 大技术领域共 **111 个视频**——AWS Landing Zone（22）、OpenText Series（21）、EKS & Kubernetes（14）、Security（9）、Networking（9）、Serverless & AI（9）、FinOps & Cost（10）、CI/CD & GitOps（8）、IAM & Identity（3）、Terraform & IaC（6）。该索引是所有 CTP 专题视频的元数据入口，涵盖从基础设施（AWS Landing Zone）到应用层（Serverless/AI）的完整知识体系，为工程师和架构师提供按主题快速定位学习资源的导航能力。 @@ -254,6 +258,8 @@ Cloud Transformation Programme (CTP) materials cover AWS landing zones, EKS, Ter **Learning Sessions Cloud Transformation Programme-Deploying RDS via Terraform**（2023 年，Greg，DBRE 团队）：Greg 来自 Database Reliability Engineering 团队，倡导通过 Terraform IaC 部署任何规模的 RDS 到 AWS，相比控制台具有速度、灵活性、一致性、灾难恢复、文档和自动化六大优势——**代码即文档**。RDS 部署提供两种模块选择：**裸 RDS module**（基础功能）和 **grunt work RDS Service**（推荐生产使用，预建 KMS 密钥加密和 CloudWatch 告警，SRE 核心模块功能弱于 grunt work）。**Terragrunt**（Terraform 封装器）用于保持代码整洁、避免变量重复声明，贯彻 DRY 原则；Day 2 运维（扩缩容、补丁、大版本升级）通过修改 Terragrunt 文件并提交 GitHub PR，由 Atlantis 自动应用变更。监控通过 CloudWatch Dashboard + Alarms 实现，需注意突发性能实例（burstable instance）的 CPU credits 消耗。属 [[Infrastructure-as-Code]] 在 RDS 数据库场景的实践，与 [[ctp-topic-48-terraform-vs-terragrunt]]（Terragrunt 推荐）和 [[ctp-topic-16-cross-account-terraform-modules]]（跨账号 Terraform 模块）共同构成 Terraform 生态知识链路，与 [[ctp-topic-9-ci-cd-with-gruntwork]]（Gruntwork CI/CD）共享 Gruntwork 模块体系。 +**[[ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora]]**（CTP Topic 66）：Greg Klau 主讲 PostgreSQL 在 Amazon RDS 与 Aurora 两种托管方案之间的深度技术对比——**架构差异**：RDS 采用计算与 EBS 存储分离（Multi-AZ 需独立备用节点），Aurora 采用 6 块 EBS 卷横跨 3 AZ 的共享存储集群（由 Amazon 管理副本，读副本共享同一集群卷无需数据复制）。**选型决策**：小型数据库（<10TB）选 RDS 更经济（存储类型多样：GP2/GP3/预配置IOPS/磁性），大型高 IO 数据库（>10-20TB）选 Aurora 性能更优（Aurora IO 按量计费无上限）。**高可用性**：Aurora AZ 故障 RTO 为 30 秒，RDS 为 2 分钟；Aurora Global 支持干净的托管切换（无需重新复制数据），RDS 跨区域切换需阻断访问并重建集群。**蓝绿部署**：Aurora MySQL 支持 Major Version Upgrade（创建双环境进行测试后切换），PostgreSQL 版本不支持。**监控**：两者均支持 CloudWatch/Grafana/Performance Insights；Aurora 临时存储使用本地 SSD（固定容量由实例类型决定），RDS 使用 EBS。属 [[Amazon RDS]] vs [[Amazon Aurora]] 数据库选型的核心知识来源，与 [[learning-sessions-cloud-transformation-programme-deploying-rds-via-terraform]]（RDS Terraform 部署）共同构成 RDS 完整知识体系。 + **[[ctp-topic-12-using-ses-smtp-service-terraform-module]]**（CTP Topic 12）：Christian Deckelmann 和 Filos Christolakis 主讲，Micro Focus 团队使用 Terraform 模块自动化部署 AWS SES SMTP 服务以替代传统本地 SMTP 网关——随着业务向云端迁移，本地 SMTP 网关（如 smtbmicrofocus.com）已不再高效，SES 是网络安全部门唯一批准的云端邮件发送方案。Terraform 模块封装了 SMTP 终端节点配置，支持现有应用程序通过标准 SMTP 协议集成，无需重构代码适配 SES API；技术实现：在应用 VPC 中配置 VPC 端点实现私有连接（无需公网访问），通过 IAM 用户凭证作为 SMTP 认证信息并存储于 Secrets Manager，自动化完成 DKIM 验证和 Infoblox DNS 记录创建。两个关键手动步骤：① 申请脱离 SES Sandbox Mode（提交工单获取生产访问权限）以提升发送限额并允许向外部地址发信；② 手动更新 DNS TXT 记录以验证域名所有权（Terraform 难以处理多账号共享域名时对同一 TXT 记录值的追加操作）。未来计划：引入收件人地址限制和凭证滚动更新增强安全功能。与 [[ctp-topic-36-sendgrid-as-an-email-service]] 构成云邮件服务双路径——SendGrid 面向新标准，SES 服务现有应用平滑迁移。属 [[Infrastructure-as-Code]] 在邮件服务场景的实践，与 [[VPC-Endpoint]]、[[Secrets-Manager]] 概念关联。 **[[ctp-topic-21-supply-chain-security-in-micro-focus]]**（CTP Topic 21）： diff --git a/wiki/sources/blogwatcher-daily收藏.md b/wiki/sources/blogwatcher-daily收藏.md index a0c70a21..bc6757c7 100644 --- a/wiki/sources/blogwatcher-daily收藏.md +++ b/wiki/sources/blogwatcher-daily收藏.md @@ -1,58 +1,73 @@ --- title: "Blogwatcher Daily 技能收藏" type: source -tags: [hermes-agent, rss, automation, daily-digest] +tags: [rss, automation, hermes-agent, skill] date: 2026-04-18 --- ## Source File -- [[raw/Skills/blogwatcher-daily收藏.md]] +- [[Skills/blogwatcher-daily收藏.md]] ## Summary（用中文描述） -- 核心主题：RSS/YouTube 订阅频道的自动化监控与每日摘要生成 -- 问题域：个人资讯获取效率——手动逐个打开各频道耗时且容易遗漏更新 -- 方法/机制：Hermes Agent 自定义 Skill，定时抓取 31 个订阅频道，SQLite 去重，每日追加写入 Markdown 日报 -- 结论/价值：将信息获取自动化，用户每天早上只需阅读一篇摘要即可掌握所有频道动态 +- 核心主题：Hermes Agent 自定义技能 blogwatcher-daily，实现 RSS/YouTube 订阅自动化监控与每日摘要生成 +- 问题域：个人资讯获取与信息聚合 +- 方法/机制：RSSHub 转换 YouTube 频道为 RSS + feedparser 解析 + SQLite 去重 + Cron 定时调度 +- 结论/价值：每天自动整理 31 个订阅频道的新文章，减少信息过载，提高阅读效率 ## Key Claims（用中文描述） -- Hermes Agent 通过自定义 Skill `blogwatcher-daily` 实现 31 个订阅频道的自动化监控 -- 每日扫描（Cron Job）自动追加新文章到 `YYYY-MM-DD.md` 日报，避免覆盖历史内容 -- YouTube 频道通过 RSSHub 本地部署代理转换为 RSS Feed，绕过直接访问限制 -- SQLite 数据库按 URL 去重，已读链接不重复写入 -- 强制回扫（`--all`）写入独立文件 `all-YYYY-MM-DD.md`，不污染日常日报 -- 支持 `--scan-only` 调试模式，只打印结果不写文件 +- Hermes Agent 通过 blogwatcher-daily 技能实现 31 个 RSS/YouTube 频道的自动化监控 +- RSSHub 将 YouTube Channel ID 转换为 RSS Feed，解决 YouTube 订阅源获取问题 +- feedparser 库支持 RSS 1.0/2.0/Atom 格式，自动处理 GB2312/GBK/ISO-8859-1 编码和畸形 XML +- SQLite 数据库按 URL 排重，已读链接不重复写入，避免信息冗余 +- Cron 定时任务（每天早上 6:00）自动调用 skill 脚本，结果推送 Telegram 通知 ## Key Quotes -> "📊 扫描完成: 共发现 12 篇新文章" — 日常扫描输出示例 - -> "新增订阅需要补历史、某个频道很久没看想批量回顾" — 强制回扫适用场景 - -> "wikiHow 禁止所有爬虫，无法抓取，永远返回 0 篇" — 已知限制说明 +> "RSS 解析库：feedparser（支持 RSS 1.0/2.0/Atom、GB2312/GBK 编码、畸形 XML）" — 技术选型说明 +> "追加写入：日常扫描正确追加到日报，不覆盖历史内容" — 数据持久化策略 +> "wikiHow 禁止所有爬虫，无法抓取，永远返回 0 篇" — 已知的限制 ## Key Concepts -- [[RSS Monitoring]]：通过 RSS/Atom Feed 订阅网站和 YouTube 频道更新的标准化协议 -- [[Cron Job]]：定时任务调度，每天早上 6:00 自动执行扫描 -- [[RSSHub]]：开源 RSS 生成器，将不支持 RSS 的网站（如 YouTube）转换为 RSS Feed -- [[feedparser]]：Python RSS 解析库，支持 RSS 1.0/2.0/Atom 及 GB2312/GBK 编码 -- [[Deduplication]]：SQLite 按 URL 排重，避免重复写入 -- [[每日日报]]：追加模式日记文件，每天一篇，持续积累 -- [[增量写入]]：日常扫描追加到日报，强制回扫写入独立文件，二者互不干扰 +- [[RSSHub]]：开源 RSS 生成器，将无 RSS 的网站/YouTube 频道转为 RSS Feed，部署在 `http://192.168.3.45:1200` +- [[feedparser]]：Python RSS/Atom 解析库，支持多种编码和畸形 XML，是本技能的核心解析引擎 +- [[SQLite 去重机制]]：通过 SQLite 数据库按 URL 排重，已读链接不重复写入每日日报 +- [[Hermes Agent]]：AI Agent 平台，blogwatcher-daily 是其自定义技能之一，通过 cron 定时调度执行 +- [[Cron 定时任务]]：每天 `0 6 * * *` 执行，Job ID `ecdd35bb7df3`，通过 `deliver=origin` 推送 Telegram 通知 ## Key Entities -- [[Hermes Agent]]：运行 blogwatcher-daily Skill 的 AI Agent 平台，通过 Cron Job 调度 -- [[RSSHub]]：本地部署的 RSSHub 实例（`http://192.168.3.45:1200`），用于转换 YouTube 频道为 RSS -- [[blogwatcher-daily]]：Hermes Agent 自定义 Skill，核心脚本为 `blogwatcher-daily.py` -- [[feedparser]]：Python RSS 解析库，解决 RSS 1.0、GB2312 乱码、畸形 XML 等兼容性问题 +- [[Hermes Agent]]：技能运行平台，提供 cron 调度和 Telegram 通知能力 +- RSSHub（`http://192.168.3.45:1200`）：本地部署的 RSSHub 实例，用于转换 YouTube 频道为 RSS +- blogwatcher-daily 脚本：主脚本位于 `~/.hermes/skills/custom/blogwatcher-daily/scripts/blogwatcher-daily.py` ## Connections -- [[blogwatcher-daily收藏]] ← depends_on ← [[RSSHub]] -- [[blogwatcher-daily收藏]] ← depends_on ← [[feedparser]] -- [[blogwatcher-daily收藏]] ← depends_on ← [[每日日报]] -- [[blogwatcher-daily收藏]] ← extends ← [[multi-source-tech-news-digest]] +- [[Hermes Agent]] ← runs ← [[blogwatcher-daily]] +- [[blogwatcher-daily]] ← uses ← [[RSSHub]] +- [[blogwatcher-daily]] ← uses ← [[feedparser]] +- [[blogwatcher-daily]] ← stores state in ← [[SQLite 去重机制]] +- [[blogwatcher-daily]] ← scheduled by ← [[Cron 定时任务]] ## Contradictions -- 与 [[multi-source-tech-news-digest]]： - - 冲突点：两者都是 RSS 多源新闻聚合方案 - - 当前观点：blogwatcher-daily 侧重 YouTube + RSS 直订的本地化方案，覆盖 31 个固定频道 - - 对方观点：multi-source-tech-news-digest 侧重多平台（RSS + Twitter + GitHub）的大规模聚合，支持动态添加来源 - - 说明：两者定位互补，blogwatcher-daily 是轻量级固定订阅方案，后者是大规模动态监控方案 +- 暂无发现与其他 Wiki 页面的冲突 + +## 技术细节 + +| 维度 | 技术选型 | +|------|----------| +| RSS 解析 | feedparser（支持 RSS 1.0/2.0/Atom） | +| YouTube 支持 | RSSHub（`http://192.168.3.45:1200`） | +| 去重存储 | SQLite（`blogwatcher.db`） | +| 编码处理 | 自动检测 GB2312、GBK、ISO-8859-1 | +| 定时调度 | Cron `0 6 * * *` | +| 通知方式 | Telegram（`deliver=origin`） | + +## 已解决的问题 +- ✅ RSS 1.0 支持：Slashdot 使用 RSS 1.0，feedparser 解决 +- ✅ GB2312 乱码：feedparser 自动处理 +- ✅ 畸形 XML：feedparser 兜底 +- ✅ YouTube RSSHub：绕过 YouTube 直接访问限制 +- ✅ 追加写入：日报模式不覆盖历史 +- ✅ 独立 force-all：强制回扫写入独立文件 + +## 已知限制 +- wikiHow 禁止爬虫，永远返回 0 篇 +- FeedBurner 频道（電腦玩物、阿榮福利味）RSSHub 可能不稳定 +- `--all` 强制回扫不要加入 cron，仅作例外操作 diff --git a/wiki/sources/ctp-topic-1-gruntwork-landing-zone-architecture.md b/wiki/sources/ctp-topic-1-gruntwork-landing-zone-architecture.md index 733491b6..d91801dc 100644 --- a/wiki/sources/ctp-topic-1-gruntwork-landing-zone-architecture.md +++ b/wiki/sources/ctp-topic-1-gruntwork-landing-zone-architecture.md @@ -3,7 +3,7 @@ title: "CTP Topic 1 Gruntwork Landing Zone Architecture" type: source tags: [AWS, Landing-Zone, Gruntwork, CTP, Terraform, CI/CD] sources: [] -last_updated: 2026-04-14 +last_updated: 2026-05-06 --- ## Source File diff --git a/wiki/sources/ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i.md b/wiki/sources/ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i.md index 979bfd3f..89b96664 100644 --- a/wiki/sources/ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i.md +++ b/wiki/sources/ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i.md @@ -1,5 +1,5 @@ --- -title: "CTP Topic 14 Octane Hub on AWS Real Life Experience Moving Production Services" +title: "CTP Topic 14 Octane Hub on AWS: Real-Life Experiences Moving Production Services" type: source tags: - AWS @@ -7,63 +7,63 @@ tags: - Migration - CTP - Landing-Zone -date: 2026-04-14 +sources: [] +last_updated: 2026-04-14 --- ## Source File -- [[raw/Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i.md]] +- [[Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i]] ## Summary（用中文描述） -- 核心主题：Octane Hub CTO Holger Rode 分享将生产服务从 Bibling Lab 数据中心迁移到 AWS Landing Zone 的实战经验 -- 问题域：企业级 Docker 容器化工作负载的云迁移规划与实施 -- 方法/机制：使用 AWS Landing Zone 账户体系，结合 Packer 构建 AMI、Terraform/TerraGrunt 部署、VPC Transit Gateway 网络互联、Route 53 DNS 管理 -- 结论/价值：提供从物理数据中心向 AWS 云端无缝迁移的具体路径，涵盖存储选型（EFS vs EBS）、网络配置、DNS 设置及 IaC 部署演进过程 + +- **核心主题**：Octane Hub CTO Holger Rode 分享将生产服务从本地 Bibling Lab 数据中心迁移到 AWS Landing Zone 的实战经验 +- **问题域**：企业云迁移中的技术选型、网络配置、存储方案及 IaC 实践 +- **方法/机制**：Docker 容器化工作负载迁移；使用 Packer 构建 AMI + Terraform/TerraGrunt 部署；VPC Transit Gateway + 标签系统管理网络访问 +- **结论/价值**：提供从本地物理服务器迁移到 AWS 云的真实路径，展示 EBS vs EFS 存储选型教训、网络协调流程及未来演进方向 ## Key Claims（用中文描述） -- Octane Hub 团队通过 Docker 容器化主要 Web 应用（QuickSee、Release Manager、Patch Manager、安全程序板等），结合约 10TB 文件存储和 MSSQL 数据库，实现从 Bibling Lab 三台物理服务器向 AWS 的完整迁移 -- 云迁移动因源于 Bibling 数据中心即将关闭，云转型计划提供 POC Landing Zone（5月）和生产账户（6月），团队目标是无缝过渡、紧密镜像现有设置以避免 Go Live 期间进行重大技术变更 -- EFS 不适用于需要高性能数据库场景（数据库无法直接在 EFS 上运行），EBS 更适合实时数据库，EFS 适用于备份存储 -- IaC 部署从控制台脚本演进为 Packer 构建 AMI + Terraform/TerraGrunt 部署，实现了可重复、可审计的部署流程 + +- Octane Hub 团队通过 Docker 容器化运行 QuickSee、Release Manager、Patch Manager 等多个 Web 应用，并管理约 10TB 文件存储和大型 MSSQL 数据库 +- 云迁移动因来自 Bibling 数据中心关闭，通过云转型计划获得 Landing Zone 账户访问权限（POC 账户5月，生产账户6月） +- EFS 因性能问题（数据库无法直接在 EFS 上运行）不适用于生产数据库，最终采用 EBS 用于实时数据库、EFS 用于备份 +- 部署方式从控制台脚本演进为 Packer 构建 AMI + Terraform/TerraGrunt 部署，实现基础设施即代码 +- DNS 配置使用 CNAME 指向 AWS software infra.net 域，通过 Route 53 管理 ## Key Quotes -> "Holger Rode（Octane Hub CTO 软件工厂团队负责人）分享了 Octane Hub 云设计考虑因素、学习曲线、网络和安全要求以及常见陷阱。" — 视频演讲主题介绍 -> "从控制台脚本演变为使用 Packer 构建 AMI，使用 Terraform/TerraGrunt 部署。" — IaC 演进路径 +> "Holger Rode（Octane Hub CTO 软件工厂团队负责人）分享了 Octane Hub 云设计考虑因素、学习曲线、网络和安全要求以及常见陷阱。" — 演讲者背景介绍 + +> "VPC Transit Gateway 并实施标签系统管理访问" — 网络架构方案 ## Key Concepts -- [[Docker-Containerization]]：Octane Hub 的主要部署模式，运行 QuickSee、Release Manager、Patch Manager 等 Web 应用 + +- [[Docker容器化]]：Octane Hub 的主要部署模式，用于运行 QuickSee、Release Manager、Patch Manager 等 Web 应用程序 - [[Packer]] + [[Terraform]]/TerraGrunt：基础设施即代码的部署流程，从控制台脚本演进而来 -- [[VPC-Transit-Gateway]]：AWS 网络互联解决方案，实现多 VPC 之间的安全通信 -- [[EFS-vs-EBS]]：文件存储与块存储的性能差异——EFS 适合备份，EBS 适合实时数据库 -- [[AWS-Landing-Zone]]：多账户 AWS 环境架构，提供 POC 和生产账户分离 +- [[VPC Transit Gateway]]：AWS 网络互联解决方案，用于连接多个 VPC +- [[AWS Landing Zone]]：AWS 多账户架构框架，Octane Hub 通过该架构迁移生产服务 +- [[EBS vs EFS]]：块存储与文件存储的性能差异——EFS 不适合直接运行数据库，最终选择 EBS 用于实时数据库 ## Key Entities -- [[Holger-Rode]]：Octane Hub CTO，软件工厂团队负责人，云迁移项目负责人 -- [[Octane-Hub]]：软件工厂团队名称，主导从 Bibling Lab 向 AWS 的生产服务迁移 -- [[Bibing-Lab]]：Octane Hub 原有数据中心，即将关闭，触发云迁移 -- [[QuickSee]]：Octane Hub 托管的 Web 应用之一 -- [[Release-Manager]]：Octane Hub 托管的 Web 应用之一 -- [[Patch-Manager]]：Octane Hub 托管的 Web 应用之一 -- [[MSSQL]]：Octane Hub 原有数据库，计划迁移到 Postgres -- [[AWS]]：目标云平台 -- [[Packer]]：AMI 构建工具 -- [[Terraform]]/TerraGrunt：基础设施即代码部署工具 + +- [[Octane Hub]]：一家使用 Docker 容器运行多个 Web 应用的公司，团队负责人为 CTO Holger Rode +- [[Holger Rode]]：Octane Hub CTO 软件工厂团队负责人，本次分享的主讲人 +- [[Bibling Lab]]：Octane Hub 之前的托管数据中心，拥有三台物理服务器和多台虚拟机，即将关闭 +- [[AWS]]：目标云平台，通过 Landing Zone 架构承载 Octane Hub 的生产工作负载 ## Connections -- [[AWS-Landing-Zone]] ← depends_on ← [[VPC-Transit-Gateway]] -- [[Octane-Hub]] ← migrated_from ← [[Bibing-Lab]] -- [[Docker-Containerization]] ← uses ← [[Packer]] + [[Terraform]] -- [[ctp-topic-7-saas-landing-zone-design]] ← extends ← [[AWS-Landing-Zone]] -- [[ctp-topic-25-labs-landing-zone-overview-itom-teams]] ← related_to ← [[AWS-Landing-Zone]] + +- [[ctp-topic-7-saas-landing-zone-design]] ← related_to ← [[ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i]] +- [[ctp-topic-25-labs-landing-zone-overview-itom-teams]] ← related_to ← [[ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i]] +- [[ctp-topic-13-cloud-finops-micro-focus-policies-best-practices-to-optimize-the-co]] ← related_to ← [[ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i]] +- [[ctp-topic-10-aws-landing-zone-lz-data-collection-tagging-related-security]] ← extends ← [[ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i]] ## Contradictions -- 与 [[ctp-topic-7-saas-landing-zone-design]] 的设计视角： - - 冲突点：SaaS Landing Zone 侧重多租户架构设计，本视频侧重单体团队的实际迁移路径 - - 当前观点：Octane Hub 案例强调紧密镜像现有设置、避免 Go Live 期间重大变更 - - 对方观点：SaaS Landing Zone 设计更关注长期架构演进和租户隔离 -## Next Steps（迁移路线图） -- 改进 DR（灾难恢复）和高可用性 -- 通过最佳匹配存储选项（S3）进行成本优化 -- 从 MSSQL 迁移到 Postgres +- 暂无发现与其他页面的直接冲突。存储选型（EBS vs EFS）教训可与 [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] 相互补充。 + +## Future Roadmap + +- 改进 DR 和高可用性 +- 通过 S3 优化存储成本 +- 数据库从 MSSQL 迁移到 Postgres - 可能迁移到 AWS ECS 服务 diff --git a/wiki/sources/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md b/wiki/sources/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md index 864f379d..e8aac5f4 100644 --- a/wiki/sources/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md +++ b/wiki/sources/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md @@ -1,59 +1,51 @@ --- title: "CTP Topic 17 Active Directory Services in Gruntwork AWS LZs" type: source -tags: [AWS, Landing-Zone, AD, Gruntwork, CTP] -sources: [] -last_updated: 2026-04-14 +tags: + - AWS + - Landing-Zone + - AD + - Gruntwork + - CTP +date: 2026-04-14 --- ## Source File -- [[raw/Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md]] +- [[Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs.md]] ## Summary（用中文描述） -- 核心主题：在 Gruntwork AWS Landing Zones 架构中集成与管理 Active Directory (AD) 服务的核心实践 -- 问题域：企业级 AWS 多环境（研发/生产）的 AD 域名规划、自动化域加入、以及开发者自助服务 -- 方法/机制： - - 双域名策略：`swinford.net`（研发实验室 R&D Labs）vs `intsas.local`（生产/SAS 环境） - - SRE 团队预制 AMI，内置 PowerShell（Windows）/Shell（Linux）域加入脚本 - - Terraform `user_data` 触发自动域加入流程 - - MIM（Microsoft Identity Manager）提供研发环境安全组自助管理 - - SMACKS 工单系统处理生产环境账号申请 -- 结论/价值：旧域名（`infra`、`AST`）已在 Gruntwork LZ 中废弃，提供了清晰的迁移路径和所有权归属建议 +- 核心主题：在 Gruntwork AWS Landing Zones 架构中集成与管理 Active Directory 服务 +- 问题域：多环境（研发/生产/SAS）下的 AD 域名规划与自动化域加入 +- 方法/机制：SRE 预制 AMI + User Data 脚本实现 Windows/Linux 实例自动加入不同 AD 域；研发环境用 MIM 自助服务，生产环境走 SMACKS 工单 +- 结论/价值：统一域名规范（`swinford.net` / `intsas.local`），废弃旧有 `infra` / `AST` 域，提供清晰的迁移路径与所有权归属 ## Key Claims（用中文描述） -- Gruntwork Landing Zones 按环境类型（研发 vs 生产）分别使用不同的 AD 域名，以满足隔离性和合规审计需求 -- Windows 实例通过 Terraform `user_data` 调用 SRE 预制 AMI 中的 PowerShell 脚本，实现自动化域加入、旧对象清理和本地管理员分配 -- Linux 实例通过安全动态更新（Secure Dynamic Updates）机制自动向 Windows DNS 服务器注册 DNS A 记录 -- 旧域名 `infra` 和 `AST` 在新 Gruntwork LZ 中已被废弃，开发者必须迁移至新域名架构 -- R&D 环境支持 MIM 自助服务工具，生产/SAS 环境通过 SMACKS 工单系统申请账号 +- R&D Labs 环境统一使用 `swinford.net` AD 域名，支持开发者的自助服务管理 +- 生产环境与分阶段 SAS 环境统一使用 `intsas.local` AD 域名，强调资源所有权与审计 +- 旧有的 `infra` 和 `AST` 域名在新的 Gruntwork Landing Zone 中已被废弃 +- Windows 实例通过 SRE 提供的预制 AMI + Terraform `user_data` 中的 PowerShell 脚本实现自动域加入（命名/权限/旧对象清理） +- Linux 实例通过 SRE 提供的 Shell 脚本 + 安全动态更新（Secure Dynamic Updates）自动注册 DNS A 记录到 Windows DNS 服务器 +- R&D 环境通过 MIM（Microsoft Identity Manager）提供安全组管理和权限申请的自助服务 +- 生产/SAS 环境的 AD 操作需通过 SMACKS 工单系统提交 ## Key Quotes -> "本次视频是 DevOps 云学习系列课程之一，重点介绍了在 Gruntwork AWS Landing Zones 架构中集成与管理 Active Directory (AD) 服务的核心实践。演讲者 Paul 详细阐述了两种主要环境的域名配置：研发实验室（R&D Labs）统一使用 `swinford.net` 域名，而生产与分阶段 SAS 环境则采用 `intsas.local`。" — 视频摘要 - -> "旧有的 `infra` 和 `AST` 域名在新的 Gruntwork 落地页中已被废弃，并为用户提供了相应的迁移路径和所有权归属建议。" — 视频摘要 +> "R&D Labs 统一使用 `swinford.net` 域名；生产与 SAS 环境统一使用 `intsas.local` 域名；旧的 `infra` 和 `AST` 域名在 Gruntwork Landing Zones 中已被废弃。" — Paul ## Key Concepts -- [[Gruntwork Landing Zones]]：预配置的、基于最佳实践的 AWS 基础架构框架，分为 R&D Labs 和 SAS 两种环境类型 -- [[swinford.net]]：专门用于研发实验室（R&D Labs）环境的 Active Directory 域名，支持 MIM 自助服务管理 -- [[intsas.local]]：用于生产和分阶段 SAS 环境的内部 Active Directory 域名，强调资源所有权归属和审计合规 -- [[SRE-provided AMIs]]：由 SRE 团队预先构建的机器镜像，内置了用于自动加入域的 PowerShell（Windows）和 Shell（Linux）脚本 -- [[User Data]]：在 AWS EC2 实例启动时执行的脚本数据，本视频中用于触发自动化的域加入流程 -- [[MIM (Microsoft Identity Manager)]]：用于 R&D 环境中安全组管理和权限申请的自助服务解决方案 -- [[SMACKS Ticket]]：内部服务管理工单系统，用于申请新账号、重置密码或处理复杂的生产环境变更 -- [[Secure Dynamic Updates]]：一种 DNS 安全机制，允许 Linux 系统在加入域时向 Windows DNS 服务器安全地注册其 A 记录 +- [[Gruntwork Landing Zones]]：预配置的、基于最佳实践的 AWS 基础架构框架，分 R&D Labs 和 SAS 两种环境类型 +- [[Domain Join]]：将计算机实例自动或手动加入 Active Directory 域的过程 +- [[Secure Dynamic Updates]]：一种 DNS 安全机制，允许 Linux 系统在加入域时向 Windows DNS 服务器安全注册 A 记录 +- [[Microsoft Identity Manager (MIM)]]：用于 R&D 环境安全组管理和权限申请的自助服务解决方案 +- [[User Data]]：AWS 实例启动时执行的脚本数据，用于触发自动化的域加入流程 ## Key Entities -- [[Paul]]：CTP Topic 17 讲师，Gruntwork AWS LZs AD 集成方案的讲解者 -- [[Gruntwork]]：提供 Landing Zones 基础设施框架的团队/组织 -- [[SRE Team]]：负责构建和维护预制 AMI 的 Site Reliability Engineering 团队 -- [[MIM]]：Microsoft Identity Manager，R&D 环境的安全组自助管理工具 -- [[SMACKS]]：内部服务管理工单系统，用于生产/SAS 环境的账号申请和变更处理 +- [[Paul]]（演讲者）：DevOps 云学习系列课程讲师，主讲 AD 服务集成 +- [[Gruntwork]]：提供 AWS Landing Zone 参考架构的 IaC 公司 ## Connections -- [[Gruntwork AWS Landing Zones Overview]] ← foundational ← [[CTP Topic 17 Active Directory Services]] -- [[SRE Standard AMIs and Image Building]] ← source ← [[SRE-provided AMIs]] -- [[Terraform Single Server Module Deep Dive]] ← deployment mechanism ← [[User Data]] -- [[ctp-topic-11-ad-integration-and-login-using-ad-accounts]] ← related ← [[AD Integration in AWS LZs]] +- [[CTP Topic 11 AD Integration and Login using AD Accounts]] ← related_to ← [[CTP Topic 17 Active Directory Services in Gruntwork AWS LZs]] +- [[CTP Topic 10 AWS Landing Zone (LZ) Data Collection, Tagging Related Security]] ← related_to ← [[CTP Topic 17 Active Directory Services in Gruntwork AWS LZs]] +- [[CTP Topic 9 CI CD with Gruntwork]] ← related_to ← [[CTP Topic 17 Active Directory Services in Gruntwork AWS LZs]] ## Contradictions -- 暂无检测到与其他 Wiki 页面的冲突 +- 无已知冲突 diff --git a/wiki/sources/ctp-topic-46-netapps-on-aws.md b/wiki/sources/ctp-topic-46-netapps-on-aws.md index 8bec04e6..16d9d86b 100644 --- a/wiki/sources/ctp-topic-46-netapps-on-aws.md +++ b/wiki/sources/ctp-topic-46-netapps-on-aws.md @@ -1,8 +1,9 @@ --- title: "CTP Topic 46 NetApps on AWS" type: source -tags: [NetApp, AWS, Storage, CTP, Cloud-Storage] +tags: [NetApp, AWS, Storage, CTP, Cloud-Storage, CVO, ONTAP] date: 2026-04-14 +last_updated: 2026-04-26 --- ## Source File diff --git a/wiki/sources/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md b/wiki/sources/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md index bed058a7..f497a989 100644 --- a/wiki/sources/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md +++ b/wiki/sources/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md @@ -11,59 +11,52 @@ date: 2026-04-14 --- ## Source File -- [[raw/Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md]] +- [[Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora.md]] ## Summary（用中文描述） -- 核心主题：PostgreSQL 在 Amazon RDS 与 Aurora 两种托管方案之间的核心差异对比 -- 问题域：AWS 云数据库选型——何时选 RDS，何时选 Aurora，成本与性能的权衡 -- 方法/机制：从架构设计、最小实例规格、最大扩展能力、自动扩缩容、故障恢复时间、存储灵活性、端点设计、Blue-Green 部署、监控方案及高可用性能调优等多维度进行系统对比 -- 结论/价值：数据库规模 < 10-20TB 优先选 RDS（成本更低、存储选项更灵活）；超过该规模或有严格 RTO 要求（30 秒）则选 Aurora（跨 AZ 六副本架构、自动故障恢复） +- 核心主题：PostgreSQL 在 Amazon RDS 与 Aurora 两种托管方案之间的技术差异对比，涵盖性能、成本、架构、灾备与高可用性等维度 +- 问题域：AWS 数据库选型、RTO/RPO 保障、跨区域灾备、存储类型选择 +- 方法/机制：RDS 采用计算与 EBS 存储分离架构，Multi-AZ 通过独立备用节点实现故障切换；Aurora 采用 6 块 EBS 卷横跨 3 个可用区的共享存储集群，由 Amazon 管理副本 +- 结论/价值：为组织在小型数据库（选 RDS）与大型高 IO 数据库（选 Aurora，>10-20TB）之间提供清晰的决策依据 ## Key Claims（用中文描述） -- RDS 因架构简单、提供更小规格实例，初始成本低于 Aurora；Aurora 最小规格较高 -- Aurora 单集群最大容量和 IO 性能优于 RDS，适合超过 10-20 TB 的数据库 -- Aurora Serverless v2 支持自动扩缩容，但对实例类型、版本和区域有限制 -- Aurora 的 RTO（恢复时间目标）为 30 秒，RDS 为 2 分钟（AZ 故障场景） -- RDS 提供多种存储类型（GP2、GP3、预置 IOPS、磁性），Aurora 按 IO 计数收费 -- Aurora 采用跨 3 个 AZ 的 6 块 EBS 卷组成的共享集群卷，读副本无需重新复制数据 -- Aurora MySQL 支持 Blue-Green 部署，PostgreSQL 不支持 -- Aurora 使用临时 SSD（短暂存储）用于临时工作，RDS 使用 EBS +- RDS 提供 GP2、GP3、预配置 IOPS、磁性存储等多种存储类型，存储灵活性更高；Aurora 按 IO 计费，IO 消耗无上限 +- Aurora 最小规格和成本高于 RDS，适合中小型数据库场景选 RDS 更经济 +- Aurora 存储最多支持 64TB，单节点 IO 性能优于 RDS，适合 10-20TB 以上数据库 +- Aurora 自动扩展（Serverless v2）存在实例类型、版本和区域的限制 +- Aurora AZ 故障时 RTO 为 30 秒；RDS 为 2 分钟 +- Aurora MySQL 支持蓝绿部署（Major Version Upgrade）；PostgreSQL 版本不支持 +- Aurora Global 支持跨区域灾备，故障切换无需重新复制数据 +- RDS 跨区域复制为异步，切换时需阻断访问并重建集群 +- Aurora 临时存储使用本地 SSD（ephemeral），固定容量由实例类型决定；RDS 临时存储使用 EBS ## Key Quotes -> "Aurora IO is generally unbounded because they're motivated to give you as much IO as you can consume because they're charging you per IO." — Aurora 按 IO 收费机制使其有动力提供尽可能高的 IO - -> "With Aurora, you get six EBS volumes. They're spread across three availability zones." — Aurora 跨 3 AZ 的六副本架构是高性能和高可用的基础 +> "Aurora IO is generally unbounded because they're motivated to give you as much IO as you can consume because they're charging you per IO." — Aurora IO 计费模式说明，IO 消耗越多收益越高 > "With RDS, you get to choose multiple different storage mechanisms." — RDS 存储灵活性优势 +> "Aurora has a 30-second RTO, compared to RDS's two minutes in the event of an AZ failure." — Aurora 高可用性优势 + ## Key Concepts -- [[RTO（Recovery Time Objective）]]：从故障中恢复的时间目标，Aurora 为 30 秒，RDS 为 2 分钟 -- [[Shared Cluster Volume]]：Aurora 的跨 AZ 共享存储卷，6 块 EBS 卷组成，读副本共享同一数据副本无需重新复制 -- [[Blue-Green Deployment]]：Aurora MySQL 支持主备环境切换式部署，用于大版本升级，PostgreSQL 不支持 -- [[Endpoint Architecture]]：Aurora 提供独立的 Writer Endpoint 和 Reader Endpoint，RDS 仅有一个集群端点 -- [[Aurora Global]]：Aurora 跨区域复制方案，支持干净的托管式切换和故障转移 -- [[Temporary Storage]]：Aurora 使用临时 SSD（短暂存储）处理临时工作，固定大小取决于实例类型 +- [[RTO]]：Recovery Time Objective，故障恢复时间目标，Aurora 为 30 秒，RDS 为 2 分钟 +- [[Multi-AZ]]：多可用区部署，通过备用节点实现故障切换 +- [[Aurora Global]]：Aurora 跨区域数据库，支持干净的托管切换（Managed Switchover），无需重新复制数据 +- [[Blue-Green Deployment]]：蓝绿部署，Aurora MySQL 支持 Major Version Upgrade，PostgreSQL 版本不支持 +- [[Serverless V2]]：Aurora 自动扩展方案，存在实例类型、版本和区域的限制 +- [[JDBC Connection String Overloading]]：通过读写端点配置 JDBC 连接字符串提升韧性 ## Key Entities -- [[AWS]]：Amazon Web Services，提供 RDS 和 Aurora 两款托管数据库服务 -- [[Amazon RDS]]：关系型数据库服务，计算与存储分离（EBS），支持 Multi-AZ 部署 -- [[Amazon Aurora]]：云原生关系型数据库，6 副本跨 3 AZ 共享集群卷架构 -- [[Greg Klau]]：CTP Topic 66 讲师，主讲 PostgreSQL RDS vs Aurora 差异对比 -- [[EBS]]：Elastic Block Store，RDS 的存储后端；Aurora 的底层存储（6 块卷跨 3 AZ） -- [[CloudWatch]]：AWS 监控服务，RDS 和 Aurora 均支持 -- [[Performance Insights]]：AWS 数据库性能监控工具，Aurora 和 RDS 均支持 -- [[JDBC]]：Java Database Connectivity，连接串可配置 reader/writer 端点以提升韧性 +- [[Amazon RDS]]：AWS 托管关系型数据库服务，计算与 EBS 存储分离，Multi-AZ 需独立备用节点 +- [[Amazon Aurora]]：AWS 云原生关系型数据库，采用 6 块 EBS 卷跨 3 AZ 共享存储集群，由 Amazon 管理副本，读副本共享同一集群卷无需数据复制 +- [[Greg Klau]]：本次分享的主讲人 ## Connections - [[Amazon Aurora]] ← extends ← [[Amazon RDS]] -- [[RTO（Recovery Time Objective）]] ← depends_on ← [[Shared Cluster Volume]] -- [[Blue-Green Deployment]] ← supports ← [[Aurora Global]] -- [[Aurora Global]] ← enables ← [[Multi-Region Failover]] -- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]] ← related_to ← 本页（AWS 数据库选型） -- [[ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup]] ← related_to ← 本页（灾备策略） +- [[RTO]] ← improves ← [[Aurora Global]] +- [[Amazon Aurora]] ← provides ← [[Blue-Green Deployment]]（仅 Aurora MySQL） ## Contradictions -- 与 [[learning-sessions-cloud-transformation-programme-deploying-rds-via-terraform]] 冲突： - - 冲突点：Terraform 部署 RDS 时对存储类型的选择 - - 当前观点：Aurora 按 IO 收费适合高 IO 场景，RDS 提供多种存储类型（GP2/GP3/预置 IOPS）适合成本敏感型场景 - - 对方观点：Terraform IaC 部署关注点是资源标准化和可重复性，存储选型属于运维决策 +- 与 [[RTO vs RPO: Key Differences for Modern Disaster Recovery]] 潜在关联： + - 冲突点：RTO 指标的具体数值 + - 当前观点：本文视频（Greg Klau 分享）指出 Aurora RTO 为 30 秒、RDS 为 2 分钟 + - 对方观点：[[RTO vs RPO]] 文章可能给出不同数值，建议交叉验证 diff --git a/wiki/sources/ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup.md b/wiki/sources/ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup.md index 8a7ba4db..02b4dffd 100644 --- a/wiki/sources/ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup.md +++ b/wiki/sources/ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup.md @@ -7,6 +7,8 @@ tags: - Backup - Enterprise - CTP + - RTO + - RPO date: 2026-04-14 --- @@ -14,62 +16,50 @@ date: 2026-04-14 - [[raw/Cloud & DevOps/Public-Cloud-Learning-Sessions/01_AWS-Landing-Zone/ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup.md]] ## Summary（用中文描述） -- 核心主题：AWS 解决方案架构师 Sabith 深入讲解企业级灾难恢复策略，以及如何利用 AWS Backup 服务实现 DR 自动化。 -- 问题域：企业级灾难恢复（DR）规划、高可用（HA）与 DR 的区别、RTO/RPO 指标定义与架构设计。 -- 方法/机制： - - HA（高可用）关注系统运行时间和可用性，DR（灾难恢复）关注数据丢失预防和恢复能力 - - RPO（恢复点目标）定义可接受的数据丢失量，RTO（恢复时间目标）定义可接受的停机时间 - - AWS Backup 集中化备份服务，支持跨账户、跨区域复制，Vault Lock 防勒索软件 - - 四级 DR 架构模式：Backup and Restore → Pilot Light → Warm Standby → Active-Active - - 增量备份（Incremental Backup）仅备份自上次备份以来的变更，全量备份（Full Backup）每次捕获所有数据 - - 不可变恢复点（Immutable Recovery Points）+ Vault Lock 合规模式阻止删除 - - Forensic Account（取证账户）定期测试恢复点并扫描恶意软件 -- 结论/价值：为 Micro Focus 云转型计划提供了完整的 DR 策略框架，从基本概念到 AWS Backup 架构设计，是 [[ctp-topic-44-aws-backup-in-micro-focus]] 的理论基础补充。 +- 核心主题：使用 AWS Backup 构建企业级灾备（DR）策略 +- 问题域：如何在 AWS 云环境中实现数据保护、灾难恢复，并区分高可用性与灾备的关系 +- 方法/机制：Sabith（AWS）系统讲解 RTO/RPO 定义与架构模式（从多活到备份恢复），介绍 AWS Backup 的备份计划（Backup Plans）、备份保管库（Backup Vaults）、跨账户复制（Cross-Account Copy）、Vault Lock 不可变性等核心功能 +- 结论/价值：AWS Backup 作为全托管策略驱动型备份服务，结合 Organizations 跨账户管理和 Audit Manager 合规报告，可构建完整的企业级灾备体系 ## Key Claims（用中文描述） -- 高可用（HA）衡量系统执行其功能的持续性，通过平均故障间隔时间（MTBF）衡量；灾难恢复（DR）专注于防止数据丢失和系统恢复，HA 专注于系统运行时间和可用性。 -- RPO 定义组织可接受的最大数据丢失量（时间窗口），RTO 定义组织可接受的最大停机时间，两者共同决定 DR 架构选型和成本投入。 -- AWS Backup 是完全托管的、基于策略的备份服务，通过 Backup Plans（备份计划）定义何时备份什么、通过什么方式备份，并将恢复点存储在 Backup Vaults（备份保管库）中。 -- AWS Backup 支持与 AWS Organizations 集成，实现跨账户备份复制（Cross-Account Backup），建议使用独立的 Vault/Bunker Account 存储备份副本，与工作负载账户隔离。 -- 完整备份（Full Backup）每次捕获所有数据，增量备份（Incremental Backup）仅捕获自上次备份以来的变更，节省存储成本。 -- Vault Lock 合规模式（Compliance Mode）防止包括根用户在内的任何人删除恢复点，直至其生命周期结束，有效防御勒索软件攻击。 -- Forensic Account（取证账户）用于定期测试恢复点、扫描恶意软件，确保备份数据的可用性和安全性。 -- AWS Backup Audit Manager（BAM）提供合规报告能力，支持审计备份活动的合规性。 +- 高可用性（HA）关注系统运行时间和可用性，用 MTBF 衡量；灾难恢复（DR）关注数据丢失防护和恢复能力 +- RPO（Recovery Point Objective）定义可接受的数据丢失量，RTO（Recovery Time Objective）定义可接受的停机时间 +- AWS Backup 是全托管、策略驱动的备份服务，通过备份计划定义何时备份什么、存储到哪个保管库 +- AWS Backup 支持通过 Organizations 进行跨账户备份复制（Cross-Account Backup Copy），实现备份隔离 +- Vault Lock 合规模式可防止任何人（包括 AWS 根用户）在生命周期结束前删除恢复点，有效防御勒索软件 +- 增量备份（Incremental Backup）仅捕获自上次备份以来的变更，节省存储成本 +- 建议使用独立的 Bunker/Vault 账户存储备份副本，使用 Forensic 账户定期测试恢复点 ## Key Quotes -> "We should always be prepared for a situation that everything falls all the time." — Sabith, AWS 解决方案架构师 -> "High availability ensures a system performs its functions, measured by mean time between failures. Disaster recovery focuses on data loss prevention and recovery, while high availability focuses on system uptime and service availability." — 视频摘要 -> "AWS Backup uses backup plans to define what, when, and how to back up, storing recovery points in backup vaults." — 视频摘要 -> "Vault Lock in compliance mode prevents even root users from deleting recovery points until their lifecycle ends, deterring ransomware." — 视频摘要 +> "We should always be prepared for a situation that everything falls all the time." — 灾备意识的核心理念：时刻为最坏情况做准备 +> "The shared responsibility model defines AWS's and the customer's roles in ensuring a resilient cloud environment." — AWS 与客户在云弹性环境中的责任划分 +> "High availability ensures a system performs its functions, measured by mean time between failures. Disaster recovery focuses on data loss prevention and recovery." — HA 与 DR 的核心区别 ## Key Concepts -- [[AWS Backup]]：AWS 托管的集中化数据保护服务，通过备份计划（Backup Plans）自动化跨账户、跨区域的数据备份，支持不可变性和合规报告。 -- [[灾难恢复（Disaster Recovery）]]：防止数据丢失和系统停机的策略体系，与高可用（HA）互补，HA 保运行，DR 保数据。 -- [[高可用（High Availability）]]：通过冗余和快速故障转移保持系统持续可用的架构模式，MTBF 是其核心衡量指标。 -- [[RTO（Recovery Time Objective）]]：恢复时间目标，定义从故障恢复到服务可用的最大可接受时间窗口。 -- [[RPO（Recovery Point Objective）]]：恢复点目标，定义可接受的最大数据丢失时间窗口。 -- [[增量备份（Incremental Backup）]]：仅备份自上次备份以来的变更，与全量备份相比节省存储成本和备份时间。 -- [[全量备份（Full Backup）]]：每次备份捕获所有数据，恢复速度快但存储成本高。 -- [[Vault Lock]]：AWS Backup 保管库的合规锁定机制，合规模式下即使根用户也无法提前删除恢复点。 -- [[跨账户备份复制（Cross-Account Backup）]]：通过 AWS Organizations 在不同账户间复制备份，增强隔离性和安全性。 -- [[Bunker Account]]：专用存储备份副本的账户，与工作负载账户隔离，防止单点妥协。 -- [[Forensic Account]]：取证账户，用于定期测试恢复点可用性和恶意软件扫描。 -- [[共享责任模型（Shared Responsibility Model）]]：AWS 与客户在云弹性环境中的责任划分框架。 -- [[AWS Backup Audit Manager（BAM）]]：AWS Backup 的合规审计功能，支持备份活动的合规性报告。 -- [[灾难恢复架构模式]]：Backup and Restore / Pilot Light / Warm Standby / Active-Active 四级递进模式，从低成本低恢复到高成本高弹性。 +- [[AWS Backup]]：AWS 原生全托管策略驱动型备份服务，支持 80+ 资源类型，可跨账户跨区域复制恢复点 +- [[RTO]]（Recovery Time Objective）：可接受的系统停机时间，是 DR 策略的核心指标 +- [[RPO]]（Recovery Point Objective）：可接受的数据丢失量，决定备份频率 +- [[High Availability]]（高可用性）：关注系统运行时间和可用性，用 MTBF（平均故障间隔时间）衡量 +- [[Vault Lock]]：备份保管库合规锁定模式，防止恢复点被提前删除，防御勒索软件 +- [[增量备份]]：仅备份自上次备份以来的变更，相比全量备份节省存储成本 +- [[跨账户备份]]：通过 AWS Organizations 将备份复制到独立账户，实现备份隔离 ## Key Entities -- [[AWS]]：Amazon Web Services，AWS Backup 服务的提供方。 -- [[Sabith]]：AWS 解决方案架构师，本视频的主讲人。 -- [[Cloud Transformation Programme (CTP)]]：云转型计划，该视频属于 01_AWS-Landing-Zone 系列第 72 个主题。 -- [[Micro Focus]]：企业客户，CTP 的参与方。 +- [[AWS]]：云服务提供商，AWS Backup 和所有相关灾备功能的服务提供者 +- [[Cloud Transformation Programme]]（CTP）：企业级云转型计划，本视频为其 Topic 72，专注 DR 策略理论 +- Sabith（AWS）：本视频讲师，AWS 技术专家，主讲企业 DR 策略 +- SRE Teams：Site Reliability Engineering 团队，负责灾备策略设计和实施 ## Connections -- [[ctp-topic-44-aws-backup-in-micro-focus]] ← extends ← [[ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup]] -- [[ctp-topic-73-aws-backup-implementation-of-the-cloud-transformation-program]] ← extends ← [[ctp-topic-44-aws-backup-in-micro-focus]] -- [[AWS Backup]] ← related ← [[RTO]] -- [[AWS Backup]] ← related ← [[RPO]] -- [[ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup]] ← depends_on ← [[AWS Backup]] +- [[ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup]] ← extends ← [[ctp-topic-73-aws-backup-implementation-of-the-cloud-transformation-program]]（Topic 72 提供 DR 理论基础，Topic 73 聚焦 CTP 实施落地） +- [[ctp-topic-44-aws-backup-in-micro-focus]] ← relates_to ← [[ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup]]（均讨论 AWS Backup，Topic 44 聚焦 Micro Focus 内部评估，Topic 72 提供 AWS 官方视角） +- [[High Availability]] ← relates_to ← [[ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup]]（HA 与 DR 为灾备体系的两大支柱，DR 关注数据恢复，HA 关注系统可用性） +- [[RTO]] ← key_metric ← [[ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup]]（RTO 是本视频的核心 DR 指标之一） +- [[RPO]] ← key_metric ← [[ctp-topic-72-implementing-an-enterprise-dr-strategy-using-aws-backup]]（RPO 是本视频的核心 DR 指标之一） ## Contradictions -- 无明显内容冲突。本视频与 [[ctp-topic-44-aws-backup-in-micro-focus]] 构成互补关系——Topic 72 提供 DR 策略和 AWS Backup 的理论框架，Topic 44 聚焦 Micro Focus 内部评估和迁移路径，两者共同构成完整的 AWS Backup 知识体系。 +- 与 [[ctp-topic-44-aws-backup-in-micro-focus]] 存在视角差异： + - 冲突点：Micro Focus 内部评估指出 AWS Backup 存在局限性（无法选择性排除 EC2 附加卷、崩溃一致而非热备份） + - 当前观点：Topic 72 强调 AWS Backup 的优势和全托管特性 + - 对方观点：Topic 44 建议同时评估快照管理工具作为补充 + - 综合结论：两者互补，AWS Backup 适用于标准化策略驱动的备份，快照工具适用于细粒度定制场景 diff --git a/wiki/sources/fireworks-tech-graph.md b/wiki/sources/fireworks-tech-graph.md index f7af6805..9abb2e70 100644 --- a/wiki/sources/fireworks-tech-graph.md +++ b/wiki/sources/fireworks-tech-graph.md @@ -1,49 +1,159 @@ ---- -title: "fireworks-tech-graph" -type: source -tags: [] -date: 2026-04-18 ---- - -## Source File -- [[raw/Skills/fireworks-tech-graph.md]] - -## Summary（用中文描述） -- 核心主题：用自然语言描述系统，几秒内生成可直接发布的 SVG + PNG 技术图 -- 问题域：技术文档/博客/演示缺乏高质量可视化图表，手动绘图耗时且风格不统一 -- 方法/机制：内置 7 种视觉风格（扁平图标/暗黑极客/工程蓝图/Notion极简/玻璃态/Claude官方/OpenAI官方）、14 种 UML 图类型、AI/Agent 领域内建 Pattern，通过 `rsvg-convert` 导出 1920px PNG -- 结论/价值：AI Agent 可快速生成专业级技术图，无需手动绘制，支持 SVG 可编辑 + PNG 无损发布 - -## Key Claims（用中文描述） -- fireworks-tech-graph 将自然语言描述转化为精美的 SVG 技术图，通过 rsvg-convert 导出高分辨率 PNG -- 内置 7 种视觉风格，深度覆盖 AI/Agent 领域常见图类型（RAG、Agentic Search、Mem0、Multi-Agent、Tool Call 流程等） -- 完整支持全部 14 种 UML 图类型 -- AI/Agent 领域内建知识：RAG、Agentic Search、Mem0、Multi-Agent、Tool Call 等常见 Pattern 开箱即用 -- 语义形状词汇表：LLM = 双边框圆角矩形，Agent = 六边形，Vector Store = 带内环圆柱 -- 语义箭头系统：颜色 + 虚线样式编码含义（写入/读取/异步/循环） -- SVG + PNG 双输出：SVG 可编辑，1920px PNG 可直接嵌入文章 - -## Key Quotes -> "不用手画图了。用中文描述你的系统，几秒钟得到可直接发布的 SVG + PNG 技术图。" — 项目 tagline -> "所有示例图均以 1920px 宽度（2× 视网膜分辨率）通过 rsvg-convert 导出为 PNG 格式。技术图应选 PNG（无损），JPG 有损压缩会在文字和线条边缘产生噪点。" — 导出格式建议 - -## Key Concepts -- [[技术图生成]]：用自然语言生成 SVG/PNG 格式的技术架构图、流程图、UML 图 -- [[7种视觉风格系统]]：扁平图标风（默认）、暗黑极客风、工程蓝图风、Notion极简风、玻璃态卡片风、Claude官方风格、OpenAI官方风格 -- [[语义形状词汇表]]：每种概念类型（LLM/Agent/VectorStore/工具等）对应特定 SVG 形状 -- [[语义箭头系统]]：颜色 + 虚线样式编码数据流向（主数据流/控制触发/记忆读取/记忆写入/异步/反馈循环） -- [[14种UML图]]：类图/组件图/部署图/包图/复合结构图/对象图/用例图/活动图/状态机图/序列图/通信图/时序图/交互概览图/ER图 - -## Key Entities -- [[fireworks-tech-graph]]：Claude Code Skill，将自然语言转化为 SVG 技术图，支持 7 种风格和 14 种 UML 图类型 -- [[rsvg-convert]]：librsvg 工具，用于将 SVG 渲染为高分辨率 PNG - -## Connections -- [[fireworks-tech-graph]] ← uses ← [[语义形状词汇表]] -- [[fireworks-tech-graph]] ← uses ← [[语义箭头系统]] -- [[fireworks-tech-graph]] ← implements ← [[7种视觉风格系统]] -- [[fireworks-tech-graph]] ← supports ← [[14种UML图]] -- [[fireworks-tech-graph]] ← outputs ← [[rsvg-convert]] - -## Contradictions -- 无冲突内容 +--- +title: "fireworks-tech-graph" +type: source +tags: [] +date: 2026-04-18 +last_updated: 2026-04-28 +--- + +## Source File +- [[raw/Skills/fireworks-tech-graph.md]] + +## Summary（用中文描述） +- 核心主题：用自然语言描述系统，几秒内生成可直接发布的 SVG + PNG 技术图 +- 问题域：技术文档/博客/演示缺乏高质量可视化图表，手动绘图耗时且风格不统一 +- 方法/机制：内置 7 种视觉风格（扁平图标/暗黑极客/工程蓝图/Notion极简/玻璃态/Claude官方/OpenAI官方）、14 种 UML 图类型、AI/Agent 领域内建 Pattern，通过 `rsvg-convert` 导出 1920px PNG +- 结论/价值：AI Agent 可快速生成专业级技术图，无需手动绘制，支持 SVG 可编辑 + PNG 无损发布 + +## Key Claims（用中文描述） +- fireworks-tech-graph 将自然语言描述转化为精美的 SVG 技术图，通过 rsvg-convert 导出高分辨率 PNG +- 内置 7 种视觉风格，深度覆盖 AI/Agent 领域常见图类型（RAG、Agentic Search、Mem0、Multi-Agent、Tool Call 流程等） +- 完整支持全部 14 种 UML 图类型 +- AI/Agent 领域内建知识：RAG、Agentic Search、Mem0、Multi-Agent、Tool Call 等常见 Pattern 开箱即用 +- 语义形状词汇表：LLM = 双边框圆角矩形，Agent = 六边形，Vector Store = 带内环圆柱 +- 语义箭头系统：颜色 + 虚线样式编码含义（写入/读取/异步/循环） +- SVG + PNG 双输出：SVG 可编辑，1920px PNG 可直接嵌入文章 + +## Key Quotes +> "不用手画图了。用中文描述你的系统，几秒钟得到可直接发布的 SVG + PNG 技术图。" — 项目 tagline +> "所有示例图均以 1920px 宽度（2× 视网膜分辨率）通过 rsvg-convert 导出为 PNG 格式。技术图应选 PNG（无损），JPG 有损压缩会在文字和线条边缘产生噪点。" — 导出格式建议 + +## 7 种视觉风格 + +| # | 名称 | 背景色 | 字体 | 适用场景 | +|---|------|--------|------|----------| +| 1 | **扁平图标风**（默认） | `#ffffff` | Helvetica | 博客、幻灯片、技术文档 | +| 2 | **暗黑极客风** | `#0f0f1a` | SF Mono / Fira Code | GitHub README、开发者文章 | +| 3 | **工程蓝图风** | `#0a1628` | Courier New | 架构设计文档、工程规范 | +| 4 | **Notion 极简风** | `#ffffff` | system-ui | Notion、Confluence、内部 Wiki | +| 5 | **玻璃态卡片风** | `#0d1117` 渐变 | Inter | 产品官网、演讲 Keynote | +| 6 | **Claude 官方风格** | `#f8f6f3` | system-ui | Anthropic 风格图表，温暖专业美学 | +| 7 | **OpenAI 官方风格** | `#ffffff` | system-ui | OpenAI 风格图表，简洁现代设计 | + +### 风格选择指南 +- **UML 图类型**：类图/组件图/包图 → 风格 1 或 4；序列图/时序图 → 风格 2；状态机图/活动图 → 风格 3 +- **AI/Agent 图类型**：RAG/Agentic Search → 风格 2 或 5；记忆架构 → 风格 3；Multi-Agent → 风格 5 +- **品牌特定**：Anthropic/Claude 项目 → 风格 6；OpenAI 项目 → 风格 7 + +## 语义形状词汇表 + +形状在所有风格中保持一致的语义： + +| 概念 | 形状 | +|------|------| +| 用户 / 人类 | 圆形 + 身体路径 | +| LLM / 模型 | 圆角矩形，双边框，⚡ | +| Agent / 编排器 | 六边形 | +| 短期记忆 | 虚线边框圆角矩形 | +| 长期记忆 | 实线圆柱体 | +| Vector Store | 带内环圆柱 | +| Graph DB | 三圆簇 | +| 工具 / 函数 | 带 ⚙ 的矩形 | +| API / 网关 | 六边形（单边框） | +| 消息队列 / 流 | 横向管道 | +| 文档 / 文件 | 折角矩形 | +| 浏览器 / UI | 带三点标题栏的矩形 | +| 决策节点 | 菱形 | +| 外部服务 | 虚线边框矩形 | + +## 语义箭头系统 + +| 流类型 | 线宽 | 虚线 | 含义 | +|--------|------|------|------| +| 主数据流 | 2px 实线 | — | 主要请求/响应路径 | +| 控制 / 触发 | 1.5px 实线 | — | 系统 A 触发 B | +| 记忆读取 | 1.5px 实线 | — | 从存储检索 | +| 记忆写入 | 1.5px | `5,3` | 写入/存储操作 | +| 异步 / 事件 | 1.5px | `4,2` | 非阻塞 | +| 反馈 / 循环 | 1.5px 曲线 | — | 迭代推理 | + +## AI/Agent 领域内建 Pattern + +``` +RAG Pipeline → Query → Embed → VectorSearch → Retrieve → LLM → Response +Agentic RAG → 在 RAG 基础上加入 Agent 循环 + 工具调用 +Agentic Search → Query → Planner → [Search/Calc/Code] → Synthesizer +Mem0 记忆层 → Input → Memory Manager → [VectorDB + GraphDB] → Context +Agent 记忆类型 → 感知记忆 → 工作记忆 → 情景记忆 → 语义记忆 → 程序记忆 +Multi-Agent → Orchestrator → [SubAgent×N] → Aggregator → Output +Tool Call 流程 → LLM → Tool Selector → Execution → Parser → LLM (循环) +``` + +## 支持的图类型 + +| 类型 | 描述 | 关键布局规则 | +|------|------|-------------| +| **架构图** | 服务、组件、云基础设施 | 水平分层，自上而下 | +| **数据流图** | 数据在系统中的流向 | 每条箭头标注数据类型 | +| **流程图** | 决策树、流程步骤 | 菱形 = 决策，自上而下 | +| **Agent 架构图** | LLM + 工具 + 记忆 | 五层模型：输入/Agent/记忆/工具/输出 | +| **记忆架构图** | Mem0、MemGPT 风格 | 读/写路径分离，记忆层级分明 | +| **序列图** | API 调用链、时序交互 | 垂直生命线，水平消息箭头 | +| **对比图** | 功能矩阵、方案比较 | 列 = 系统，行 = 属性 | +| **思维导图** | 概念地图、发散思维 | 中心节点，贝塞尔曲线分支 | + +### UML 图类型（14 种） + +| UML 类型 | 描述 | 推荐风格 | +|----------|------|----------| +| **类图** | 类、属性、方法、关系 | 风格 1, 4 | +| **组件图** | 软件组件和依赖关系 | 风格 1, 3 | +| **部署图** | 硬件节点和软件部署 | 风格 3 | +| **包图** | 包组织和依赖关系 | 风格 1, 4 | +| **复合结构图** | 类/组件的内部结构 | 风格 1, 3 | +| **对象图** | 对象实例和关系 | 风格 1, 4 | +| **用例图** | 参与者、用例、系统边界 | 风格 1 | +| **活动图** | 工作流、并行流程 | 风格 3 | +| **状态机图** | 状态转换和事件 | 风格 2, 3 | +| **序列图** | 时间顺序的消息交换 | 风格 2 | +| **通信图** | 对象交互和消息 | 风格 1, 2 | +| **时序图** | 状态随时间的变化 | 风格 2 | +| **交互概览图** | 高层交互流程 | 风格 1, 2 | +| **ER 图** | 实体关系数据模型 | 风格 1, 3 | + +## 产品图标覆盖范围 + +**AI/ML 模型：** OpenAI、Anthropic/Claude、Google Gemini、Meta LLaMA、Mistral、Cohere、Groq、Hugging Face + +**AI 框架：** Mem0、LangChain、LlamaIndex、LangGraph、CrewAI、AutoGen、DSPy、Haystack + +**向量数据库：** Pinecone、Weaviate、Qdrant、Chroma、Milvus、pgvector、Faiss + +**关系型/NoSQL 数据库：** PostgreSQL、MySQL、MongoDB、Redis、Elasticsearch、Neo4j、Cassandra + +**消息队列：** Kafka、RabbitMQ、NATS、Pulsar + +**云服务 & 基础设施：** AWS、GCP、Azure、Cloudflare、Vercel、Docker、Kubernetes + +**可观测性：** Grafana、Prometheus、Datadog、LangSmith、Langfuse、Arize + +## Key Concepts +- [[技术图生成]]：用自然语言生成 SVG/PNG 格式的技术架构图、流程图、UML 图 +- [[7种视觉风格系统]]：扁平图标风（默认）、暗黑极客风、工程蓝图风、Notion极简风、玻璃态卡片风、Claude官方风格、OpenAI官方风格 +- [[语义形状词汇表]]：每种概念类型（LLM/Agent/VectorStore/工具等）对应特定 SVG 形状 +- [[语义箭头系统]]：颜色 + 虚线样式编码数据流向（主数据流/控制触发/记忆读取/记忆写入/异步/反馈循环） +- [[14种UML图]]：类图/组件图/部署图/包图/复合结构图/对象图/用例图/活动图/状态机图/序列图/通信图/时序图/交互概览图/ER图 + +## Key Entities +- [[fireworks-tech-graph]]：Claude Code Skill，将自然语言转化为 SVG 技术图，支持 7 种风格和 14 种 UML 图类型 +- [[rsvg-convert]]：librsvg 工具，用于将 SVG 渲染为高分辨率 PNG + +## Connections +- [[fireworks-tech-graph]] ← uses ← [[语义形状词汇表]] +- [[fireworks-tech-graph]] ← uses ← [[语义箭头系统]] +- [[fireworks-tech-graph]] ← implements ← [[7种视觉风格系统]] +- [[fireworks-tech-graph]] ← supports ← [[14种UML图]] +- [[fireworks-tech-graph]] ← outputs ← [[rsvg-convert]] + +## Contradictions +- 无冲突内容 diff --git a/wiki/sources/install-wsl.md b/wiki/sources/install-wsl.md index 269fa816..9cb59599 100644 --- a/wiki/sources/install-wsl.md +++ b/wiki/sources/install-wsl.md @@ -1,49 +1,49 @@ --- title: "Install WSL" type: source -tags: [] +tags: + - "clippings" + - "wsl" + - "ubuntu" + - "windows" date: 2026-04-18 --- ## Source File -- [[raw/Home Office/Install WSL.md]] +- [[Home Office/Install WSL]] ## Summary（用中文描述） -- 核心主题：Windows Subsystem for Linux（WSL）的官方安装与配置完整指南 -- 问题域：Windows 10/11 系统上快速安装 Linux 开发环境，包括单命令安装、多发行版支持、版本管理、离线安装等场景 -- 方法/机制：① `wsl --install` 一键安装；② `-d` 参数切换默认发行版；③ `wsl.exe --set-default-version` 切换 WSL 1/2；④ MSI 包 + DISM 命令离线安装；⑤ Windows Terminal / 开始菜单 / PowerShell 多入口运行 -- 结论/价值：微软官方权威安装文档，提供从零到生产可用的完整路径，WSL2 为默认版本，支持并行运行多个不同 Linux 发行版 +- 核心主题：Windows Subsystem for Linux (WSL) 的安装与配置 +- 问题域：开发者如何在 Windows 系统上快速安装和使用 Linux 环境 +- 方法/机制：通过 `wsl --install` 一条命令自动启用 WSL 功能并安装 Ubuntu；支持更换默认发行版、版本切换（WSL 1/WSL 2）、多发行版管理 +- 结论/价值：开发者可在 Windows 上无缝使用 Linux 工具链，无需虚拟机或双系统，适合跨平台开发 ## Key Claims（用中文描述） -- `wsl --install` 一条命令完成 WSL 全部组件启用和 Ubuntu 默认发行版安装，适用于 Windows 10 version 2004+（Build 19041+）和 Windows 11 -- WSL2 默认使用 NAT 网络模式，通过 `.wslconfig` 配置 `networkingMode=mirrored` 可实现与 Windows 共享网络堆栈（参考 [[WSL2 启动与网络配置指南]]） -- 支持并行安装多个 Linux 发行版（Ubuntu/Debian/SUSE/Kali/Fedora 等），可从 Microsoft Store 下载或导入自定义 TAR 分发版 -- 新安装的 Linux 发行版默认使用 WSL 2，可通过 `wsl.exe --set-version 1` 降级到 WSL 1 -- 离线安装需从 GitHub releases 下载 MSI 安装包，并通过 DISM 命令启用 Virtual Machine Platform 组件 +- 微软通过 `wsl --install` 命令实现一键安装：自动启用 WSL 所需功能 + 安装默认 Ubuntu 发行版 +- Windows 10 version 2004+ (Build 19041+) 或 Windows 11 才能使用该命令，旧版本需手动安装 +- 新安装的 Linux 发行版默认使用 WSL 2，可通过命令在 WSL 1 和 WSL 2 之间切换 +- 支持同时运行多个不同 Linux 发行版，可从 Windows Terminal、开始菜单、PowerShell 等多种方式启动 ## Key Quotes -> "You can now install everything you need to run WSL with a single command." — 微软官方文档 -> "New Linux installations, installed using the `wsl --install` command, will be set to WSL 2 by default." — 微软官方文档 +> "Developers can access the power of both Windows and Linux at the same time on a Windows machine." — 官方文档开篇 +> "WSL lets developers install a Linux distribution... and use Linux applications, utilities, and Bash command-line tools directly on Windows, unmodified, without the overhead of a traditional virtual machine or dualboot setup." — WSL 核心价值描述 +> "New Linux installations, installed using the `wsl --install` command, will be set to WSL 2 by default." — WSL 2 默认设置说明 ## Key Concepts -- [[WSL2]]：Windows Subsystem for Linux 2，Windows 10/11 内置 Linux 虚拟机环境，默认版本，支持完整 Linux 内核 -- [[WSL1]]：WSL 第一代，基于翻译层，性能较差但兼容性好，新发行版默认不使用 -- [[WSL 安装命令]]：`wsl --install` 单命令安装，启用所需功能并安装默认 Ubuntu 发行版 -- [[多发行版支持]]：WSL 支持并行安装运行多个不同 Linux 发行版，可通过 `--distribution` 参数指定运行哪个 -- [[离线安装]]：通过 MSI 包 + DISM 命令手动启用 Virtual Machine Platform 组件，适用于无法联网的环境 +- [[WSL]]：Windows Subsystem for Linux，允许在 Windows 上原生运行 Linux 二进制可执行文件 +- [[WSL2]]：WSL 的第二代架构，使用轻量级虚拟机和支持完整的 Linux 内核，提升文件系统性能和系统调用兼容性 +- [[PowerShell]]：Windows 命令行 shell，用于执行 WSL 安装和管理命令 +- [[Windows Terminal]]：微软推荐的终端应用，支持多标签页，可在同一窗口中运行 PowerShell、WSL、命令提示符等 ## Key Entities -- [[Microsoft]]：WSL 官方文档发布方 +- [[Microsoft]]：WSL 的开发者和发布者 - [[Ubuntu]]：WSL 默认安装的 Linux 发行版 -- [[PowerShell]]：Windows 命令行环境，执行 `wsl --install` 的工具（需管理员模式） -- [[Windows Terminal]]：微软官方终端应用，推荐用于运行 WSL，支持多标签页 +- [[Debian]]：WSL 支持的 Linux 发行版之一 +- [[Kali Linux]]：WSL 支持的安全/渗透测试专用 Linux 发行版 +- [[WSL]]：OpenSUSE 等其他 WSL 支持的发行版 ## Connections -- [[WSL2 启动与网络配置指南]] ← related_to ← [[Install WSL]]（安装完成后需参考网络配置指南解决代理问题） -- [[Ubuntu Server]] ← related_to ← [[WSL2]]（WSL2 中的 Ubuntu 与 Ubuntu Server 同属 Ubuntu 系 Linux 环境） +- [[Install WSL]] ← extends ← [[WSL2 启动与网络配置指南]] ## Contradictions -- 与 [[WSL2 启动与网络配置指南]] 的侧重点差异： - - 冲突点：本文档聚焦安装过程，未涉及网络配置；[[WSL2 启动与网络配置指南]] 聚焦安装后的网络配置 - - 当前观点：先安装（本文档）→ 后配置网络（[[WSL2 启动与网络配置指南]]），两篇互补 - - 对方观点：WSL2 默认 NAT 网络模式下 localhost 代理不可用，需配置镜像模式才能与 Windows 共享代理 +- （暂无发现冲突内容） diff --git a/wiki/sources/mac必装软件清单-2026-04-17.md b/wiki/sources/mac必装软件清单-2026-04-17.md index debd1f70..9dd633b6 100644 --- a/wiki/sources/mac必装软件清单-2026-04-17.md +++ b/wiki/sources/mac必装软件清单-2026-04-17.md @@ -1,47 +1,55 @@ --- title: "Mac必装软件清单" type: source -tags: [] +tags: [Mac, 效率工具, 软件推荐, 知识管理, AI] date: 2026-04-17 +sources: [] +last_updated: 2026-04-28 --- ## Source File -- [[raw/Home Office/Mac必装软件清单-2026-04-17.md]] +- [[Home Office/Mac必装软件清单-2026-04-17.md]] ## Summary（用中文描述） -- 核心主题：Mac 用户必装软件推荐清单 -- 问题域：macOS 效率工具与生产力软件选型 -- 方法/机制：精选 8 款软件，涵盖 AI、知识管理、浏览器、效率工具、开发工具等类别，每款附推荐理由 -- 结论/价值：用最少的软件达到最高的效率，适合从 Windows 转 Mac 的用户和追求效率的 macOS 用户 +- 核心主题：Mac 用户必备软件推荐清单 +- 问题域：macOS 效率工具选型，覆盖 AI、浏览器、截图、系统清理、启动器、包管理器 +- 方法/机制：作者（Claw小龙虾 @openclaw1024）基于个人使用经验精选 8 款软件，强调"用最少的软件，达到最高的效率" +- 结论/价值：提供一份精炼的 Mac 软件入门清单，适合从 Windows 转 Mac 或新入手 Mac 的用户 ## Key Claims（用中文描述） -- Claude 是 AI 时代必备工具，桌面版 Cowork 功能专为文字工作者打造 +- Claude 是 AI 时代人手必备的工具，其桌面版 Cowork 功能专为文字工作者打造 - Obsidian 搭配 Claudian 插件可打造 AI 驱动的终极个人知识库 -- Raycast 是替代 Spotlight 的万能启动器，计算器和剪贴板功能超好用 -- Homebrew 是用 Claude Code 搭 Agent 的前置依赖 +- Chrome 比 Safari 更好用，是 Gmail 用户的不二之选 +- Rectangle 是免费的分屏神器，大屏办公必备，从 Windows 转 Mac 必装 +- iShot 是简洁免费的截图工具，支持圆角截图，五年老用户推荐 +- Lemon 是轻量系统清理工具，多任务卡顿时清理缓存很管用 +- Raycast 替代 Spotlight 的万能启动器，计算器和剪贴板历史超好用 +- Homebrew 是 Mac 包管理器，用 Claude Code 搭 Agent 的前置依赖 ## Key Quotes -> "用最少的软件，达到最高的效率。" — Claw小龙虾 +> "用最少的软件，达到最高的效率。" — Claw小龙虾， Telegram频道「Hermes爱马仕&🦞OpenClaw小龙虾」 ## Key Concepts -- [[Raycast]]：替代 Spotlight 的 macOS 万能启动器，支持计算器、剪贴板历史等功能 -- [[Obsidian]]：本地优先的笔记与知识管理工具，支持双向链接 -- [[Homebrew]]：macOS 包管理器，是开发工具安装的事实标准 +- [[个人知识库]]：Obsidian 作为笔记工具，搭配 Claudian 插件可实现 AI 驱动的知识管理 +- [[效率工具]]：Rectangle 分屏、Raycast 启动器、Lemon 清理等提升日常工作效率的实用软件 +- [[包管理器]]：Homebrew 作为 macOS 的命令行包管理工具，是开发环境的基石 ## Key Entities -- [[Claude]]：Anthropic 开发的 AI 助手，桌面版 Cowork 功能专为文字工作者设计 -- [[Chrome]]：Google 浏览器，比 Safari 更好用，Gmail 用户的不二之选 -- [[Rectangle]]：免费分屏工具，大屏办公必备 -- [[iShot]]：简洁免费的 macOS 截图工具，支持圆角截图 -- [[Lemon]]：轻量 Mac 系统清理工具 -- [[Homebrew]]：macOS 包管理器 -- [[Claw小龙虾]]：Telegram频道「Hermes爱马仕&🦞OpenClaw小龙虾」作者 +- [[Claude]]：Anthropic 的 AI 助手，桌面版 Cowork 功能为文字工作者设计，本清单推荐第一名 +- [[Obsidian]]：本地优先的笔记/知识管理应用，推荐搭配 Claudian 插件使用 +- [[Chrome]]：Google 浏览器，比 Safari 更适合 Gmail 重度用户 +- [[Rectangle]]：开源免费的分屏管理工具，支持窗口快捷键对齐 +- [[iShot]]：macOS 截图录屏工具，支持长截图、延时截图、圆角截图 +- [[Lemon]]：轻量级 Mac 系统清理工具 +- [[Raycast]]：macOS 万能启动器，替代 Spotlight，支持计算器、剪贴板历史、窗口管理 +- [[Homebrew]]：macOS 包管理器，安装命令行工具的事实标准 ## Connections -- [[Obsidian]] ← 搭配 ← [[Claudian插件]] -- [[Obsidian]] ← 关联 ← [[Second Brain]] -- [[Homebrew]] ← 依赖 ← [[Claude Code]] -- [[Raycast]] ← 替代 ← [[Spotlight]] +- [[Obsidian]] ← 搭配插件 ← [[Claude]] +- [[Obsidian]] ← 相关工具 ← [[我的工具集]] +- [[Homebrew]] ← 前置依赖 ← Claude Code +- [[Rectangle]] ← 替代品 ← [[macOS Spatial/Metal Engineer Agent Personality]] +- [[Raycast]] ← 相关生态 ← [[我的工具集]] ## Contradictions -- 无冲突内容 +- 暂无已知冲突内容 diff --git a/wiki/sources/obsidian-cli.md b/wiki/sources/obsidian-cli.md index 3615fc97..adf14497 100644 --- a/wiki/sources/obsidian-cli.md +++ b/wiki/sources/obsidian-cli.md @@ -1,58 +1,85 @@ ---- -title: "Obsidian CLI" -type: source -tags: - - "obsidian" - - "cli" - - "automation" - - "skills" -date: 2026-04-16 ---- - -## Source File -- [[raw/Skills/Obsidian CLI.md]] - -## Summary（用中文描述） -- 核心主题：Obsidian CLI 官方命令行工具——从终端完全控制 Obsidian，支持脚本化、自动化和外部工具集成 -- 问题域：日常笔记操作的命令行化、AI Agent 对 Obsidian 的自动化控制、插件与主题开发调试 -- 方法/机制：通过 TUI（交互终端界面）或单命令两种模式，以 `obsidian ` 语法调用各类内置命令；支持 vault 切换、参数/标志传参、文件定位（file= vs path=）；开发者命令通过 CDP（Chrome DevTools Protocol）实现截图、控制台执行、插件热重载 -- 结论/价值：Obsidian CLI 将 Obsidian 的全部 GUI 功能暴露给命令行，使 AI Agent 可以通过标准化 CLI 接口实现笔记的增删改查、日程管理、搜索、任务操作等，是 AI Agent 操作 Obsidian 知识库的核心工具 - -## Key Claims（用中文描述） -- Obsidian CLI 覆盖了 Obsidian GUI 中的所有功能，任何 GUI 操作均可通过命令行实现 -- Obsidian CLI 需要 Obsidian 1.12+ 安装程序，首次使用需在 Settings → General 中启用并注册 -- Obsidian CLI 需要 Obsidian 应用处于运行状态，首条命令会自动启动应用 -- TUI 模式支持命令历史、反向搜索（Ctrl+R）和自动补全，适合交互式使用 -- 开发者命令通过 Chrome DevTools Protocol 实现，使 AI Agent 能够自动测试和调试插件 - -## Key Quotes -> "Anything you can do in Obsidian you can do from the command line. Obsidian CLI even includes developer commands to access developer tools, inspect elements, take screenshots, reload plugins, and more." — Obsidian CLI 官方文档 -> "Obsidian CLI requires the Obsidian app to be running. If Obsidian is not running, the first command you run launches Obsidian." — Obsidian CLI 官方文档 - -## Key Concepts -- [[Obsidian-CLI]]：官方命令行工具，通过终端控制 Obsidian 的全部功能 -- [[Obsidian-TUI]]：交互式终端界面，支持命令历史、自动补全、反向搜索 -- [[Vault-Management]]：vault 切换机制，支持按名称或 ID 定向操作不同笔记库 -- [[Developer-Commands]]：开发者命令组，通过 Chrome DevTools Protocol 实现插件调试和自动化测试 -- [[Daily-Notes-CLI]]：CLI 中的日记命令，支持打开/追加/前置日记内容 -- [[File-Recovery]]：文件历史版本管理，支持 diff 对比和 history 恢复 -- [[CDP-Commands]]：Chrome DevTools Protocol 命令集，支持截图、控制台执行、DOM 查询 -- [[Plugin-Reload]]：插件热重载命令，无需重启应用即可刷新社区插件 - -## Key Entities -- [[Obsidian]]：笔记软件开发商，本文档的 CLI 工具发布方 -- [[Obsidian-Skills]]：kepano 发布的 Obsidian Skills 工具链，obsidian-cli 是其中之一（来源：[[obsidian-必装-skills]]） - -## Connections -- [[Obsidian-CLI]] ← 依赖 ← [[Obsidian]]（官方内置 CLI 工具） -- [[Obsidian-CLI]] ← 属于 ← [[Obsidian-Skills]]（Skills 工具链之一） -- [[Obsidian-CLI]] → 支持 → [[AI-Agent-Obsidian-Integration]]（AI Agent 通过 CLI 操作 Obsidian） -- [[Obsidian-CLI]] → 互补 → [[Claudian]]（Claude Code 插件方案 vs CLI 方案） -- [[Obsidian-CLI]] → 互补 → [[Obsidian-Agent-Client]]（第三方 Agent 插件方案） - -## Contradictions -- 与 [[obsidian-必装-skills]] 中的 obsidian-cli 描述存在细微视角差异： - - 冲突点：obsidian-cli 究竟是"官方 CLI 工具"还是"第三方 Skill" - - 当前观点（本文档）：obsidian-cli 是 Obsidian 官方内置 CLI（Obsidian.md 出品） - - 对方观点（obsidian-必装-skills）：将 obsidian-cli 列为 kepano 发布的 Obsidian Skills 之一 - - 分析：两种描述均正确——obsidian-cli 既是 Obsidian 官方内置功能（v1.12+），也是 kepano 在 Skills 项目中收录整理的工具 +--- +title: "Obsidian CLI" +type: source +tags: + - "obsidian" + - "cli" + - "automation" + - "skills" +date: 2026-04-16 +--- + +## Source File +- [[raw/Skills/Obsidian CLI.md]] + +## Summary（用中文描述） +- 核心主题：Obsidian 官方 CLI 命令行工具——从终端完全控制 Obsidian，支持脚本化、自动化和外部工具集成，涵盖日常使用、开发者调试、AI Agent 集成全场景 +- 问题域：笔记操作命令行化、AI Agent 对 Obsidian 的自动化控制、插件与主题开发调试、vault 管理和多端同步 +- 方法/机制：通过 TUI（交互终端界面）或单命令两种模式，以 `obsidian ` 语法调用 50+ 内置命令；支持 vault 切换、参数/标志传参、文件定位（file= vs path=）；开发者命令通过 CDP（Chrome DevTools Protocol）实现截图、控制台执行、插件热重载 +- 结论/价值：Obsidian CLI 将 Obsidian 的全部 GUI 功能暴露给命令行，使 AI Agent 可以通过标准化 CLI 接口实现笔记的增删改查、日程管理、搜索、任务操作等，是 AI Agent 操作 Obsidian 知识库的核心基础设施 + +## Key Claims（用中文描述） +- Obsidian CLI 覆盖了 Obsidian GUI 中的所有功能，任何 GUI 操作均可通过命令行实现 +- Obsidian CLI 需要 Obsidian 1.12.7+ 安装程序，首次使用需在 Settings → General 中启用并注册 +- Obsidian CLI 需要 Obsidian 应用处于运行状态，首条命令会自动启动应用（Headless 同步需另见 Obsidian Headless） +- TUI 模式支持命令历史、反向搜索（Ctrl+R）和自动补全，适合交互式使用 +- 开发者命令通过 Chrome DevTools Protocol 实现，使 AI Agent 能够自动测试和调试插件和主题 +- Vault 默认使用当前工作目录（如为 vault 文件夹）或当前活跃 vault；可用 `vault=` 或 `vault=` 定向指定 +- 参数（parameter）使用 `key=value` 语法，多词值需引号包裹；标志（flag）为布尔开关，写入即开启 +- 所有命令支持 `--copy` 标志将输出复制到剪贴板 + +## Key Quotes +> "Anything you can do in Obsidian you can do from the command line. Obsidian CLI even includes developer commands to access developer tools, inspect elements, take screenshots, reload plugins, and more." — Obsidian CLI 官方文档 +> "Obsidian CLI requires the Obsidian app to be running. If Obsidian is not running, the first command you run launches Obsidian." — Obsidian CLI 官方文档 +> "Many developer commands are available for plugin and theme development. These commands allow agentic coding tools to automatically test and debug." — Obsidian CLI 官方文档 + +## Key Concepts +- [[Obsidian-CLI]]：官方命令行工具，通过终端控制 Obsidian 的全部功能，支持单命令模式和 TUI 交互模式 +- [[Obsidian-TUI]]：交互式终端界面，支持命令历史、自动补全、反向搜索（Ctrl+R） +- [[Vault-Management]]：vault 切换机制，支持按名称或 ID 定向操作不同笔记库，`vault=` 为首个参数 +- [[Developer-Commands]]：开发者命令组，通过 Chrome DevTools Protocol 实现插件调试、自动化测试 +- [[CDP-Commands]]：Chrome DevTools Protocol 命令集，支持截图、控制台执行、DOM 查询、CSS 检查 +- [[Plugin-Reload]]：插件热重载命令，无需重启应用即可刷新社区插件（`plugin:reload id=`） +- [[Daily-Notes-CLI]]：CLI 中的日记命令，支持打开/追加/前置/读取日记内容 +- [[File-Recovery]]：文件历史版本管理，支持 diff 对比和 history 恢复（File Recovery + Sync 双源） +- [[Base-Commands]]：Bases（数据库视图）相关命令，支持创建、查询（JSON/CSV/TSV/MD 格式输出） +- [[Property-Commands]]：属性（frontmatter）管理命令，支持设置、读取、删除文件属性 +- [[Task-Commands]]：任务管理命令，支持过滤（todo/done）、每日笔记任务、按文件和状态筛选 +- [[Template-Commands]]：模板命令，支持读取（可解析 {{date}} 等变量）、插入模板到活动文件 +- [[Sync-Commands]]：Obsidian Sync 控制命令，支持暂停/恢复、版本历史查看和恢复 +- [[Plugin-Management-CLI]]：插件管理命令，支持安装/卸载/启用/禁用/重载社区插件 +- [[Publish-Commands]]：Obsidian Publish 命令，支持站点信息、发布状态、增删发布文件 + +## Key Entities +- [[Obsidian]]：笔记软件开发商，CLI 工具发布方（obsidian.md），要求安装程序版本 1.12.7+ +- [[Obsidian-Skills]]：kepano 发布的 Obsidian Skills 工具链，obsidian-cli 作为官方内置 CLI 在 Skills 项目中被收录（来源：[[obsidian-必装-skills]]） + +## Connections +- [[Obsidian-CLI]] ← 依赖 ← [[Obsidian]]（官方内置 CLI，v1.12.7+） +- [[Obsidian-CLI]] ← 属于 ← [[Obsidian-Skills]]（Skills 工具链之一） +- [[Obsidian-CLI]] → 支持 → [[AI-Agent-Obsidian-Integration]]（AI Agent 通过 CLI 操作 Obsidian） +- [[Obsidian-CLI]] → 互补 → [[Claudian]]（Claude Code 插件方案 vs CLI 方案） +- [[Obsidian-CLI]] → 互补 → [[Obsidian-Agent-Client]]（第三方 Agent 插件方案） +- [[Obsidian-CLI]] → 互补 → [[Obsidian-Headless]]（CLI 需要桌面应用运行，Headless 用于无头同步） + +## Command Categories Overview（完整命令分类速查） + +| 分类 | 主要命令 | 用途 | +|---|---|---| +| 日常使用 | `daily`, `search`, `read`, `open`, `tags` | 日记、搜索、读写、标签 | +| 文件管理 | `create`, `move`, `rename`, `delete`, `append` | 文件增删改移 | +| 链接管理 | `backlinks`, `links`, `unresolved`, `orphans` | 链接分析 | +| 任务管理 | `tasks`, `task` | 任务增删改查 | +| 开发者 | `devtools`, `plugin:reload`, `eval`, `dev:screenshot` | 调试自动化 | +| 数据管理 | `bases`, `base:create`, `base:query` | 数据库视图 | +| 同步与历史 | `sync`, `diff`, `history`, `history:restore` | 版本控制 | +| 插件管理 | `plugins`, `plugin:install`, `plugin:enable` | 插件操作 | +| 发布 | `publish:add`, `publish:status` | Obsidian Publish | +| 工作区 | `workspace:save`, `workspace:load`, `tabs` | 工作区管理 | + +## Contradictions +- 与 [[obsidian-必装-skills]] 中的 obsidian-cli 描述存在视角差异： + - 冲突点：obsidian-cli 究竟是"官方 CLI 工具"还是"第三方 Skill" + - 当前观点（本文档）：obsidian-cli 是 Obsidian 官方内置 CLI（Obsidian.md 出品，v1.12+） + - 对方观点（obsidian-必装-skills）：将 obsidian-cli 列为 kepano 发布的 Obsidian Skills 之一 + - 分析：两种描述均正确——obsidian-cli 既是 Obsidian 官方内置功能（v1.12+），也是 kepano 在 Skills 项目中收录整理的工具，本质上不矛盾 diff --git a/wiki/sources/obsidian-官方-cli-命令全景速查表.md b/wiki/sources/obsidian-官方-cli-命令全景速查表.md index 0d97eb78..4feeb9f3 100644 --- a/wiki/sources/obsidian-官方-cli-命令全景速查表.md +++ b/wiki/sources/obsidian-官方-cli-命令全景速查表.md @@ -2,53 +2,45 @@ title: "Obsidian 官方 CLI 命令全景速查表" type: source tags: [] -date: 2026-04-23 +date: 2026-04-28 --- ## Source File -- [[raw/Skills/Obsidian 官方 CLI 命令全景速查表.md]] +- [[Skills/Obsidian 官方 CLI 命令全景速查表.md]] ## Summary（用中文描述） -- 核心主题：Obsidian v1.12+ 内置官方 CLI 命令行工具的完整命令速查表 -- 问题域：Obsidian 用户和 AI Agent 如何通过终端自动化操作笔记库 -- 方法/机制：通过 `obsidian <命令> 参数名=参数值 标记参数` 格式执行 80+ 条命令，覆盖 16 个功能模块 -- 结论/价值：CLI 使 Obsidian 从图形界面工具升级为 AI Agent 可编程的知识管理系统，是构建本地 RAG 和自动化工作流的基础设施 +- 核心主题：Obsidian v1.12+ 官方 CLI 命令完整参考，包含 80+ 条命令，涵盖所有功能模块 +- 问题域：如何通过终端自动化控制 Obsidian 笔记软件（文件操作、数据库、搜索、发布、插件管理等） +- 方法/机制：统一的 `obsidian <命令> 参数名=参数值` 命令格式，支持标记参数和 JSON/CSV 输出 +- 结论/价值：使 Obsidian 可被 AI Agent 深度集成，实现零配置本地 RAG、自动化工作流和跨平台数据库录入 ## Key Claims（用中文描述） -- Obsidian CLI 提供从基础操作到开发者模式的 80+ 命令，覆盖笔记库管理的全场景 -- AI Agent 可通过 `obsidian read` + `obsidian search:context` + `obsidian backlinks` 组合实现零配置的本地 RAG 对话助理 -- 通过 n8n Webhook 调用 CLI，可实现跨平台数据库级联录入（Obsidian Bases + 外部数据） -- `obsidian unique` 命令支持 Zettelkasten 卡片盒模式，按时间戳生成唯一笔记 ID -- 开发者模式（dev:cdp、eval）提供 Chrome DevTools Protocol 级别的底层访问能力 +- Obsidian CLI 可实现 Agent 接入：Agent 通过 `obsidian read` 直接读取笔记内容进行 RAG，无需额外向量数据库 +- 双链自动维护：`obsidian move/rename` 在重命名文件时自动更新全库双向链接，绝不断链 +- 批量元数据清洗：通过 `obsidian property:set` 批量覆写 YAML 属性，强制符合标准格式 +- 极速闪记：结合 Raycast/Alfred 绑定脚本，实现完全无需唤醒 Obsidian 界面的后台追加记录 ## Key Quotes -> "obsidian read — 打印文件内容，Agent 接入必用命令" -> "obsidian search:context — 提供包含上下文的检索结果" -> "obsidian eval — 注入 JavaScript 代码到底层执行并返回结果" +> "obsidian read — 打印文件内容，Agent 接入必用命令。" — 文档核心价值定位 +> "obsidian move/rename — 移动或重命名文件（自动更新双链）" — 双链维护保证 +> "obsidian eval — 注入 JavaScript 代码到底层执行并返回结果" — 开发者模式顶级权限 ## Key Concepts -- [[Obsidian CLI]]：Obsidian v1.12+ 内置的官方命令行工具，通过终端操作笔记库，支持 AI Agent 集成 -- [[Obsidian Bases]]：Obsidian 1.12 新增的 .base 数据库功能，支持结构化数据存储和查询 -- [[Zettelkasten]]：卡片盒笔记法，`obsidian unique` 命令支持按时间戳生成唯一笔记 ID -- [[本地 RAG]]：利用 CLI 的搜索和链接查询能力，结合本地 LLM 构建隐私优先的知识库 -- [[工作流自动化]]：n8n 定时任务 + Obsidian CLI 实现笔记自动化处理 -- [[元数据管理]]：`property:set` / `property:read` 等命令支持 YAML 属性的批量读写 -- [[快速闪记]]：`daily:append` 支持在后台直接追加内容到每日笔记，无需唤醒 Obsidian 界面 +- [[Zettelkasten]]：CLI 提供 `obsidian unique` 命令，按照卡片盒时间戳格式自动生成唯一笔记 +- [[YAML 属性]]：Obsidian 1.12+ 通过 `obsidian property:set/remove/read` 实现标准化的 frontmatter 操作 +- [[双向链接]]：CLI 在 `move/rename` 时自动维护 backlinks 和 forward links，保证知识图谱完整性 +- [[本地 RAG]]：文档推荐的"绝对隐私的本地 RAG"方案：用 `search:context` + `backlinks` + `read` 三命令构建上下文，完全零配置 ## Key Entities -- [[Obsidian]]：知识管理应用，v1.12+ 内置官方 CLI 命令行工具 -- [[Obsidian CLI]]：官方内置 CLI，覆盖文件操作/数据库/搜索/插件管理等 80+ 命令 -- [[Dataview]]：Obsidian 社区插件，与 CLI 的 `properties` 命令互补提供数据查询能力 -- [[QuickAdd]]：Obsidian 社区插件，用于快速创建笔记，与 CLI 的 `create` 命令功能重叠但 GUI 更便捷 -- [[Templater]]：Obsidian 社区插件，支持动态模板，与 CLI 的 `template:read` / `template:insert` 互补 +- [[Obsidian]]：本 CLI 工具所属的笔记软件厂商；CLI 从 v1.12 开始官方支持 +- [[Dataview]]：社区插件，CLI 提供 `plugin:enable/disable` 管理 +- [[n8n]]：工作流自动化平台，文档中多个场景用它编排 Obsidian CLI 调用 +- [[Raycast]] / [[Alfred]]：启动器工具，与 CLI 结合实现极速闪记工作流 +- [[OpenClaw]]：文档中 AI 收件箱自动分拣员场景使用的 Agent 框架 ## Connections -- [[obsidian-cli]] ← depends_on ← [[Obsidian]]（v1.12+ 内置） -- [[obsidian-必装-skills]] ← extends ← [[obsidian-cli]]（CLI 是必装 Skills 之一） -- [[obsidian-高效指南]] ← relates_to ← [[obsidian-cli]]（高频使用插件与 CLI 互补） -- [[养虾日记3]] ← uses ← [[obsidian-cli]]（用 CLI 操作 Obsidian 笔记库） -- [[obsidian-bases]] ← part_of ← [[obsidian-cli]]（Bases 是 CLI 的数据库子模块） -- [[quartz]] ← consumes ← [[Obsidian]] notes（Quartz 消费 Obsidian 导出的 Markdown） +- [[obsidian-官方-cli-命令全景速查表]] ← depends_on ← [[Obsidian]] +- [[obsidian-必装-skills.md]] ← extends ← [[obsidian-官方-cli-命令全景速查表]] ## Contradictions -- 与 [[obsidian-cli]]（另一份同名页面）无冲突：同一来源的重复引用，内容一致 +- 无已知冲突 diff --git a/wiki/sources/wsl2-启动与网络配置指南.md b/wiki/sources/wsl2-启动与网络配置指南.md index 23748a76..6ed7307c 100644 --- a/wiki/sources/wsl2-启动与网络配置指南.md +++ b/wiki/sources/wsl2-启动与网络配置指南.md @@ -6,37 +6,49 @@ date: 2026-04-17 --- ## Source File -- [[raw/Home Office/WSL2 启动与网络配置指南.md]] +- [[Home Office/WSL2 启动与网络配置指南.md]] ## Summary（用中文描述） -- 核心主题：WSL2（Windows Subsystem for Linux 2）的安装启动与网络配置实操指南 -- 问题域：Windows 环境下 Linux 开发环境搭建，重点解决 WSL2 网络隔离导致的 GitHub/海外资源访问障碍 -- 方法/机制：① `wsl --install` 快速安装；② `.wslconfig` 启用镜像网络模式（mirrored mode）实现 WSL2 与 Windows 共享网络堆栈；③ 终端代理环境变量手动配置；④ ghproxy.com 反向代理绕过网络限制 -- 结论/价值：提供从零安装到生产可用的完整 WSL2 配置路径，镜像网络模式是最稳妥的解决方案，避免 NAT 模式下的 localhost 代理失效问题 +- 核心主题：WSL2（Windows Subsystem for Linux 2）日常使用操作与网络配置 +- 问题域：WSL2 网络隔离导致 Windows 代理无法被 Linux 内部访问的痛点 +- 方法/机制： + - 首次安装：`wsl --install` 一键安装 + - 状态检查：`wsl -l -v` 查看版本 + - 版本转换：`wsl --set-version <分发版> 2` + - 镜像网络模式：`.wslconfig` 配置 `networkingMode=mirrored` + `dnsTunneling=true` + - 手动代理：获取宿主机 IP 后设置 `http_proxy/https_proxy` 环境变量 + - GitHub 加速：通过 `ghproxy.com` 反向代理下载 +- 结论/价值：提供完整的 WSL2 从安装到生产可用的端到端操作指南 ## Key Claims（用中文描述） -- WSL2 默认使用 NAT 模式，导致 Windows 宿主机 localhost 代理无法被 WSL2 内部正确访问，这是 GitHub/海外资源连接失败的根本原因 -- 在 `.wslconfig` 中设置 `networkingMode=mirrored` + `dnsTunneling=true` + `autoProxy=true` 可使 WSL2 与 Windows 共享网络堆栈，是解决网络问题的推荐方案 -- 使用 `ghproxy.com` 反向代理可绕过 GitHub 访问限制，适用于 uv 安装器、Hermes Agent 等工具的下载场景 +- WSL2 默认 NAT 模式导致 Windows localhost 代理无法被 WSL2 内部访问 +- `.wslconfig` 中 `networkingMode=mirrored` 使 WSL2 与 Windows 共享网络堆栈，彻底解决代理镜像问题 +- `ghproxy.com` 反向代理可将 GitHub 下载请求重定向至国内可访问节点 ## Key Quotes -> "WSL2 默认使用 NAT 模式，常会出现'localhost 代理无法镜像'或无法访问海外资源的情况。" — 背景说明 -> "在 PowerShell 执行 `wsl --shutdown` 后重启 WSL。" — 镜像模式生效操作 +> "WSL2 默认使用 NAT 模式，常会出现 localhost 代理无法镜像或无法访问海外资源的情况" — 问题背景说明 +> "这是最稳妥的方案，使 WSL2 与 Windows 共享网络堆栈" — 镜像模式推荐理由 +> "始终先执行 `cd ~` 进入 Linux 原生家目录后再进行环境配置" — 文件权限最佳实践 ## Key Concepts -- [[WSL2]]：Windows Subsystem for Linux 2，Windows 10/11 内置的 Linux 虚拟机环境，默认使用 NAT 网络模式 -- [[镜像网络模式]]（Mirrored Network Mode）：WSL2 与 Windows 共享网络堆栈的配置模式，使 WSL2 能直接访问 Windows 代理 -- [[NAT模式]]：WSL2 默认网络模式，WSL2 拥有独立 IP，localhost 代理不可用 -- [[ghproxy]]：ghproxy.com，反向代理服务，将 GitHub 资源 URL 替换为代理地址以绕过网络限制 +- [[WSL2]]：Windows Subsystem for Linux 2，Windows 10/11 内置 Linux 虚拟机环境 +- [[镜像网络模式（Mirrored Networking）]]：WSL2 网络配置选项，使 WSL2 与 Windows 共享网络堆栈而非 NAT +- [[NAT 模式]]：WSL2 默认网络模式，WSL2 有独立 IP 与 Windows 隔离 +- [[ghproxy]]：ghproxy.com，GitHub 反向代理加速服务 ## Key Entities -- [[Ubuntu]]：WSL2 默认安装的 Linux 分发版 -- [[Windows]]：宿主操作系统，WSL2 运行其上 -- [[PowerShell]]：Windows 命令行环境，用于执行 wsl 管理命令 +- [[WSL2]]：本文档主题，Windows 内置 Linux 子系统第二版 +- [[uv]]：Python 包管理/安装工具，本文通过镜像地址安装 +- [[Hermes Agent]]：本文通过 ghproxy 镜像安装的 AI Agent 产品 ## Connections -- [[Ubuntu Server]] ← related_to ← [[WSL2]]（WSL2 是 Ubuntu 在 Windows 上的轻量运行方式） -- [[ubuntu-server科学上网]] ← related_to ← [[WSL2 网络配置]]（均涉及 Linux 环境代理配置） +- [[Install WSL]] ← depends_on ← [[WSL2 启动与网络配置指南]]（安装指南为前置，配置指南为后续） +- [[WSL2 启动与网络配置指南]] ← extends ← [[Ubuntu Server科学上网]]（均为 Linux 环境网络配置） +- [[WSL2 启动与网络配置指南]] ← uses ← [[ghproxy]]（ghproxy 是解决 GitHub 下载的核心工具） ## Contradictions -- （无已知冲突） +- 与 [[Install WSL]] 视角差异： + - 冲突点：Install WSL 聚焦安装过程，本文聚焦日常使用与网络配置 + - 当前观点：本文将网络配置作为 WSL2 日常使用的重要组成部分 + - 对方观点：Install WSL 将安装与配置视为独立阶段 + - 说明：两者互补，无本质冲突，安装指南完成后需参考本文完成网络配置 diff --git a/wiki/sources/实战笔记-本地部署-rsshub-并获取-youtube-订阅.md b/wiki/sources/实战笔记-本地部署-rsshub-并获取-youtube-订阅.md index 102f5980..f31b81d3 100644 --- a/wiki/sources/实战笔记-本地部署-rsshub-并获取-youtube-订阅.md +++ b/wiki/sources/实战笔记-本地部署-rsshub-并获取-youtube-订阅.md @@ -1,51 +1,49 @@ --- title: "实战笔记：本地部署 RSSHub 并获取 YouTube 订阅" type: source -tags: ["Home Office", "RSSHub", "YouTube", "Docker"] -date: 2026-04-21 +tags: [rsshub, youtube, docker, self-hosted] +date: 2026-04-23 --- ## Source File -- [[raw/Home Office/实战笔记：本地部署 RSSHub 并获取 YouTube 订阅.md]] +- [[Home Office/实战笔记：本地部署 RSSHub 并获取 YouTube 订阅]] ## Summary（用中文描述） -- 核心主题：本地自托管 RSSHub 并通过其生成 YouTube 频道 RSS 订阅源 -- 问题域：YouTube 官方不直接提供 RSS，且第三方在线 RSS 服务不稳定 -- 方法/机制： - - Docker Compose 一键部署 RSSHub（port 1200） - - 获取 YouTube 频道 ID（浏览器 view-source 方式） - - RSSHub 路由格式 `/youtube/channel/{channel_id}` 生成 RSS 源 - - 支持订阅列表监控 -- 结论/价值：完全自托管，稳定可靠，绕过 YouTube 官方限制 +- 核心主题：通过本地部署 RSSHub 解决 YouTube 频道订阅跟踪问题 +- 问题域：国内网络无法直接访问 YouTube，以及 YouTube 官方缺乏订阅通知机制 +- 方法/机制：在 Ubuntu Server 宿主机上使用 Docker Compose 部署 RSSHub，通过 YouTube Data API v3 稳定获取频道更新，配合本地 HTTP 代理实现容器内科学上网 +- 结论/价值：提供了一套稳定、低成本（免费 API 额度）的 YouTube 订阅 RSS 化方案 ## Key Claims（用中文描述） -- RSSHub Docker 部署命令：`docker run -d --name rsshub -p 1200:1200 diygod/rsshub` -- YouTube 频道 ID 获取方式：浏览器访问频道页面 URL，`view-source:` 查看源码搜索 `channel_id` -- RSSHub YouTube RSS 路由：`http://localhost:1200/youtube/channel/{channel_id}` -- 支持订阅列表路由：`/youtube/channel/{channel_id}/videos` 获取该频道视频列表 +- YouTube Data API v3 提供充足免费额度，足以支撑个人用户每月使用 +- 配置 YOUTUBE_KEY 环境变量是解决 YouTube 抓取失败的核心手段 +- 通过 HTTP_PROXY / HTTPS_PROXY 代理可解决容器内访问 YouTube 的网络问题 +- 防火墙放通端口后，局域网内其他设备均可访问 RSSHub 服务 +- 验证成功的标志：访问 RSSHub 频道 URL 返回 XML 列表且无 `fetch failed` 错误 ## Key Quotes -> "RSSHub 是一个开源、简单易用、方便扩展的 RSS 生成器" — RSSHub 官方定位 +> "这是解决 YouTube 订阅最稳定的方案，每月有足够的免费额度供个人使用。" — 方案定性 -> "获取 YouTube 频道 ID 的方法：访问频道页面 → view-source → 搜索 channel_id" — 频道 ID 获取技巧 +> "配置 YOUTUBE_KEY=AIzaSy... 后，通过 HTTP_PROXY=http://127.0.0.1:10808 实现容器内科学上网" — 核心配置逻辑 ## Key Concepts -- [[RSSHub]]：开源 RSS 聚合生成器，可为不支持 RSS 的网站生成订阅源 -- [[Docker]]：容器化平台，RSSHub 通过 Docker 一键部署 -- [[RSS]]：Really Simple Syndication，网站内容聚合订阅协议 +- [[RSSHub]]：开源 RSS 聚合器，支持为各种不支持 RSS 的网站生成 RSS 源 +- [[YouTube Data API v3]]：Google 官方 API，通过申请 API Key 可稳定获取 YouTube 频道/视频数据 +- [[Docker Compose]]：Docker 编排工具，用于定义和运行多容器 Docker 应用 +- [[HTTP_PROXY]]：HTTP 代理环境变量，RSSHub 容器通过此变量将出站请求经代理发出 ## Key Entities -- [[diygod]]（DIYgod）：RSSHub 项目的主要维护者，Docker 镜像 `diygod/rsshub` 的发布者 -- [[YouTube]]：视频平台，本场景的 RSS 订阅目标 +- [[RSSHub]]：开源项目（diygod/rsshub），提供 YouTube RSS 路由 +- [[Google Cloud Console]]：YouTube Data API Key 的申请入口 ## Connections -- [[RSSHub]] ← 使用 Docker 部署 ← [[Docker]] -- [[RSSHub]] ← 为 [[YouTube]] 生成 RSS ← [[YouTube Content Pipeline]] -- [[YouTube Content Pipeline]] ← 依赖 RSS 监控 ← [[RSSHub]] +- [[YouTube Content Pipeline]] ← uses ← [[RSSHub]] +- [[RSSHub]] ← requires ← [[YouTube Data API v3]] +- [[Docker Compose]] ← hosts ← [[RSSHub]] +- [[Home Office]] ← location ← 当前笔记归属 Home Office 分类 ## Contradictions -- 与 [[How to Get the RSS Feed For Any YouTube Channel]] 略有差异： - - 冲突点：在线获取 vs 本地生成 - - 当前观点：本地 RSSHub 部署更稳定可靠 - - 对方观点：在线服务无需维护，适合临时使用 - - 结论：两者互补使用——RSSHub 主用 + 在线工具备用 +- 与 [[how-to-get-the-rss-feed-for-any-youtube-channel]] 可能存在互补： + - 冲突点：对方文章介绍的是无需 API Key 的第三方服务方案 + - 当前观点：自建 RSSHub + YouTube API Key = 稳定可控 + - 对方观点：第三方 RSS 生成服务 = 零配置但依赖外部服务稳定性