Auto-sync: 2026-04-24 00:02
This commit is contained in:
48
wiki/entities/Amazon-Aurora.md
Normal file
48
wiki/entities/Amazon-Aurora.md
Normal file
@@ -0,0 +1,48 @@
|
||||
---
|
||||
title: "Amazon Aurora"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Database
|
||||
- Cloud-Native
|
||||
- Relational Database
|
||||
sources:
|
||||
- ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon Aurora 是 AWS 提供的云原生关系型数据库,采用 6 副本跨 3 可用区(AZ)的共享集群卷架构,相比传统 RDS 提供更高的性能、可用性和自动扩展能力。
|
||||
|
||||
## Core Architecture
|
||||
- **Shared Cluster Volume**:跨 3 AZ 的 6 块 EBS 卷组成的共享存储,写入时自动复制到所有副本
|
||||
- **无需数据复制**:新增读副本时直接连接同一集群卷,无需重新复制数据
|
||||
- **Writer/Reader Endpoints**:独立的写入端点和读取端点,支持自动负载均衡
|
||||
|
||||
## Key Advantages
|
||||
- **RTO 30 秒**:AZ 故障时恢复时间目标仅 30 秒
|
||||
- **自动扩缩容**:Aurora Serverless v2 支持按需自动扩缩(实例类型/版本/区域有限制)
|
||||
- **Aurora Global**:跨区域复制方案,支持托管式切换和故障转移
|
||||
- **Blue-Green Deployment**:Aurora MySQL 支持 Blue-Green 大版本升级(PostgreSQL 不支持)
|
||||
|
||||
## Key Limitations
|
||||
- 最小规格和成本高于 RDS
|
||||
- Serverless v2 对实例类型、版本和区域有限制
|
||||
- 按 IO 收费,高 IO 场景成本可能较高
|
||||
- PostgreSQL 不支持 Blue-Green 部署
|
||||
|
||||
## Cost Considerations
|
||||
Aurora 按 IO 计数收费,IO 理论上无上限(AWS 鼓励提供尽可能高的 IO 以增加收入)。适合超过 10-20 TB 的数据库或对 IO 性能有严格要求的场景。
|
||||
|
||||
## Related Entities
|
||||
- [[Amazon RDS]]:传统关系型数据库托管服务
|
||||
- [[AWS]]:云服务提供商
|
||||
- [[EBS]]:Elastic Block Store,Aurora 的底层存储
|
||||
- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]]:AWS 专用数据库架构
|
||||
- [[ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora]]:RDS vs Aurora 详细对比
|
||||
|
||||
## Aliases
|
||||
- Aurora
|
||||
- Aurora PostgreSQL
|
||||
- Aurora MySQL
|
||||
- Amazon Aurora Database
|
||||
42
wiki/entities/Amazon-DocumentDB.md
Normal file
42
wiki/entities/Amazon-DocumentDB.md
Normal file
@@ -0,0 +1,42 @@
|
||||
---
|
||||
title: "Amazon DocumentDB"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Database
|
||||
- Document
|
||||
- MongoDB
|
||||
sources:
|
||||
- ctp-topic-51-architecting-with-aws-purpose-built-databases
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon DocumentDB 是 AWS 全托管的 MongoDB 兼容文档数据库(Document Database),支持灵活 schema(Flexible Schema),适合存储 JSON 类半结构化数据。
|
||||
|
||||
## Key Characteristics
|
||||
- **兼容性**:MongoDB 3.6、4.0、5.0 API 兼容
|
||||
- **数据模型**:文档(Document),存储为 BSON 格式
|
||||
- **Schema 灵活性**:无需预定义 schema,可随时添加/修改字段
|
||||
- **查询能力**:支持深度嵌套查询、数组查询、聚合管道
|
||||
- **规模**:存储和计算分离,支持横向扩展至数 TB
|
||||
|
||||
## Key Use Cases
|
||||
- **内容管理**:CMS、博客、产品目录
|
||||
- **用户档案**:灵活属性的用户配置文件
|
||||
- **物联网数据**:设备配置和状态文档
|
||||
- **实时分析**:日志和事件数据的快速写入
|
||||
|
||||
## Aliases
|
||||
- DocumentDB
|
||||
- Amazon DocumentDB
|
||||
- AWS DocumentDB
|
||||
- Amazon DocumentDB (with MongoDB compatibility)
|
||||
|
||||
## Related Entities
|
||||
- [[Amazon-DynamoDB]]:均为 NoSQL,DocumentDB 支持更深的查询能力,DynamoDB 提供更简单的 API 和更高的一致性保证
|
||||
- [[Amazon-RDS]]:关系型数据库,DocumentDB 提供 schema 灵活性,RDS 提供强 schema 和事务支持
|
||||
|
||||
## Related Concepts
|
||||
- [[Purpose-Built-Databases]]:DocumentDB 是 AWS 专用数据库家族中的文档数据库成员
|
||||
- [[Document-Database]]:文档数据库核心概念——无 schema JSON/BSON 存储、嵌套文档、聚合管道
|
||||
41
wiki/entities/Amazon-DynamoDB.md
Normal file
41
wiki/entities/Amazon-DynamoDB.md
Normal file
@@ -0,0 +1,41 @@
|
||||
---
|
||||
title: "Amazon DynamoDB"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Database
|
||||
- NoSQL
|
||||
- Key-Value
|
||||
- Document
|
||||
sources:
|
||||
- ctp-topic-51-architecting-with-aws-purpose-built-databases
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon DynamoDB 是 AWS 全托管的 NoSQL 键值和文档数据库,提供单位数毫秒(single-digit millisecond)性能,支撑日处理万亿级请求规模。
|
||||
|
||||
## Key Characteristics
|
||||
- **数据类型**:键值(Key-Value)和文档(Document,JSON)
|
||||
- **性能**:单-digit 毫秒延迟,任何规模下均保持一致性能
|
||||
- **规模**:可扩展至日处理万亿级请求
|
||||
- **管理模式**:全托管(无服务器),无需容量规划
|
||||
- **API**:支持 CRUD 操作,自动分区
|
||||
|
||||
## Aliases
|
||||
- DynamoDB
|
||||
- AWS DynamoDB
|
||||
- Amazon DynamoDB
|
||||
|
||||
## Used By
|
||||
- **Netflix**:使用 DynamoDB 实现高弹性和低延迟的 JSON 文档访问(来源:[[ctp-topic-51-purpose-built-databases]])
|
||||
- **Duolingo**:使用 DynamoDB 存储个性化学习数据(来源:[[ctp-topic-51-purpose-built-databases]])
|
||||
|
||||
## Related Entities
|
||||
- [[Amazon-Aurora]]:关系型数据库,Aurora 是 DynamoDB 在强一致性事务场景的替代方案
|
||||
- [[Amazon-RDS]]:关系型数据库,固定 schema vs DynamoDB 的无 schema 灵活性
|
||||
- [[Amazon-ElastiCache]]:缓存层,可与 DynamoDB 组合使用提升读取性能
|
||||
|
||||
## Related Concepts
|
||||
- [[Purpose-Built-Databases]]:DynamoDB 是 AWS 专用数据库家族的核心成员
|
||||
- [[Multi-Database-Architecture]]:DynamoDB 常与其他数据库(如 ElastiCache、Aurora)组合使用
|
||||
50
wiki/entities/Amazon-ElastiCache.md
Normal file
50
wiki/entities/Amazon-ElastiCache.md
Normal file
@@ -0,0 +1,50 @@
|
||||
---
|
||||
title: "Amazon ElastiCache"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Database
|
||||
- In-Memory
|
||||
- Cache
|
||||
- Redis
|
||||
- Memcached
|
||||
sources:
|
||||
- ctp-topic-51-architecting-with-aws-purpose-built-databases
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon ElastiCache 是 AWS 全托管的内存缓存服务,支持 Redis 和 Memcached 两种引擎,是降低数据库负载和提升应用响应速度的核心组件。
|
||||
|
||||
## Key Characteristics
|
||||
- **双引擎**:Redis(全功能,支持数据结构丰富)和 Memcached(简单,高并发多核)
|
||||
- **性能**:内存访问,微秒至毫秒级延迟
|
||||
- **全托管**:自动补丁、故障恢复、备份
|
||||
- **复制**:支持只读副本,提升读取吞吐量
|
||||
|
||||
## Key Use Cases
|
||||
- **数据库缓存**:将高频读取数据缓存,减少数据库负载(典型命中率 80%+)
|
||||
- **会话存储**:用户会话数据(登录状态、购物车)
|
||||
- **实时分析**:排行榜、计数器、实时指标
|
||||
- **媒体流缓存**:视频/音乐流媒体缓存热点内容
|
||||
- **消息队列**:Redis Pub/Sub 实现发布/订阅模式
|
||||
|
||||
## Notable Users
|
||||
- **Peloton**:使用 ElastiCache Redis 为健身用户提供即时反馈(来源:[[ctp-topic-51-purpose-built-databases]])
|
||||
- **Duolingo**:使用 ElastiCache 缓存高频词和短语(来源:[[ctp-topic-51-purpose-built-databases]])
|
||||
|
||||
## Aliases
|
||||
- ElastiCache
|
||||
- Amazon ElastiCache
|
||||
- AWS ElastiCache
|
||||
- Amazon ElastiCache for Redis
|
||||
|
||||
## Related Entities
|
||||
- [[Amazon-RDS]]:数据库层,ElastiCache 作为缓存层配合使用
|
||||
- [[Amazon-DynamoDB]]:NoSQL 数据库,ElastiCache 可作为 DynamoDB 的读取加速层
|
||||
- [[Amazon-Aurora]]:关系型数据库,ElastiCache 可缓存 Aurora 的热点查询结果
|
||||
|
||||
## Related Concepts
|
||||
- [[Purpose-Built-Databases]]:ElastiCache 是 AWS 专用数据库家族中的内存缓存数据库成员
|
||||
- [[In-Memory-Database]]:内存数据库核心概念——数据驻留内存 vs 磁盘,权衡成本与性能
|
||||
- [[Multi-Database-Architecture]]:ElastiCache 常作为 Aurora/DynamoDB/RDS 的缓存层,与主数据库构成读写分离架构
|
||||
42
wiki/entities/Amazon-Keyspaces.md
Normal file
42
wiki/entities/Amazon-Keyspaces.md
Normal file
@@ -0,0 +1,42 @@
|
||||
---
|
||||
title: "Amazon Keyspaces"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Database
|
||||
- Wide-Column
|
||||
- Cassandra
|
||||
sources:
|
||||
- ctp-topic-51-architecting-with-aws-purpose-built-databases
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon Keyspaces 是 AWS 全托管的 Apache Cassandra 兼容数据库(Wide-Column Database),提供无服务器选项,无需管理底层基础设施。
|
||||
|
||||
## Key Characteristics
|
||||
- **兼容性**:与 Apache Cassandra Query Language (CQL) 兼容
|
||||
- **部署模式**:提供有服务器(预置容量)和无服务器(按请求计费)两种模式
|
||||
- **规模**:支持大规模无结构 schema 的工作负载
|
||||
- **可用性**:多 AZ 部署,自动复制保证持久性
|
||||
- **管理模式**:全托管,无需运维 Cassandra 集群
|
||||
|
||||
## Key Use Cases
|
||||
- **大规模时间序列数据**:IoT 事件日志
|
||||
- **产品目录**:灵活属性的电商产品数据
|
||||
- **用户事件追踪**:高写入吞吐的用户行为分析
|
||||
- **消息历史**:聊天记录、邮件等时序消息存储
|
||||
|
||||
## Aliases
|
||||
- Keyspaces
|
||||
- Amazon Keyspaces
|
||||
- AWS Keyspaces
|
||||
- Amazon Keyspaces for Apache Cassandra
|
||||
|
||||
## Related Entities
|
||||
- [[Amazon-DynamoDB]]:均为 NoSQL,DynamoDB 是 AWS 自研的键值/文档数据库,Keyspaces 是托管版 Cassandra
|
||||
- [[Amazon-Neptune]]:图数据库,Keyspaces 是宽列数据库,适用场景不同
|
||||
|
||||
## Related Concepts
|
||||
- [[Purpose-Built-Databases]]:Keyspaces 是 AWS 专用数据库家族中的宽列数据库成员
|
||||
- [[Wide-Column-Database]]:宽列数据库核心概念——Cassandra 数据模型(Row Key / Column Family / Super Column)
|
||||
34
wiki/entities/Amazon-Neptune.md
Normal file
34
wiki/entities/Amazon-Neptune.md
Normal file
@@ -0,0 +1,34 @@
|
||||
---
|
||||
title: "Amazon Neptune"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Database
|
||||
- Graph
|
||||
sources:
|
||||
- ctp-topic-51-architecting-with-aws-purpose-built-databases
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon Neptune 是 AWS 全托管的图数据库(Graph Database),专为高度互连数据设计,支持 Apache TinkerPop Gremlin 和 SPARQL 查询语言。
|
||||
|
||||
## Key Use Cases
|
||||
- **欺诈检测**:发现传统关系型数据库难以识别的关联模式
|
||||
- **社交网络**:好友推荐、共同联系人分析
|
||||
- **推荐系统**:基于用户行为图的个性化推荐
|
||||
- **知识图谱**:实体关系的存储与查询
|
||||
|
||||
## Aliases
|
||||
- Neptune
|
||||
- Amazon Neptune
|
||||
- AWS Neptune
|
||||
- Amazon Neptune Graph Database
|
||||
|
||||
## Related Entities
|
||||
- [[Amazon-DynamoDB]]:NoSQL 键值数据库,Neptune 处理高度互连数据,DynamoDB 处理简单键值访问
|
||||
- [[Amazon-RDS]]:关系型数据库,Neptune 在关联复杂度的场景优于关系型数据库
|
||||
|
||||
## Related Concepts
|
||||
- [[Purpose-Built-Databases]]:Neptune 是 AWS 专用数据库家族中的图数据库成员
|
||||
- [[Graph-Database]]:图数据库的核心概念——节点(实体)、边(关系)、属性
|
||||
54
wiki/entities/Amazon-RDS.md
Normal file
54
wiki/entities/Amazon-RDS.md
Normal file
@@ -0,0 +1,54 @@
|
||||
---
|
||||
title: "Amazon RDS"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Database
|
||||
- Relational Database
|
||||
- Managed Service
|
||||
sources:
|
||||
- ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon RDS(Relational Database Service)是 AWS 提供的托管关系型数据库服务,计算(EC2)与存储(EBS)分离,支持 Multi-AZ 部署,相比 Aurora 成本更低、存储选项更灵活。
|
||||
|
||||
## Core Architecture
|
||||
- **Compute + Storage Separation**:EC2 计算节点 + EBS 存储卷的分离架构
|
||||
- **Multi-AZ Deployment**:主节点 + 备用节点(独立计算和存储),故障时备用节点接管
|
||||
- **Single Endpoint**:每个集群一个端点(不同于 Aurora 的 Writer/Reader 分离)
|
||||
|
||||
## Key Advantages
|
||||
- **更低入门成本**:提供更小规格实例,适合小型数据库
|
||||
- **存储灵活性**:支持 GP2、GP3、预置 IOPS、磁性存储多种类型
|
||||
- **广泛引擎支持**:PostgreSQL、MySQL、MariaDB、Oracle、SQL Server 等
|
||||
- **更成熟**:发布更久,文档和社区资源更丰富
|
||||
|
||||
## Key Limitations
|
||||
- **RTO 2 分钟**:AZ 故障时恢复时间目标约 2 分钟
|
||||
- **读副本需数据复制**:新增读副本需重新复制数据
|
||||
- **无 Blue-Green Deployment**(PostgreSQL/MySQL 均不支持跨版本 Blue-Green)
|
||||
- **最大 IO 受 EBS 限制**:不如 Aurora 的无上限 IO 能力
|
||||
|
||||
## Storage Types
|
||||
| 类型 | 特点 | 适用场景 |
|
||||
|------|------|----------|
|
||||
| GP2 | 通用 SSD,平衡性能与成本 | 大多数工作负载 |
|
||||
| GP3 | 通用 SSD,独立性能配置 | 需要成本优化的场景 |
|
||||
| 预置 IOPS | 高性能,稳定的 IOPS | IO 密集型应用 |
|
||||
| 磁性 | 低成本,较低性能 | 归档/不常访问的数据 |
|
||||
|
||||
## Related Entities
|
||||
- [[Amazon Aurora]]:云原生数据库,性能更高但成本更高
|
||||
- [[AWS]]:云服务提供商
|
||||
- [[EBS]]:Elastic Block Store,RDS 的存储后端
|
||||
- [[ctp-topic-51-architecting-with-aws-purpose-built-databases]]:AWS 专用数据库架构
|
||||
- [[ctp-topic-66-exposing-the-differences-between-postgresql-rds-and-aurora]]:RDS vs Aurora 详细对比
|
||||
|
||||
## Aliases
|
||||
- RDS
|
||||
- Amazon RDS
|
||||
- RDS PostgreSQL
|
||||
- Amazon Relational Database Service
|
||||
- AWS RDS
|
||||
54
wiki/entities/Amazon-Redshift.md
Normal file
54
wiki/entities/Amazon-Redshift.md
Normal file
@@ -0,0 +1,54 @@
|
||||
---
|
||||
title: "Amazon Redshift"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Data-Warehouse
|
||||
- OLAP
|
||||
- Managed Service
|
||||
sources:
|
||||
- ctp-topic-68-introduction-to-redshift
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon Redshift 是 AWS 提供的大规模并行处理(MPP)云数据仓库服务,支持 PB 级数据存储,面向 OLAP(在线分析处理)工作负载。完全托管,无需自行管理基础设施,具备自动备份、点时间恢复和跨区域灾难恢复能力。
|
||||
|
||||
## Core Architecture
|
||||
- **Leader Node**:协调节点,负责客户端连接(JDBC/ODBC)、Schema 管理、仓库元数据和查询计划生成,将查询指令分发至 Compute Node
|
||||
- **Compute Node**:执行节点,根据实例类型决定节点数量,每个节点在 Slices 上并行处理数据,完成后返回结果至 Leader Node
|
||||
- **Slices**:Compute Node 内部的虚拟分区,每个 Slice 独立处理数据子集,实现并行计算
|
||||
|
||||
## Instance Types
|
||||
| 类型 | 特点 | 适用场景 |
|
||||
|------|------|----------|
|
||||
| Dense Compute | 高 CPU + 内存,适合计算密集型查询 | 大规模数据分析 |
|
||||
| Dense Storage | 高存储,适合存储密集型工作负载 | 历史数据归档 |
|
||||
| RA3 | 性价比最优,AWS 托管 NVMe 存储,可独立扩展计算和存储 | 大容量数据仓库(推荐) |
|
||||
|
||||
## Key Features
|
||||
- **MPP(大规模并行处理)**:跨多个 Compute Node 并行执行查询,显著提升查询速度和响应时间
|
||||
- **列式存储(Columnar Storage)**:数据按列存储,适合聚合查询和全表扫描,相比行式存储 I/O 效率更高
|
||||
- **行式存储(Row Storage)**:适合少量行的精确查询和点查询
|
||||
- **数据压缩**:采用 ZSTD/LZO 等压缩算法,减少存储空间和 I/O 开销
|
||||
- **Sort Key(排序键)**:决定数据在磁盘上的物理排序顺序,优化范围查询和过滤操作
|
||||
- **Distribution Key(分布键)**:决定数据在 Compute Node 间的分布方式,影响数据倾斜和跨节点数据传输
|
||||
|
||||
## Comparison with Other AWS Databases
|
||||
- **vs Amazon RDS/Aurora**:RDS/Aurora 面向 OLTP(事务处理),Redshift 面向 OLAP(分析处理);RDS/Aurora 适合写入密集型,Redshift 适合读取/分析密集型
|
||||
- **vs Amazon DynamoDB**:DynamoDB 面向 NoSQL 键值/文档场景,Redshift 面向复杂 SQL 分析查询
|
||||
- **vs Amazon Aurora**:Aurora 共享存储架构(6副本跨3 AZ),Redshift 独立 Compute Node 架构;Aurora 适合 10TB 以下场景,Redshift 适合 PB 级分析
|
||||
|
||||
## Related Entities
|
||||
- [[Amazon RDS]]:托管关系型数据库,面向 OLTP
|
||||
- [[Amazon Aurora]]:云原生关系型数据库,共享存储架构
|
||||
- [[AWS]]:云服务提供商
|
||||
- [[ctp-topic-68-introduction-to-redshift]]:Redshift 入门介绍
|
||||
- [[ctp-topic-51-purpose-built-databases]]:AWS 专用数据库选型全景
|
||||
- [[ctp-topic-66-rds-vs-aurora]]:RDS 与 Aurora 对比参考
|
||||
|
||||
## Aliases
|
||||
- Redshift
|
||||
- Amazon Redshift
|
||||
- AWS Redshift
|
||||
- Redshift Data Warehouse
|
||||
41
wiki/entities/Amazon-Timestream.md
Normal file
41
wiki/entities/Amazon-Timestream.md
Normal file
@@ -0,0 +1,41 @@
|
||||
---
|
||||
title: "Amazon Timestream"
|
||||
type: entity
|
||||
tags:
|
||||
- AWS
|
||||
- Database
|
||||
- Time-Series
|
||||
- IoT
|
||||
sources:
|
||||
- ctp-topic-51-architecting-with-aws-purpose-built-databases
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Overview
|
||||
Amazon Timestream 是 AWS 全托管的时序数据库(Time-Series Database),专为高吞吐量时序数据设计,支持自动数据分层(热存储/冷存储)。
|
||||
|
||||
## Key Use Cases
|
||||
- **IoT 传感器数据**:温度、压力、位置等设备遥测数据
|
||||
- **应用监控**:指标、日志、追踪数据的存储与分析
|
||||
- **工业遥测**:生产线设备状态监控
|
||||
- **金融数据**:股票价格、交易事件等时间序列分析
|
||||
|
||||
## Key Characteristics
|
||||
- **数据模型**:时间戳 + 测量值 + 维度
|
||||
- **自动分层**:热存储(Recent data)→ 冷存储(Historical data),自动降本
|
||||
- **查询引擎**:内置时序分析函数(插值、聚合、窗口函数)
|
||||
- **性能**:专为高写入吞吐量优化,支持数百万设备并发写入
|
||||
|
||||
## Aliases
|
||||
- Timestream
|
||||
- Amazon Timestream
|
||||
- AWS Timestream
|
||||
- Amazon Timestream for IoT Analytics
|
||||
|
||||
## Related Entities
|
||||
- [[Prometheus]]:时序监控数据采集器,Timestream 可作为其长期存储后端
|
||||
- [[Amazon-DynamoDB]]:通用 NoSQL 数据库,Timestream 在时序场景有 10-100 倍成本优势
|
||||
|
||||
## Related Concepts
|
||||
- [[Purpose-Built-Databases]]:Timestream 是 AWS 专用数据库家族中的时序数据库成员
|
||||
- [[Time-Series-Database]]:时序数据库核心概念——时间戳索引、数据分层、降采样查询
|
||||
57
wiki/entities/Checkpoint.md
Normal file
57
wiki/entities/Checkpoint.md
Normal file
@@ -0,0 +1,57 @@
|
||||
---
|
||||
title: "Checkpoint"
|
||||
type: entity
|
||||
tags: [Firewall, Network-Security, AWS, Cloud-Security]
|
||||
last_updated: 2026-04-14
|
||||
---
|
||||
|
||||
## Overview
|
||||
|
||||
Checkpoint(Check Point Software Technologies)是全球领先的网络安全解决方案提供商,其防火墙产品在该组织的 AWS Landing Zone 架构中扮演关键角色。Checkpoint 防火墙通过读取 AWS 资源的标签值(Tags)来动态配置网络访问策略,这意味着资源标签的有效性直接影响网络连通性。
|
||||
|
||||
## Role in AWS Landing Zone
|
||||
|
||||
在企业 AWS 架构中,Checkpoint 防火墙与 AWS 资源标签紧密集成:
|
||||
|
||||
- **读取标签来源**:EC2 实例、安全组(Security Groups)、负载均衡器(Load Balancers)
|
||||
- **基于标签决策**:根据标签键值对判断资源所属环境(dev/staging/prod)、成本中心、负责人等属性
|
||||
- **动态网络策略**:根据标签值自动应用相应的网络访问控制规则
|
||||
|
||||
### 网络安全依赖链
|
||||
|
||||
```
|
||||
AWS 资源标签(Tag)→ Checkpoint 防火墙读取 → 网络访问策略配置
|
||||
↑
|
||||
标签缺失或无效
|
||||
↓
|
||||
相关网络流量被拦截
|
||||
```
|
||||
|
||||
## Impact of Tag Non-Compliance
|
||||
|
||||
当 AWS 资源缺少必需标签或标签值不在允许列表中时:
|
||||
1. Checkpoint 防火墙无法识别资源身份
|
||||
2. 无法将资源匹配到正确的网络策略
|
||||
3. 防火墙执行默认拒绝策略,**拦截该资源的所有网络流量**
|
||||
4. 导致服务中断或连接失败
|
||||
|
||||
这使得 **标签合规性从"可选管理实践"变为"网络安全硬性要求"**。
|
||||
|
||||
## Solutions
|
||||
|
||||
| 机制 | 作用 | 局限性 |
|
||||
|------|------|--------|
|
||||
| [[Service-Control-Policies-SCPs]] | 阻止不合规新资源创建 | 无法修复存量资源 |
|
||||
| [[Tag-Validation-Tool]] | 审计存量资源标签合规性 | 仅审计,需人工修复 |
|
||||
|
||||
## Related Concepts
|
||||
|
||||
- [[AWS-Tags]]:Checkpoint 读取的元数据
|
||||
- [[AWS-Tagging-Standards]]:标签规范的定义
|
||||
- [[Tag-Validation-Tool]]:确保标签合规性的工具
|
||||
- [[Service-Control-Policies-SCPs]]:强制执行标签规范的上游机制
|
||||
- [[Checkpoint-Firewall]]:(同义词,可互链)
|
||||
|
||||
## Sources
|
||||
|
||||
- [[ctp-topic-28-aws-tag-validation-tool]]
|
||||
30
wiki/entities/Gruntwork.md
Normal file
30
wiki/entities/Gruntwork.md
Normal file
@@ -0,0 +1,30 @@
|
||||
---
|
||||
title: "Gruntwork"
|
||||
type: entity
|
||||
sources: [ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]
|
||||
last_updated: 2026-04-14
|
||||
---
|
||||
|
||||
## Overview
|
||||
Gruntwork 是 Micro Focus Cloud Transformation Programme (CTP) 中采用的 AWS Landing Zones 基础设施框架提供方。Gruntwork Landing Zones 提供预配置的、基于最佳实践的 AWS 基础架构模板,帮助企业快速构建符合安全和合规要求的 AWS 多账户架构。
|
||||
|
||||
## Aliases
|
||||
- Gruntwork AWS Landing Zones
|
||||
- Gruntwork LZ
|
||||
|
||||
## Key Capabilities
|
||||
- **多环境支持**:区分 R&D Labs 和 SAS(Staging/Production)两种环境类型,分别对应不同的 AD 域名架构
|
||||
- **预制 AMI**:SRE 团队维护内置域加入脚本的标准化机器镜像
|
||||
- **IaC 集成**:与 Terraform/TerraGrunt 深度集成,支持 `user_data` 触发自动化域加入流程
|
||||
- **AD 集成**:提供标准化的 Active Directory 服务集成方案,包括 DNS 管理和安全动态更新
|
||||
|
||||
## Related Entities
|
||||
- [[SRE Team]]:构建和维护 Gruntwork LZ 中预制 AMI 的团队
|
||||
- [[Gruntwork AWS Landing Zones Overview]]:Gruntwork LZ 的整体架构概述
|
||||
- [[ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]]:AD 服务集成的核心参考文档
|
||||
|
||||
## References
|
||||
- [[ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]]
|
||||
- [[ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i]]
|
||||
- [[ctp-topic-9-ci-cd-with-gruntwork]]
|
||||
- [[ctp-topic-1-gruntwork-landing-zone-architecture]]
|
||||
23
wiki/entities/Intsas.local.md
Normal file
23
wiki/entities/Intsas.local.md
Normal file
@@ -0,0 +1,23 @@
|
||||
---
|
||||
title: "Intsas.local"
|
||||
type: entity
|
||||
sources: [ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]
|
||||
last_updated: 2026-04-14
|
||||
---
|
||||
|
||||
## Overview
|
||||
`intsas.local` 是 Gruntwork AWS Landing Zones 架构中专门分配给生产和分阶段 SAS(Staging-And-Security)环境的 Active Directory 域名。所有生产/SAS 环境中的 Windows 和 Linux 实例均加入此域名。
|
||||
|
||||
## Usage Context
|
||||
- **环境类型**:Production(生产环境)和 SAS(Staging-And-Security)
|
||||
- **管理方式**:通过 SMACKS 工单系统申请新账号、重置密码或处理复杂变更,强调资源所有权归属和审计合规
|
||||
- **特点**:相比 R&D 环境,生产/SAS 环境更注重安全合规、资源所有权归属和审计追踪
|
||||
|
||||
## Related Entities
|
||||
- [[swinford.net]]:研发实验室(R&D Labs)环境的对应 AD 域名
|
||||
- [[SMACKS]]:生产/SAS 环境的工单管理系统
|
||||
- [[Gruntwork Landing Zones]]:域名归属的基础架构框架
|
||||
- [[SRE Team]]:维护 AD 域名基础设施的团队
|
||||
|
||||
## References
|
||||
- [[ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]]
|
||||
48
wiki/entities/NetApp.md
Normal file
48
wiki/entities/NetApp.md
Normal file
@@ -0,0 +1,48 @@
|
||||
---
|
||||
title: "NetApp"
|
||||
type: entity
|
||||
tags: [Storage, Enterprise, AWS, Cloud-Storage]
|
||||
sources: [ctp-topic-46-netapps-on-aws]
|
||||
last_updated: 2026-04-14
|
||||
---
|
||||
|
||||
## Overview
|
||||
|
||||
NetApp(纳斯达克:NTAP)是全球领先的数据存储和混合云数据管理解决方案提供商,总部位于美国加州圣何塞。ONTAP 是其核心统一存储操作系统。
|
||||
|
||||
## Core Products
|
||||
|
||||
- **ONTAP**:统一的存储操作系统,支持 SMB、NFS、FC、FCOE、iSCSI 等多种存储协议
|
||||
- **Cloud Volume ONTAP (CVO)**:ONTAP 的 AWS 云版本,通过 EC2 实例运行
|
||||
- **FSX for NetApp ONTAP**:AWS 原生托管的 NetApp 服务(POC 阶段)
|
||||
- **Cloud Manager**:NetApp 云服务的集中管理平台
|
||||
|
||||
## Storage Concepts
|
||||
|
||||
- **Aggregate**:由多个磁盘组成的 RAID 组,构成基础存储池
|
||||
- **FlexVol**:托管在 Aggregate 之上的灵活数据容器
|
||||
- **Qtree**:卷的进一步细分,支持权限和配额管理
|
||||
- **LUN**:块级存储的逻辑表示,通过 FC 或 iSCSI 呈现
|
||||
- **LIF**:逻辑接口,承载 IP 地址用于管理和数据服务
|
||||
- **SVM**:存储虚拟机,支持多租户隔离
|
||||
|
||||
## Key Capabilities
|
||||
|
||||
- **Data Tiering**:活跃数据存 EBS,非活跃数据自动迁移到 S3
|
||||
- **SnapMirror**:块级跨集群数据复制
|
||||
- **Snapshot**:点-in-time 只读镜像,最小化空间消耗
|
||||
- **Encryption**:256-bit 加密,支持 AWS KMS 集成
|
||||
|
||||
## AWS Deployment
|
||||
|
||||
组织已在 15 个 AWS 区域部署约 **1.3 PB** 数据,使用 Cloud Manager 集中管理。存储后端使用 AWS EBS(GP3、GP2、IO1、IO2、ST1)。
|
||||
|
||||
## Related Tools
|
||||
|
||||
- **迁移工具**:SnapMirror、NetApp XCP、Cloud Sync、AWS DataSync、Silver Peak WAN Optimizer
|
||||
- **监控**:Cityscope、WebTool
|
||||
- **自动化**:Terraform(计划引入)
|
||||
|
||||
## Aliases
|
||||
- NetApp, Inc.
|
||||
- NTAP
|
||||
57
wiki/entities/Octane-Hub.md
Normal file
57
wiki/entities/Octane-Hub.md
Normal file
@@ -0,0 +1,57 @@
|
||||
---
|
||||
title: "Octane Hub"
|
||||
type: entity
|
||||
tags: [aws, cloud-migration, docker, devops, ctp]
|
||||
last_updated: 2026-04-23
|
||||
---
|
||||
|
||||
## Basic Info
|
||||
- **Role**: Software Factory 团队,Micro Focus 云转型计划一部分
|
||||
- **Leader**: Holger Rode(CTO,软件工厂团队负责人)
|
||||
- **Migration Project**: 将生产服务从 Bibling Lab 数据中心迁移到 AWS Landing Zone
|
||||
|
||||
## Aliases
|
||||
- Octane Hub
|
||||
|
||||
## Key Contributions
|
||||
主导 Docker 容器化工作负载的 AWS 云迁移实战项目:
|
||||
|
||||
| Workload | Description | Migration Target |
|
||||
|----------|-------------|-----------------|
|
||||
| QuickSee | Web 应用程序 | Docker → AWS |
|
||||
| Release Manager | Web 应用程序 | Docker → AWS |
|
||||
| Patch Manager | Web 应用程序 | Docker → AWS |
|
||||
| 安全程序板 | 安全相关 Web 应用 | Docker → AWS |
|
||||
| 文件存储 | ~10TB 文件存储 | EBS(实时)+ EFS(备份)|
|
||||
| MSSQL 数据库 | 大型数据库服务器 | EBS → 计划迁移到 Postgres |
|
||||
|
||||
## Cloud Migration Journey
|
||||
- **原环境**: Bibling Lab 物理数据中心(3 台物理服务器 + 多台虚拟机)
|
||||
- **触发因素**: Bibling 数据中心即将关闭
|
||||
- **POC 账户**: 5 月获得 AWS Landing Zone POC 账户访问权限
|
||||
- **生产账户**: 6 月获得 AWS Landing Zone 生产账户
|
||||
- **迁移策略**: 无缝过渡,紧密镜像现有设置,避免 Go Live 期间进行重大技术变更
|
||||
|
||||
## Technology Stack
|
||||
- **容器化**: Docker
|
||||
- **镜像构建**: Packer
|
||||
- **基础设施即代码**: Terraform / TerraGrunt
|
||||
- **网络**: VPC Transit Gateway
|
||||
- **DNS**: Route 53
|
||||
- **存储**: EBS(数据库)、EFS(备份)、S3(成本优化目标)
|
||||
- **计划演进**: AWS ECS
|
||||
|
||||
## Key Learnings
|
||||
- EFS 不适用于需要高性能数据库场景(数据库无法直接在 EFS 上运行)
|
||||
- IaC 从控制台脚本演进为 Packer + Terraform/TerraGrunt 是可重复、可审计的部署流程
|
||||
- 网络配置需要与网络团队协作,多次 PCS 请求解决网络问题
|
||||
- 标签系统管理 VPC 访问是关键的安全控制
|
||||
|
||||
## Next Steps
|
||||
1. 改进 DR(灾难恢复)和高可用性
|
||||
2. 通过 S3 进行成本优化
|
||||
3. 从 MSSQL 迁移到 Postgres
|
||||
4. 可能迁移到 AWS ECS 服务
|
||||
|
||||
## References
|
||||
- [[ctp-topic-14-octane-hub-on-aws-real-life-experience-moving-production-services-i]]
|
||||
22
wiki/entities/SMACKS.md
Normal file
22
wiki/entities/SMACKS.md
Normal file
@@ -0,0 +1,22 @@
|
||||
---
|
||||
title: "SMACKS"
|
||||
type: entity
|
||||
sources: [ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]
|
||||
last_updated: 2026-04-14
|
||||
---
|
||||
|
||||
## Overview
|
||||
SMACKS 是 Micro Focus 内部的工单/服务管理系统(Service Management System 的内部命名),用于处理生产环境和 SAS(Staging-And-Security)环境中的 Active Directory 相关请求,包括:新账号申请、密码重置、以及复杂的生产环境变更。
|
||||
|
||||
## Usage Context
|
||||
- **适用环境**:Production 和 SAS 环境
|
||||
- **对比 R&D 环境**:R&D Labs 环境使用 [[MIM (Microsoft Identity Manager)]] 自助服务工具,生产/SAS 环境因安全合规要求必须通过正式工单流程处理
|
||||
- **典型操作**:AD 账号申请、权限变更、资源所有权转移、密码重置
|
||||
|
||||
## Related Entities
|
||||
- [[Intsas.local]]:SMACKS 工单系统所服务的 AD 域名环境
|
||||
- [[Gruntwork]]:提供 Landing Zones 基础设施框架
|
||||
- [[MIM (Microsoft Identity Manager)]]:R&D 环境的对应自助服务工具
|
||||
|
||||
## References
|
||||
- [[ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]]
|
||||
39
wiki/entities/SRE-Team.md
Normal file
39
wiki/entities/SRE-Team.md
Normal file
@@ -0,0 +1,39 @@
|
||||
---
|
||||
title: "SRE Team"
|
||||
type: entity
|
||||
tags: [SRE, DevOps, Automation, AWS, Tools]
|
||||
last_updated: 2026-04-14
|
||||
---
|
||||
|
||||
## Overview
|
||||
|
||||
SRE Team(Site Reliability Engineering 团队)是该组织中负责 AWS Landing Zone 运维自动化和工具开发的团队。在 CTP Topic 28 中,SRE 团队展示了其开发的 AWS Tag Validation Tool,展示了 SRE 实践中的自动化工具开发能力。
|
||||
|
||||
## Responsibilities
|
||||
|
||||
| 职责 | 说明 |
|
||||
|------|------|
|
||||
| 运维自动化 | 开发自动化工具减少人工重复操作 |
|
||||
| 工具开发 | 构建内部平台工具(如 Tag Validation Tool) |
|
||||
| 可靠性保障 | 确保 AWS 基础设施的高可用性和可观测性 |
|
||||
| 内部平台 | 维护 SRE Tools Repository 内部代码仓库 |
|
||||
|
||||
## SRE Tools Repository
|
||||
|
||||
SRE 团队维护的内部代码仓库([[SRE-Tools-Repository]]),集中存放所有 SRE 自动化脚本和工具:
|
||||
|
||||
- **Tag Validation Tool**:Python/Boto3 AWS 标签验证工具
|
||||
- 环境管理:Poetry
|
||||
- 配置管理:variables.yaml(每个账户独立配置)
|
||||
|
||||
## Related Concepts
|
||||
|
||||
- [[Tag-Validation-Tool]]:SRE 团队开发的标签验证工具
|
||||
- [[Variables-YAML]]:Tag Validation Tool 的配置文件
|
||||
- [[Boto3]]:SRE 工具使用的 AWS Python SDK
|
||||
- [[Poetry]]:SRE 工具的 Python 环境管理工具
|
||||
- [[AWS-Landing-Zone]]:SRE 团队服务的核心基础设施平台
|
||||
|
||||
## Sources
|
||||
|
||||
- [[ctp-topic-28-aws-tag-validation-tool]]
|
||||
23
wiki/entities/Swinford.net.md
Normal file
23
wiki/entities/Swinford.net.md
Normal file
@@ -0,0 +1,23 @@
|
||||
---
|
||||
title: "Swinford.net"
|
||||
type: entity
|
||||
sources: [ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]
|
||||
last_updated: 2026-04-14
|
||||
---
|
||||
|
||||
## Overview
|
||||
`swinford.net` 是 Gruntwork AWS Landing Zones 架构中专门分配给研发实验室(R&D Labs)环境的 Active Directory 域名。所有 R&D Labs 环境中的 Windows 和 Linux 实例均加入此域名。
|
||||
|
||||
## Usage Context
|
||||
- **环境类型**:R&D Labs(研发实验室)
|
||||
- **管理方式**:支持 MIM(Microsoft Identity Manager)自助服务工具,安全组管理和权限申请由开发者自助完成
|
||||
- **特点**:相比生产环境,R&D 环境更注重开发者自助性和灵活性,而非严格的资源所有权归属
|
||||
|
||||
## Related Entities
|
||||
- [[intsas.local]]:生产/SAS 环境的对应 AD 域名
|
||||
- [[Gruntwork Landing Zones]]:域名归属的基础架构框架
|
||||
- [[MIM (Microsoft Identity Manager)]]:R&D 环境的安全组自助管理工具
|
||||
- [[SRE Team]]:维护 AD 域名基础设施的团队
|
||||
|
||||
## References
|
||||
- [[ctp-topic-17-active-directory-services-in-gruntwork-aws-lzs]]
|
||||
35
wiki/entities/fireworks-tech-graph.md
Normal file
35
wiki/entities/fireworks-tech-graph.md
Normal file
@@ -0,0 +1,35 @@
|
||||
---
|
||||
title: "fireworks-tech-graph"
|
||||
type: entity
|
||||
tags: []
|
||||
sources: [fireworks-tech-graph]
|
||||
last_updated: 2026-04-18
|
||||
---
|
||||
|
||||
## Aliases
|
||||
- fireworks-tech-graph
|
||||
|
||||
## Description
|
||||
Claude Code Skill,将自然语言描述转化为精美 SVG 技术图,支持 7 种视觉风格和 14 种 UML 图类型,并可通过 `rsvg-convert` 导出高分辨率 PNG。
|
||||
|
||||
## Type
|
||||
产品 / Claude Code Skill
|
||||
|
||||
## Role
|
||||
技术图生成工具 — 为 AI Agent 提供快速生成专业级技术架构图、流程图、UML 图的能力,无需手动绘制
|
||||
|
||||
## Key Properties
|
||||
- **GitHub**: github.com/yizhiyanhua-ai/fireworks-tech-graph
|
||||
- **npm**: www.npmjs.com/package/@yizhiyanhua-ai/fireworks-tech-graph
|
||||
- **安装方式**: `npx skills add yizhiyanhua-ai/fireworks-tech-graph`
|
||||
- **依赖**: librsvg(`rsvg-convert` 工具)
|
||||
- **输出格式**: SVG(可编辑)+ PNG(1920px 视网膜分辨率)
|
||||
- **风格数量**: 7 种视觉风格
|
||||
- **UML 图支持**: 14 种图类型
|
||||
|
||||
## Relationships
|
||||
- [[fireworks-tech-graph]] uses [[rsvg-convert]] for PNG export
|
||||
- [[fireworks-tech-graph]] implements [[7种视觉风格系统]]
|
||||
- [[fireworks-tech-graph]] implements [[语义形状词汇表]]
|
||||
- [[fireworks-tech-graph]] implements [[语义箭头系统]]
|
||||
- [[fireworks-tech-graph]] supports [[14种UML图]]
|
||||
25
wiki/entities/rsvg-convert.md
Normal file
25
wiki/entities/rsvg-convert.md
Normal file
@@ -0,0 +1,25 @@
|
||||
---
|
||||
title: "rsvg-convert"
|
||||
type: entity
|
||||
tags: []
|
||||
sources: [fireworks-tech-graph]
|
||||
last_updated: 2026-04-18
|
||||
---
|
||||
|
||||
## Description
|
||||
librsvg 项目提供的命令行工具,用于将 SVG 文件渲染为高分辨率 PNG 图像。[[fireworks-tech-graph]] 使用它将生成的 SVG 技术图导出为 1920px 视网膜分辨率 PNG。
|
||||
|
||||
## Type
|
||||
工具 / 命令行工具
|
||||
|
||||
## Key Properties
|
||||
- **包名**: librsvg(macOS)、librsvg2-bin(Ubuntu/Debian)
|
||||
- **macOS 安装**: `brew install librsvg`
|
||||
- **Ubuntu/Debian 安装**: `sudo apt install librsvg2-bin`
|
||||
- **验证**: `rsvg-convert --version`
|
||||
|
||||
## Role
|
||||
SVG → PNG 转换管道 — 将 AI 生成的 SVG 技术图批量渲染为可发布的 PNG 格式
|
||||
|
||||
## Relationships
|
||||
- [[rsvg-convert]] is used_by [[fireworks-tech-graph]]
|
||||
Reference in New Issue
Block a user