Update nexus wiki content

wiki/concepts/CDC-Change-Data-Capture.md

@@ -0,0 +1,41 @@
+---
+title: "CDC (Change Data Capture)"
+type: concept
+tags: [data-engineering, streaming, incremental-pipeline]
+sources: [engineering-data-engineer]
+last_updated: 2026-05-02
+---
+
+## Definition
+
+CDC（Change Data Capture，变更数据捕获）是一种从源系统捕获增量变更（插入、更新、删除）的技术，使数据管道无需全量刷新即可同步最新数据，大幅降低计算成本。
+
+## How It Works
+
+1. **识别变更**：从源数据库的事务日志（WAL）、时间戳字段或变更追踪表中提取变更记录
+2. **携带元数据**：每条 CDC 记录携带变更类型（INSERT/UPDATE/DELETE）、变更时间、来源事务 ID
+3. **幂等写入**：通过主键或变更时间戳实现幂等 upsert（MERGE INTO Delta Lake），确保重新运行安全
+
+## Benefits
+
+- **成本节省**：增量处理 vs. 全量刷新，成本降低 90%+
+- **低延迟**：变更实时捕获，支持分钟级甚至秒级数据刷新
+- **低影响**：CDC 通常基于数据库日志读取，对源系统影响极小
+
+## CDC in Medallion Architecture
+
+- **Bronze 层**：CDC 记录追加写入，保留完整变更历史（append-only）
+- **Silver 层**：基于变更类型（INSERT=插入, UPDATE=更新, DELETE=标记删除）进行去重和 conform
+- **Gold 层**：CDC 支持近实时业务指标更新
+
+## CDC Technologies
+
+- **Debezium**：开源 CDC 平台，捕获 MySQL/PostgreSQL/MongoDB 等变更并发布到 Kafka
+- **AWS DMS**（Database Migration Service）：AWS 托管 CDC 解决方案
+- **Azure Data Factory** CDC 活动：Azure 生态 CDC 工具
+- **Databricks Auto Loader**：`cloudFiles` 增量摄取 CSV/Parquet/JSON 文件变更
+
+## Related Concepts
+- [[Medallion Architecture]]
+- [[Data Contract]]（CDC 需配合数据契约确保 schema 兼容）
+- [[Apache Kafka]]（CDC 常用传输层）