65 lines
4.0 KiB
Markdown
65 lines
4.0 KiB
Markdown
---
|
||
title: "CTP Topic 54 ESM SaaS Log Analytics"
|
||
type: source
|
||
tags:
|
||
- Log-Analytics
|
||
- SaaS
|
||
- ESM
|
||
- EKS
|
||
- ELK
|
||
- OpenSearch
|
||
date: 2026-04-14
|
||
---
|
||
|
||
## Source File
|
||
- [[raw/Cloud & DevOps/Public-Cloud-Learning-Sessions/04_EKS/ctp-topic-54-esm-saas-log-analytics.md]]
|
||
|
||
## Summary（用中文描述）
|
||
- 核心主题：企业级日志分析解决方案（ESM SaaS），涵盖 ELK/OpenSearch 技术栈架构、区域部署、安全加固及主流方案对比
|
||
- 问题域：多 VPC 环境下的日志集中采集、传输安全、合规存储（GDPR）及成本控制
|
||
- 方法/机制：BEATS（Filebeat）采集 → Logstash 处理 → Elasticsearch/OpenSearch 存储 → Kibana 可视化；Redis 作为缓冲层防止 Logstash 过载；VPC 间私有流量传输
|
||
- 结论/价值：AWS OpenSearch 性价比最优（~$1,500/月 vs Logz.io ~$4,000/月），推荐起步用 Logz.io 试用，后续迁移 AWS OpenSearch
|
||
|
||
## Key Claims（用中文描述）
|
||
- ELK 栈（Elasticsearch + Logstash + Kibana）是开源日志分析标准方案，OpenSearch 为 AWS 托管替代
|
||
- 应用通过 BEATS（Filebeat）采集日志，Logstash 解析日志字段后存入 Elasticsearch/OpenSearch
|
||
- 双 VPC 架构：应用 VPC 运行 Filebeat 容器持续推送日志至日志 VPC 的 Logstash
|
||
- Redis 作为可选缓冲层防止 Logstash 过载
|
||
- 出于 GDPR 合规要求，农场按区域分割（美国俄勒冈、欧洲）
|
||
- 供应通过 CloudFormation 或 Terraform 实现，但安全加固和持续优化是主要挑战
|
||
- 静态加密采用加密节点和 NVMe 设备硬件级加密；传输加密使用 TLS 1.2；VPC 间流量走私有网络
|
||
- 基于索引的访问控制和 RBAC 实现不同用户角色隔离
|
||
- 方案对比：Logz.io（托管 ELK，$4,000/月，SLA 99.8%）、AWS OpenSearch（$1,500/月，SLA 99.9%，自动快照 DR）、自托管 ELK（成本低但维护复杂）、Microfocus OBA（商业成熟，支持列级访问控制）
|
||
|
||
## Key Quotes
|
||
> "The application collects your log, it's called the BEATS." — Jackie，解释 BEATS 组件在日志采集中的核心作用
|
||
> "We have already built up all the farms." — Jackie，表示区域农场已完成部署
|
||
> "Recommendations for starting with Log Analytics include beginning with Logz.io for its trial period, then transitioning to AWS OpenSearch or self-hosted options for more control." — 最佳起步路径建议
|
||
|
||
## Key Concepts
|
||
- [[ELK Stack]]：Elasticsearch + Logstash + Kibana 开源日志分析技术栈
|
||
- [[OpenSearch]]：Elasticsearch 分支，AWS 托管版本，提供类似 Elasticsearch 的全文搜索和日志分析能力
|
||
- [[Logstash]]：日志采集管道，负责解析和转换日志字段
|
||
- [[Kibana]]：日志可视化前端
|
||
- [[BEATS]]：轻量级日志采集代理家族，其中 Filebeat 常用作容器日志采集器
|
||
- [[Redis]]：可选缓冲层，防止 Logstash 过载
|
||
- [[GDPR]]：欧盟通用数据保护条例，推动日志农场按区域分割部署
|
||
- [[RBAC]]：基于角色的访问控制，用于日志系统的用户权限管理
|
||
- [[TLS 1.2]]：传输层加密标准，确保日志数据在传输过程中的安全性
|
||
|
||
## Key Entities
|
||
- [[Jackie]]：ITOM ESM SAS 架构师，本视频主讲人
|
||
- [[AWS OpenSearch]]：AWS 托管的 OpenSearch 服务，日志分析推荐方案
|
||
- [[Logz.io]]：托管 ELK SaaS 解决方案
|
||
- [[Micro Focus Operations Bridge]]：企业级 IT 运维监控套件，OBA 为其日志分析组件
|
||
- [[Elasticsearch]]：开源分布式搜索和分析引擎，ELK 栈核心组件
|
||
|
||
## Connections
|
||
- [[ctp-topic-8-implementation-of-cloud-monitoring-using-micro-focus-operations-brid]] ← related_to ← [[ctp-topic-54-esm-saas-log-analytics]]
|
||
- [[ctp-topic-60-monitor-aws-using-hyperscale-observability-with-grafana]] ← extends ← [[ctp-topic-54-esm-saas-log-analytics]]
|
||
- [[ctp-topic-70-eks-deployment-using-iac]] ← uses ← [[CloudFormation]] (供应工具)
|
||
- [[ctp-topic-39-implementing-eks-in-the-aws-lab-landing-zone]] ← similar_architecture ← (双 VPC 隔离架构)
|
||
|
||
## Contradictions
|
||
- 暂无发现与现有 Wiki 页面的冲突内容
|