---
title: "CTP Topic 54 ESM SaaS Log Analytics"
type: source
tags: [Log-Analytics, SaaS, ESM, CTP, EKS]
date: 2026-04-14
---

## Source File
- [[raw/Cloud & DevOps/Public-Cloud-Learning-Sessions/04_EKS/ctp-topic-54-esm-saas-log-analytics.md]]

## Summary
- 核心主题：ESM（Enterprise Service Management）SaaS Log Analytics（日志分析）架构与实践
- 问题域：云环境日志采集、存储、分析和可视化
- 方法/机制：ELK Stack（Elasticsearch、Logstash、Kibana）/OpenSearch 架构，BEATS 代理采集，VPC 间私有流量传输，TLS 1.2 加密，RBAC 访问控制
- 结论/价值：Log Analytics 是云运维可观测性的核心组件，不同解决方案（Logz.io、AWS OpenSearch、自托管 ELK、Microfocus OBA）在成本、管理复杂度和功能上有显著差异

## Key Claims
- ELK Stack 是日志分析的标准开源方案，由 Elasticsearch（存储搜索）、Logstash（处理转换）和 Kibana（可视化）组成
- 应用通过 BEATS 代理（Filebeat、Metricbeat 等）采集日志，Filebeat 作为容器持续将日志从应用 VPC 发送到日志 VPC
- OpenSearch 是 AWS 的 ELK 开源替代方案，提供托管服务
- 出于 GDPR 合规要求，日志农场按区域split（Oregon 美国、Europe 欧洲）
- 静态加密使用加密节点和 NVMe 设备硬件级加密，传输加密使用 TLS 1.2
- VPC 间流量走私有网络，不经过公网
- 成本对比（单农场、14天保留、每日 100GB）：Logz.io 约 $4,000/月，AWS OpenSearch 约 $1,500/月，自托管成本最低但维护量大
- 可用性 SLA：Logz.io 99.8%，AWS OpenSearch 99.9%

## Key Quotes
> "The application collects your log, it's called the BEATS." — Jackie, ITOM ESM SAS architect

> "Due to legal reasons like GDPR, farms are split regionally, with farms in Oregon, the US, and Europe." — 区域合规要求

> "We have already built up all the farms." — 实施状态

## Key Concepts
- [[ELK Stack]]：Elasticsearch + Logstash + Kibana 开源日志分析技术栈
- [[OpenSearch]]：AWS 的 ELK 开源分支，托管日志分析服务
- [[Logstash]]：日志处理管道，聚合和转换日志数据
- [[Kibana]]：日志可视化前端
- [[BEATS]]：Elastic 开发的轻量级数据采集器家族（Filebeat、Metricbeat、Heartbeat 等）
- [[Filebeat]]：运行在容器中的日志文件采集代理
- [[Redis]]：可选的消息队列缓冲，防止 Logstash 过载
- [[RBAC]]：基于角色的访问控制
- [[GDPR]]：欧盟通用数据保护条例，合规驱动区域部署
- [[TLS 1.2]]：传输层安全协议版本
- [[Log Analytics]]：日志分析，日志数据的采集、存储、搜索和可视化

## Key Entities
- [[Jackie]]：ITOM ESM SAS architect，演讲者

## Connections
- [[ELK Stack]] ← depends_on ← [[BEATS]]
- [[ELK Stack]] ← depends_on ← [[Logstash]]
- [[ELK Stack]] ← depends_on ← [[Elasticsearch]]
- [[ELK Stack]] ← depends_on ← [[Kibana]]
- [[OpenSearch]] ← extends ← [[ELK Stack]]
- [[Logstash]] ← uses_buffer ← [[Redis]]
- [[Log Analytics]] ← implements ← [[Observability-Engineering]]

## Contradictions
- （暂无）