--- title: "Public Cloud Learning Sessions - Storage Cost Optimization - 20240305" type: source tags: - AWS - Storage - FinOps - Cost-Optimization date: 2024-03-05 --- ## Source File - [[raw/Cloud & DevOps/Public-Cloud-Learning-Sessions/05_FinOps/public-cloud-learning-sessions-storage-cost-optimization-20240305-160037-meeting.md]] ## Summary(用中文描述) - 核心主题:AWS 存储服务(EBS/EFS/FSx/S3)的成本优化最佳实践与 ADM 实案例证 - 问题域:公有云存储选型决策、存储层级管理、生命周期策略、数据传输成本控制 - 方法/机制:按需选择存储类型与层级、智能分层(Intelligent Tiering)、生命周期策略自动化、DLM/AWS Backup 快照管理 - 结论/价值:正确的存储选型和分层策略可带来显著成本节省;ADM 通过迁移至 FSx for NetApp ONTAP 实现 60% 成本削减 ## Key Claims(用中文描述) - GP3 相比 GP2 提供 20% 成本优化,且可独立扩展 IOPS 和吞吐量 - EBS 快照归档层提供比标准层低 75% 的存储成本,但恢复时间更长、保留期为 90 天 - EFS 不频繁访问层最小计费对象大小为 128KB - S3 Intelligent Tiering 可根据访问模式自动在冷热存储层之间迁移数据,且层间迁移无转换费用 - ADM 迁移至 AWS FSx for NetApp ONTAP 后,相比最初的自管理 NetApp on EC2 方案实现 60% 成本削减 ## Key Quotes > "With GP3, you can scale IOPS and throughput independently of the volume size." — GP3 核心优势 > "With Intelligent Tiering we can automatically move data from warmer to colder storage tiers based on object access patterns." — S3 Intelligent Tiering 核心机制 ## Key Concepts - [[EBS-GP3]]:通用型 SSD(GP3),比 GP2 便宜 20%,可独立扩展 IOPS 和吞吐量 - [[EBS-Snapshot-Archive]]:EBS 快照归档层,比标准层低 75% 成本,但恢复需 3-12 小时且保留期 90 天 - [[Data-Lifecycle-Manager]]:AWS DLM,自动化 EBS 快照生命周期管理,可设置保留策略并迁移至归档层 - [[AWS-Backup]]:AWS 备份服务,可跨服务集中管理备份,支持跨账户跨区域复制 - [[EFS-Infrequent-Access]]:EFS 不频繁访问层,最小计费对象大小 128KB,通过生命周期策略自动迁移 - [[S3-Intelligent-Tiering]]:S3 智能分层,根据访问频率自动在多个存储层间迁移,无转换费用 - [[S3-Lifecycle-Policies]]:S3 生命周期策略,可转换对象层级、过期非当前版本、删除未完成的多段上传 - [[FSx-for-NetApp-ONTAP]]:AWS 托管 NetApp 文件系统,支持 SSD 和 HDD 分层,自动在层间迁移冷数据 - [[AWS-PrivateLink]]:通过 AWS 网络内访问 S3 避免数据传输费用 ## Key Entities - [[AWS]]:Amazon Web Services,云存储服务提供商(EBS/EFS/FSx/S3) - [[ADM]]:案例客户,通过三阶段迁移(OpenZFS → 自管理 NetApp on EC2 → FSx for NetApp ONTAP)最终实现 60% 成本削减 ## Connections - [[public-cloud-learning-sessions-reducing-cloud-costs-20250318-170100-meeting-reco]] ← extends ← [[ctp-topic-13-cloud-finops-policies]] - [[EBS-GP3]] ← extends ← [[ctp-topic-13-cloud-finops-policies]](FinOps 存储优化话题扩展) - [[public-cloud-learning-sessions-best-practices-for-ec2-cost-optimization-in-aws-2]] ← extends ← [[public-cloud-learning-sessions-reducing-cloud-costs-20250318-170100-meeting-reco]](EC2 + Storage 共同构成完整成本优化知识链路) ## Contradictions - 与 [[ctp-topic-14-octane-hub-on-aws]] 的潜在冲突(存储选型): - 冲突点:EFS 与 EBS 的适用场景边界 - 当前观点:EFS 适合备份,EBS 适合实时数据库(Octane Hub 案例) - 对方观点:EFS Infrequent Access 和 EFS Archive 层适用于不频繁访问的文件共享场景 - 说明:两者均正确,但适用场景不同——EFS 更适合跨多实例共享的文件系统,EBS 更适合单实例高性能块存储