19 lines
1.7 KiB
Markdown
19 lines
1.7 KiB
Markdown
# 用 s3-batch-object-store 提升云存储效率
|
||
|
||
- **期号**: SRE Weekly Issue #434（2024-07-21）
|
||
- **作者**: Pablo Matias Gomez — Embrace
|
||
- **链接**: https://embrace.io/blog/s3-batch-object-store/
|
||
|
||
## 简介
|
||
|
||
他们的工作负载需要写入大量小对象，但读取却很少。通过把多次写入批量合并成 S3 中的单个对象，他们省下了一大笔钱，现在他们把解决方案开源了。
|
||
|
||
## 正文
|
||
|
||
在 Embrace，我们不断努力改进自己的基础设施，以处理我们每天处理的海量数据。作为移动应用可观测性平台，我们面临的最大挑战之一是管理大型对象的存储与检索，尤其是 session——这是我们最大的对象。作为背景，我们的基础设施每小时要处理数千万个用户会话，单个会话的大小在 30 KB 到 80 KB 之间。
|
||
|
||
我们之前的解决方案是用 Cassandra 存储这些对象，并在需要时按 ID 取回，但这种方法带来了几个问题，促使我们去寻找更高效的方法。这项探索最终实现了一个新组件，让我们可以把多个对象存进 S3 中的单个文件，大幅降低成本，并简化了我们的基础设施。
|
||
|
||
鉴于这个方案很好地满足了我们的需求，而且可以应用于各种大规模云对象存储场景，我们决定把这个模块开源，与社区分享，让任何人都能用上它！
|
||
|
||
TL;DR：我们用新方法把存储成本降低了 70%。你可以前往我们的 [s3-batch-object-store GitHub 仓库](https://github.com/embrace-io/s3-batch-object-store) 查看这个模块并试用。欢迎告诉我们你的想法，我们欢迎反馈、issue 和 pull request，以继续改进这个模块。 |