23 | 压测平台:如何改造对象存储和性能监控?
高楼
你好,我是高楼。
这节课我们来聊聊如何改造分布式压测平台。
在第 6 讲,我们已经详细了解了流量工具的选型,我们一起来回顾下全链路流量平台必须具备的能力:
能录制线上真实流量;
能实现海量数据的并发请求,并覆盖地域性的 CDN 边缘节点;
能支持常见协议的请求;
对线上尽量应用透明,也就是说无侵入性;
避免写请求的脏数据,压测流量能够被识别,方便压测后清理;
工具使用简单,能够满足压测实时监控,服务安全保护(过载熔断)。
按照上面这几条能力需求,我还画了一个比较典型的全链路流量平台架构设计图。
在这张架构图中,我把压测平台分为压测 web 管理端、调度服务、压测引擎、监控服务、对象存储、录制服务六大模块。这样的一个全链路流量平台基本上就可以覆盖大部分企业的需求了。
接下来,我会就这里面部分的技术细节进行拆解。因为内容比较多,我会分成两节课讲解。这节课,我们主要看一下对象存储和性能监控模块如何落地。
对象存储
对象存储简单来说就是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。它还支持快速查询、上传下载等功能。通俗来说就是一个文件仓库。
现在大部分的公有云厂商,都提供了自己的对象存储服务,比如阿里云的 OSS、华为云的 OBS,腾讯云的 COS 等,我们只需集成云厂商提供的 SDK 即可访问。而开源产品方面,比较常见的有 Ceph 和 MinIO。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文详细介绍了如何改造分布式压测平台的对象存储和性能监控模块。首先,作者介绍了对象存储的概念和作用,以及常见的公有云厂商提供的对象存储服务和开源产品。在选择对象存储系统时,作者提到了Ceph和MinIO,并指出了MinIO相对于Ceph的轻量级和易于集成的优势。接着,文章详细介绍了如何搭建MinIO Server,并通过SpringBoot实现HTTP服务,包括文件上传、下载和删除操作的具体步骤和代码示例。最后,作者还介绍了如何进行接口测试,验证对象存储服务的功能。 在性能监控方面,文章提到了GoReplay的性能监控模块的改造。通过埋点和Prometheus+Grafana监控解决方案,实现了对GoReplay的Metrics实时接入,实时采集TPS和响应时间等压测指标,并结合Grafana看板进行图形可视化展示。文章详细介绍了在GoReplay中进行埋点的实现过程,包括安装依赖库、初始化监控Metric、业务代码中采集数据、注册Metric并提供接口给Prometheus TSDB收集数据等步骤。通过这些改造,读者可以快速了解如何对对象存储和性能监控模块进行落地实现,为实际项目提供了有益的技术指导和实践经验。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《全链路压测实战 30 讲》,新⼈⾸单¥59
《全链路压测实战 30 讲》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
- 我偷电瓶车养你啊老师,能给一个goreplay的grafana的dashbord吗?你的每门课我都买了,现在就卡在这里了
作者回复: 在grafana的官网上就有呀,我也是到上面去下载的。如果你要的上面没有,那在github也应该是有的。
2022-02-1141
收起评论