07｜如何解决Prometheus的存储容量问题？

2023-01-23 秦晓辉

《运维监控系统实战笔记》

课程介绍



讲述：秦晓辉

时长:大小13.73M



你好，我是秦晓辉。
前几讲我们介绍了 Prometheus 的关键设计，这些设计都非常优秀。在云原生监控领域，有不可撼动的江湖地位，那这样说来 Prometheus 是不是就没有缺点了呢？是否可以满足所有使用场景呢？显然也不是。
一个软件如果什么问题都想解决，就会导致什么问题都解决不好。所以 Prometheus 也存在一些不足之处，其中一个广受诟病的问题就是单机存储不好扩展。所以这一讲我们就针对这个问题来聊聊如何扩展 Prometheus 的存储。
所有场景都需要扩展容量吗？虽然我们聊的是 Prometheus 容量扩展问题，不过我必须先说明一点，大部分场景其实不需要扩展，因为一般的数据量压根达不到 Prometheus 的容量上限。很多中小型公司使用单机版本的 Prometheus 就足够了，这个时候不要想着去扩展，容易过度设计，引入架构上的复杂度问题。
Prometheus 单机容量上限是多少？根据我的经验，每秒接收 80 万个数据点，算是一个比较健康的上限，一开始也无需用一台配...



展开全文

精选留言

lei
2023-02-07 来自浙江
80w的数据点是在怎么样的机器上测出来的，内存和核数能告知下嘛？另外正式版搭建时，推荐的配置是什么样子的，官网也没找到合适的建议！
作者回复: 32C64G，SSD，一开始也无需用一台配置特别高的机器，随着数据量的增长，可以再升级硬件的配置。当然，如果想要硬件方便升配，就需要借助虚拟机或容器，同时需要使用分布式块存储。
共 2 条评论
3
hshopeful
2023-01-23 来自上海
几年前在的公司是参考opentsdb，底层使用hbase 自研的
作者回复: 这是个大厂
2
lei
2023-02-14 来自浙江
VictoriaMetrics的数据保留时长可以针对不同的业务单独去配置吗，如果是全局的就不太友好
作者回复: 新版本不知道如何，之前我看的时候是全局的
1
javaworker
2023-08-13 来自北京
老师，我的prometheus server 运行sql，运行几次就内存溢出了，sql查询结果也就4万多条，哪里可以配置server的堆内存呐？
作者回复: Prometheus是go写的，不是java，只要没有使用cgroup限制，就基本可以使用到操作系统的剩余所有内存
Geek_51809f
2023-05-24 来自北京
老师如果使用2台prometheus（采集一样的数据），同时去写到一个共享目录data, 这样可以解决数据一致性的问题。这种方案同时写到一个目录可以实现吗
作者回复: 没见过这么干的，数据应该会混乱
追风少年
2023-03-31 来自北京
老师，VictoriaMetrics 开源版本缺少降采样功能对存储容量、查询性能有整体影响吗。
作者回复: 如果有需求一次性查一年的数据趋势，就很难搞定了。只是做故障定位，没问题的，一般存3个月就挺多了
Geek_51809f
2023-03-28 来自北京
老师有了解远端存储使用es的方案吗我现在了解到使用es只能写，不支持读，这种是什么原因不支持读呢
作者回复: es没有提供remote read接口，大概率是es自身设计不适合做remote read这个支持。其实存储时序数据业界用es的很少，es存metrics数据性能一般
莫问天机
2023-02-07 来自北京
请教个问题，prometheus windows 版本，默认存储时间15天，这个如何改呢
作者回复: 一般软件都看 --help 就可以了。./prometheus --help
lei
2023-02-03 来自浙江
大佬咨询下，Prometheus的远程存储方案是不是只利用了Prometheus的pull功能，存储完全放在VM上。n9e在write的时候也是直接对接VM？
作者回复: 对，数据是在vm上
DBRE
2023-02-02 来自北京
Prometheus🈶️推荐的高可用方案吗？
作者回复: 高可用这块，无非就是存储和告警引擎。存储就是本文介绍的内容，告警的话建议用 Nightingale，Nightingale的告警引擎可以部署多个节点做成高可用集群
共 2 条评论