22｜存储成本：如何推算日志中心的实现成本？
徐长龙
该思维导图由 AI 生成，仅供参考
你好，我是徐长龙。
前面我们比较过很多技术，细心的你应该发现了，比较时我们常常会考虑实现成本这一项。这是因为技术选型上的“斤斤计较”，能够帮我们省下真金白银。那么你是否系统思考过，到底怎么计算成本呢？
这节课，我会结合日志中心的例子带你计算成本。
之所以选日志中心，主要有这两方面的考虑：一方面是因为它重要且通用，作为系统监控的核心组件，几乎所有系统监控和故障排查都依赖日志中心，大部分的系统都用得上；另一方面日志中心是成本很高的项目，计算也比较复杂，如果你跟着我把课程里的例子拿下了，以后用类似思路去计算其他组件也会容易很多。
根据流量推算存储容量及投入成本
在互联网服务中，最大的变数就在用户流量上。相比普通的服务，高并发的系统需要同时服务的在线人数会更多，所以对这类系统做容量设计时，我们就需要根据用户请求量和同时在线人数，来推算系统硬件需要投入多少成本。
很多系统在初期会用云服务实现日志中心，但核心接口流量超过 10W QPS 后，很多公司就会考虑自建机房去实现，甚至后期还会持续改进日志中心，自己制作一些个性化的服务。
其实，这些优化和实现本质上都和成本息息相关。这么说你可能不太理解，所以我们结合例子，实际算算一个网站的日志中心存储容量和成本要怎么计算。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文详细介绍了如何推算日志中心的存储成本以及如何节省存储成本的方法。首先，通过实例介绍了根据流量和用户请求量计算存储需求的方法，以及硬盘和服务器的投入成本计算。其次，提出了临时应对流量增长的方案，如减少保存日志的周期、区分核心业务和非核心业务的日志存储等。此外，还介绍了在高并发写的存储冷热分离方面的节约成本的方法，包括采用高性能硬件扛住高峰期压力和冷热分离存储等。文章还强调了在节约成本时不应牺牲业务服务的重要性。通过具体案例和实用建议，为技术人员提供了关于日志中心存储成本计算和节约成本的重要参考，具有一定的实用价值。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《高并发系统实战课》，新⼈⾸单¥59
《高并发系统实战课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
陈卧虫从前从没想过，原来要花这么多钱作者回复: 技术人员想创业这里也是个槛，刚开始需要用最少的资源做最好的效果
2022-12-19归属地：北京3
若水清菡1. 建设日志中心，使用云厂商的服务贵还是自己建设的贵？ 日志体量少的中小企业建设日志中心优先考虑云厂商，省去了运维人员费用，不需要担心机器资源短缺、无法快速扩容等问题；日志体量大的企业建设日志中心适合自建机房，日志量庞大上云的费用超过自建机房费用，在内蒙、贵州这些地方自建机房的成本要远低于使用云服务，同时现在服务器性能都足够高，可以采用离线日志计算和在线业务混合部署，灵活调度计算资源节约运维成本。 2. 大数据挖掘服务如何计算成本？ 可以根据业务提交任务消耗的资源量，存储和计算资源*运行时间*单价来计算成本作者回复: 你好，若水，第一个问题确实如此取决于规模，同时要注意不同区域网络传输带来的延迟。第二个问题没错运行时间是大数据要考虑的，同时考虑数据的磁盘吞吐量、传输带宽、所需内存、实时性、历史数据大小以及每天周期任务量
2023-01-26归属地：北京2
收起评论
