容量保障核心技术与实战
吴骏龙
前阿里巴巴本地生活 P8 高级专家
5387 人已学习
新⼈⾸单¥29
登录后,你可以任选2讲全文学习
课程目录
已完结/共 19 讲
容量保障核心技术与实战
15
15
1.0x
00:00/00:00
登录|注册

09 | 容量预测(下):为不同服务“画像”,提升容量预测准确性

你好,我是吴骏龙。
在容量预测的上篇中,我介绍了容量预测的基本过程和方法,在课后讨论环节也出了一道题目供你思考,你都学会了吗?掌握了这些基础知识后,在这一讲我们继续讨论容量预测中的一些进阶问题,这些问题都是我在实践中摸爬滚打提炼出来的,如果你想在工作中应用容量预测,那么这些问题也是绕不开的。
首先,虽然我们已经建立了理想化的模型,但现实情况是,这个模型可能针对某些服务的预测结果总是不那么准确,而且无论怎么调整模型的参数都收效甚微。这时候,我们应该回过头思考一下,当初选择的特征是否合适?
其次,服务是在不断迭代的,不断有新功能上线,这就意味着服务的容量始终处于变化的过程中,如果容量预测的模型也跟着高频变化,计算量就会非常大,怎么权衡好服务迭代和模型更新之间的关系呢?
最后,即便服务不变,业务场景的变化也会造成服务容量的变化,例如大促活动带来局部几个服务的流量突增,如果我们按照非大促期间业务场景的流量特征去建立模型,对容量进行预测,肯定是不准确的,那该如何应对呢?
别急,上面这三个问题,都是有解决方案的。我们赶紧来看一看这些问题都是如何解决的吧。

相关度分析与服务画像

在上一讲所提到的特征选取过程中,我比较“草率”地将服务的 TPS 和依赖服务的 TPS 作为输入,与 CPU 利用率建立模型。但实际情况下,CPU 利用率可能不仅仅受 TPS 制约,如果我们忽略其他特征的话,有很大可能就会影响模型的准确性。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

容量预测是一项关键的技术,本文介绍了容量预测中的一些进阶问题及解决方案。首先,文章提到了对特征的选择是否合适的问题,以及服务迭代和模型更新之间的权衡关系。其次,文章介绍了相关度分析与服务画像的概念,以及如何通过皮尔逊相关系数进行定量分析,以及针对强相关和弱相关的场景如何处理。最后,文章提出了基于服务画像和概率表的方式来解决容量预测中特征选择的问题。通过这些方法,读者可以更好地理解容量预测的技术特点,并在实践中应用这些方法提升容量预测的准确性。 在进阶问题中,文章首先介绍了容量预测迭代与校准的重要性,强调了服务迭代对容量预测的影响,以及如何通过滑动窗口机制平衡服务迭代和容量预测频率的关系。其次,文章警示了业务场景变化对容量预测的影响,并提出了全链路压测和容量预测双向校准的机制,以提前对变化的业务场景进行预测,识别容量风险。 总的来说,本文通过深入探讨容量预测中的高阶问题,提出了一系列实践方案,包括特征选择、服务迭代与校准、业务场景变化等方面的解决方案,为读者提供了丰富的实践经验和技术指导。这些方法经过实际验证,能够帮助读者更好地应对容量预测中的挑战,提升预测准确性,具有很高的实用价值。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《容量保障核心技术与实战》
新⼈⾸单¥29
立即购买
登录 后留言

全部留言(5)

  • 最新
  • 精选
  • P.T
    如果获得了cpu利用率,怎么指导在全链路上的容量缩阔呢?cpu利用率和容量也不一定是线性的吧。

    作者回复: 我们会按照线性计算+少量的buffer先扩容,然后通过单链路压测或全链路压测验证扩容的有效性。如果是紧急扩容可以稍微多扩一些,非紧急的则可以保守一些。

    2021-07-20
    1
  • IO密集型的系统 除了cpu还有哪些指教作为系统容量指标

    作者回复: 你好,I/O密集型的服务系统,一般对CPU的消耗不大(大部分任务都在等I/O而不是在计算),容量指标的选取主要针对I/O密集操作的对象,比如磁盘I/O密集,那么磁盘的相关指标(磁盘读写性能IOPS、吞吐量、响应时间等)就应该作为容量指标。

    2023-08-16归属地:上海
  • 于加硕
    实际的使用过程中,应用的模型R平方在9.0以上,预测的会非常准确。小于这个值的,残差肉眼可见的偏大。 应用变更后需要等待一个周期(24h,15h)才能对其建立新模型,变更后到新模型创建期间,容量预测是不准确的,这大概是所有采用回归分析思路的容量预测都存在问题吧。

    作者回复: 同意,变更后的等待周期与企业的业务特点有关系,一般经历过一个典型业务期(如业务高峰期)就可以重新采样建模了,建模未完成时,不建议用老模型进行新的预测工作。

    2022-11-21归属地:上海
  • 于加硕
    解答了上一篇的一些疑问,关于寻找特征值我们的实践经验是找到所有的QPS来源,将其相加。 全链路压测与AI容量预测对比容量预测结果的前提是全链路压测的所有接口要符合日常请求的比例,这个就解答了我们的问题,在全链路压测中,经常采用场景压测的形式,这样得到的结果与容量预测就差别很大了。

    作者回复: 说得对,其实全链路压测的模型也是需要定期校准的,涉及的业务场景中各请求链路的接口调用比例应保持更新,做到这一点通常并不困难,方法在文中也已提到,与“快照”对比即可。

    2022-07-11
    2
  • keeper
    数据库的容量预测选什么特征比较好呢
    2024-01-30归属地:广东
收起评论
显示
设置
留言
5
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部