Respect🐾2021-06-17想问一下，是所有的服务通用一套模型么？还是每个服务单独train一个模型作者回复: 可以认为是每个服务单独训练一个模型，训练的数据是不一样的（每个服务有自己的训练数据），但是训练的流程都是一样的（同一套神经网络算法代码）。 当然，最后总有少数几个服务的结果不那么准确（Badcase），这时候就要单独看待了，如果服务很特殊，又必须预测容量，那么也许针对这个服务需要引入更特别的模型。
1
Geek15602023-08-05 来自上海你好： 1、这里的CPU指的是单机的CPU还是对整个服务的集群的CPU进行了归一化？ 2、每次训练出来的模型，在集群扩容后，是否适用了呢？作者回复: 1.是整个服务集群的CPU 2.集群扩容后就不适用了，因为服务的容量表现改变了，需要重新训练
飞翔2023-06-03 来自美国老师 还是不理解 获得了cpu利用率之后 能做啥作者回复: 例如，某大促活动预计服务QPS将到达1000，我们通过模型预测出CPU利用率将达到105%，显然是有风险的，此时我们就可以提前进行扩容或进行服务优化
共 2 条评论
kay2022-08-05 来自上海请教吴老师一个问题，这里的预测是对未来多长时间的预测？以tps为输入特征，是需要知道未来的tps吗？如何知道未来的tps？作者回复: 你好，能够预测未来多长时间的容量情况，取决于我们针对未来何时的业务场景建立模型。容量预测的模型与业务场景有关，与时间无关。 对于第二个问题，你的理解是对的，具体方法可以回顾第01篇中“容量保障目标的量化”这部分的“QPS/TPS”小节，如何将业务目标转化为容量保障的技术目标。
于加硕2022-07-11另外，在请教个问题吴老师，神经网络使用历史数据计算出模型后，下次模型更新的决策条件是什么？是应用逻辑变更吗？还是残差(实际值如CPU与预测值CPU的差)变大才会触发神经网络再次建模？作者回复: 好问题，下篇有解答你的疑问
- 于加硕2022-07-11吴老师能否简单讲下回归分析和神经网络来做容量规划思路的区别？目前对于神经网络还没有研究过，在之前的调研中，没有发现有公司使用这种方案，大多采用回归分析；文中所说的因变量，自变量，模型，预测，评价模型优劣，与回归分析思路一致；
作者回复: 原理上，两者都能处理“回归问题”，神经网络的重点是建立自变量和因变量之间的关系，而回归分析更关注这一关系的内部结构。就容量预测的问题来说，两者没有本质的区别（我们并不需要去解释这一关系的结构）。
qinsi2021-08-17第一印象感觉并不是很靠谱，希望能探讨一下： 1. 模型能学习到的都是历史数据。文章开头的例子里提到要应对每年双11的流量，但双11的流量每年都在创新高（据说淘宝的数据还能用多项式完美拟合，这里不讨论），对于模型来说就是要预测在已知数据分布外的全新数据，通常来说效果都不会太好。不知道实际使用的时候效果如何？ 2. 不知道输入特征的维度有多少？如果是低维度特征的话用深度神经网络很容易就会过拟合。使用k-fold cross validation也并不能完全避免过拟合的情况。不知道实际使用的时候有采取什么方法检测过拟合的情况呢？作者回复: 很高兴看到有深度的回复，咱们互相学习。 对于第一个问题，在容量测试下篇中的“容量预测迭代与校准”和“警惕业务场景变化”这两部分恰好谈到了相应的解决方案（当然，没有银弹），可以看看是不是有启发。 对于第二个问题，我在这里细讲一下，假定你所指的维度=特征数量。在我们的实践中，输入特征的维度不高，甚至我们还额外做了一些降维的工作（将各依赖服务的TPS合并为一个特征），原因是特征过多的情况下，模型很难收敛，调优也很困难。但是维度过低也容易出现过拟合的情况，我们的做法是将所有特征通过类似feature importance的方式去打分，从而获得对结果贡献最大的某组特征的组合，再基于这个特征组合去进一步识别是否过拟合（识别过拟合比较偷懒，直接可视化以后人肉识别），以及是不是要降维，反复调优逼近最佳结果。
共 3 条评论
yungoo2021-06-05有试过ARIMA模型吗？作者回复: 我们当时并没有将研究的重点放在时序预测模型上，主要是考虑到神经网络的通用性更强，所以我们觉得这条路一定是走得通的（事实证明确实走通了）。不过辩证地说，也许类似AMIRA或ARIMAX这样的时序预测模型会得到更好的效果，如果你有成功的实践案例，非常愿意学习！