qinsi
2020-08-31
既然共轭梯度法在训练神经网络时被证明比梯度下降更有效,那为什么现在主流的深度学习框架中都没有提供共轭梯度的优化方法呢?
作者回复: 好问题,如果是高维参数情况下,共轭梯度效果确实要好,GPU情况下也很显著,但如果从主流深度学习框架对CG的支持角度来看,这个可能要从框架本身去解释了。
1
fei
2022-01-21
共轭的中文含义读了这篇才算是知道了。数值计算的介绍,高屋建瓴。很赞! 文中有一段公式排版出错了: “现在,再来看一下错误等式,$\mathrm{Se}{k+1}=T e{k},我们把S和T$ 代入等式”
2
杨宇
2022-06-30
雅克比方法,“其余部分移到等式右边,得出 T 矩阵”——这一步能详细说说吗?