总结一下老师大致是说，神经网络本质是可微的复合函数，不要仅仅注意到激活函数而被带偏了。然而我个人的理解，激活函数带来的非线性特性也很重要，否则神经网络的表达能力与线性函数无疑

可以补充西瓜书的广义线性回归和Andrew Ng的链式法则推导，感觉老师的课比较精简建议给些补充材料

神经网络的本质是复合函数，因此可以通过链式法则进行求导训练网络（也叫反向传播，通过最小化损失函数，进而反向对未知参数求导）。激活函数时非线性，进而可以拟合较复杂的函数关系。

我感觉用logistic回归的思想来解释神经网络比较切合。以二分类为例： X表示样本${x_1,x_2,....}$；C表示类别${c_1=1,c_2=-1}$，$P$表示概率。 已知如下： 当$P(C_1|x_1)/P(C_2|X_1)>1$时$X_1$属于$C_1$类， 当$P(C_1|x_1)/P(C_2|X_1)<1$时$X_1$属于$C_2$类. 由于是二分类问题，可以将上式继续简化 $P(C_1|x_1)/(1-P(C_1|x_1))>1$时$X_1$属于$C_1$类， $P(C_1|x_1)/(1-P(C_1|x_1))<1$时$X_1$属于$C_2$类， 上述公式是分类问题的描述，但是这个公式还有一个问题需要处理，由函数$x/(1-x)$图像可知，在0和1附近的值太小和太大将函数图像的波动掩盖了，所以需要加上对数，$ln{P(C_1|x_1)/(1-P(C_1|x_1))}$。 下面引入logitic regression(LR)和神经网络。 1. LR(欢迎讨论，根据自己理解定义的) 经过上述的讨论我们知道了要拟合的目标即:$ln{P(C_1|x_1)/(1-P(C_1|x_1))}$，使用$\overrightarrow w \overrightarrow x+\overrightarrow b$来拟合的话就是LR模型，推导如下： $ln{P(C_1|x_1)/(1-P(C_1|x_1))}=\overrightarrow w \overrightarrow x+\overrightarrow b$ $e^{ln{P(C_1|x_1)/(1-P(C_1|x_1))}}=e^{\overrightarrow w \overrightarrow x+\overrightarrow b}$ $P(C_1|x_1)/(1-P(C_1|x_1))=e^{\overrightarrow w \overrightarrow x+\overrightarrow b}$ $1/(\frac {1}{P(C_1|x_1)}-1)=e^{\overrightarrow w \overrightarrow x+\overrightarrow b}$ $P(C_1|x_1)=\frac {e^{\overrightarrow w \overrightarrow x+\overrightarrow b}}{1+e^{\overrightarrow w \overrightarrow x+\overrightarrow b}}$ 由二分类可知， $P(C_2|x_1)=\frac {1}{1+e^{\overrightarrow w \overrightarrow x+\overrightarrow b}}$ $P(C_2|x_1)+P(C_1|x_1)= 1$ 以上也可与推广到多分类。 2. 神经网络 神经网络也是在拟合$ln{P(C_1|x_1)/(1-P(C_1|x_1))}$，只不过神经网络的需要拟合的函数${(\overrightarrow w \overrightarrow x+\overrightarrow b)}^{*}$要复杂的多，加个星号表示的是广义的。

神经网络分前向传播和反向传播两个过程。求解梯度是反向传播的过程。 矩阵求导可以参考matrix cookbook

这个神经网络是复合函数的角度以前没想过

神经网络的数学本质和神经网络反响传播的本质是不同的。你讲的是反响传播，而不是网络

老师，我想系统学习下向量求导，有推荐的教程吗

神经网络数学本质是复合函数，并且可以通过链式求导来训练更新参数。

王老师，神经网络是表示的概率还是表示的函数？我看有些在用概率解释神经网络，计算损失函数的时候也会引入概率分布的概念。