29 深度学习框架下的神经网络 | 见微知著：卷积神经网络

没带电脑，也连不上Google。现在只记得卷积网络里的一些参数，但对于如何设置这些参数，它们会影响什么没理解和记住。有机会以后找找这方面的入门文章看看。下面是我遇到过的一些参数，其中卷积核数目，尺寸，步长，padding，核初始化方法这些调整和设置更常见。 卷积核的数目，输出的维度; 卷积核的宽度和长度; 卷积的步长; padding; 激活函数，我的理解这个与卷积层，池化层不相关; 膨胀比例，我比较少遇到使用这个参数的例子; 是否使用偏置项; 核权值初始化方法; 偏置初始化方法; 施加在权重上的正则项; 施加在偏置向量上的正则项; 施加在输出上的正则项; 施加在权重上的约束项; 施加在偏置上的约束项.

从效果看，最好卷积层能发现不同的特征，同时计算量能少一些。下面属于我的臆测，未考证。 比如多大的卷积核尺寸适合发现直线，曲线，多大的卷积核适合发现开环，闭环。有的卷积核判断图形类别，轮廓，形状，有的卷积核判断图像明暗，有的卷积核判断色彩组合。多大的池化层能减小计算量和过拟合同时又能减小训练误差（不会欠拟合）。 另外之前见过案例说眼睛位置不对的人脸未能分辨出来，从这篇文章看是不是池化层的特性决定了对眼睛位置的判断会差一些。是不是通过卷积层或其他函数引入对位置特征的提取能改善这个问题。

从效果看，最好卷积层能发现不同的特征，同时计算量能少一些。下面属于我的臆测，未考证。 比如多大的卷积核尺寸适合发现直线，曲线，多大的卷积核适合发现开环，闭环。有的卷积核判断图形类别，轮廓，形状，有的卷积核判断图像明暗，有的卷积核判断色彩组合。多大的池化层能减小计算量和过拟合同时又能减小训练误差（不会欠拟合）。 另外之前见过案例说眼睛位置不对的人脸未能分辨出来，从这篇文章看是不是池化层的特性决定了对眼睛位置的判断会差一些。是不是通过卷积层或其他函数引入对位置特征的提取能改善这个问题。

今天这篇文章有很多不错的形象直观的比喻，很有助于理解和记忆。 如卷积核的作用比作菜谱；参数共享性中的直线；相似性中的直角；池化层是对最大值的提取与旋转不变性的关联。

学习打卡

更直观的理解

极客时间 21天打卡行动 27/21 <<人工智能基础课29>> 见微知著：卷积神经网络 写在最前: no algorithm no convolution--微信签名 回答老师问题: 在卷积神经网络中，很多参数都会对性能产生影响。那么在设计卷积层和池化层时，需要考虑哪些具体的因素呢? 1,Max Pooling：最大池化 2,Average Pooling：平均池化 3,卷积层数,做到小而深; 今日所学: 1,卷积神经网络（convolutional neural network）指的是至少在某一层中用卷积运算（convolution）来代替矩阵乘法的神经网络。 2,卷积是对两个函数进行的一种数学_运算，在不同的学科中有不同的解释方式。在卷积网络中，两个参与运算的函数分别叫做输入 和核函数（kernel function）。本质上讲，卷积就是以核函数作为权重系数，对输入进行加权求和的过程。 3,卷积神经网络的稀疏感知性、参数共享性和平移不变性都有助于将它应用在图像处理之中。 4,稀疏感知性（sparse interaction）指的是卷积层核函数的大小通常远远小于图像的大小。 5,参数共享性（parameter sharing）指的则是在一个模型中使用相同的参数; 6,平移不变性（translational equivalence）指的是当卷积的输入产生平移时，其输出等于原始输出做出相同数量的平移，这说明平移操作和核函数的作用是可以交换的。 7,当输入图像被送入卷积神经网络后，先后要循环通过卷积层、激活层和池化层，最后从全连接层输出分类结果; 8,核函数将输入图像全部扫描完毕后，计算出的所有卷积结果又可以构成一个矩阵，这个新矩阵就是特征映射（feature map); 9,虽然卷积的表达式具有二维的形式，可如果把二维的输入和核函数拉成一维向量的话，卷积计算的实际上就是两者的内积！ 10,通过合理设置核函数的性质，卷积层就能够提取出图像的特征; 11,卷积神经网络的卷积层之间通常周期性地会插入池化层（pooling layer）。池化层更恰当的名字是下采样层（downsampling layer），它的作用是对得到的特征映射矩阵进行筛选; 12,常见的最大池化（max pooling）的做法就是将特征映射划分为若干个矩形区域，挑选每个区域中的最大值，也就是最明显的特征作为下采样的结果; 13,池化机制的应用也可以看成是参数共享的体现：在一个图像区域有用的特征极有可能在另一个区域同样适用; 14,卷积神经网络结构工作流程：输入层将待处理的图像转化为一个或者多个像素矩阵，卷积层利用一个或多个卷积核从像素矩阵中提取特征，得到的特征映射经过非线性函数处理后被送入池化层，由池化层执行降维操作。卷积层和池化层的交替使用可以使卷积神经网络提取出不同层次上的图像特征。最后得到的特征作为全连接层的输入，由全连接层的分类器输出分类结果。 15,在卷积神经网络的训练里，待训练的参数是卷积核，也就是卷积层中的权重系数矩阵。训练采用的也是反向传播的方法，参数的不断更新能够提升图像特征提取的精度; 16,残差网络:将深度结构应用于卷积神经网络当中可以增强表达能力，在图像分类和目标检测等问题上表现出优异的性能。可是当网络的层数超过特定的阈值时，训练误差也会随着层数的增加而增加，网络的性能不仅不能提升，反而会出现显著的退化。残差网络正是通过残差结构单元解决了深度网络性能下降的问题，使网络层数可以达到千层以上。 重点提炼: 1,卷积神经网络是应用了卷积运算的神经网络，适用于处理网格化数据； 2,卷积神经网络具有稀疏感知性、参数共享性和平移不变性； 3,卷积神经网络的结构包括交替出现的卷积层、激活层和池化层，以及作为输出的全连接层； 4,卷积神经网络的作用是逐层提取输入对象的特征。