⑴ 深度学习之卷积神经网络经典模型
LeNet-5模型 在CNN的应用中，文字识别系统所用的LeNet-5模型是非常经典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一个成功大规模应用在手写数字识别问题的卷积神经网络，在MNIST数据集中的正确率可以高达99.2%。
下面详细介绍一下LeNet-5模型工作的原理。
LeNet-5模型一共有7层，每层包含众多参数，也就是卷积神经网络中的参数。虽然层数只有7层，这在如今庞大的神经网络中可是说是非常少的了，但是包含了卷积层，池化层，全连接层，可谓麻雀虽小五脏俱全了。为了方便，我们把卷积层称为C层，下采样层叫做下采样层。
首先，输入层输入原始图像，原始图像被处理成32×32个像素点的值。然后，后面的隐层计在卷积和子抽样之间交替进行。C1层是卷积层，包含了六个特征图。每个映射也就是28x28个神经元。卷积核可以是5x5的十字形，这28×28个神经元共享卷积核权值参数，通过卷积运算，原始信号特征增强，同时也降低了噪声，当卷积核不同时，提取到图像中的特征不同；C2层是一个池化层，池化层的功能在上文已经介绍过了，它将局部像素值平均化来实现子抽样。
池化层包含了六个特征映射，每个映射的像素值为14x14，这样的池化层非常重要，可以在一定程度上保证网络的特征被提取，同时运算量也大大降低，减少了网络结构过拟合的风险。因为卷积层与池化层是交替出现的，所以隐藏层的第三层又是一个卷积层，第二个卷积层由16个特征映射构成，每个特征映射用于加权和计算的卷积核为10x10的。第四个隐藏层，也就是第二个池化层同样包含16个特征映射，每个特征映射中所用的卷积核是5x5的。第五个隐藏层是用5x5的卷积核进行运算，包含了120个神经元，也是这个网络中卷积运算的最后一层。
之后的第六层便是全连接层，包含了84个特征图。全连接层中对输入进行点积之后加入偏置，然后经过一个激活函数传输给输出层的神经元。最后一层，也就是第七层，为了得到输出向量，设置了十个神经元来进行分类，相当于输出一个包含十个元素的一维数组，向量中的十个元素即0到9。
AlexNet模型
AlexNet简介
2012年Imagenet图像识别大赛中，Alext提出的alexnet网络模型一鸣惊人，引爆了神经网络的应用热潮，并且赢得了2012届图像识别大赛的冠军，这也使得卷积神经网络真正意义上成为图像处理上的核心算法。上文介绍的LeNet-5出现在上个世纪，虽然是经典，但是迫于种种复杂的现实场景限制，只能在一些领域应用。不过，随着SVM等手工设计的特征的飞速发展，LeNet-5并没有形成很大的应用状况。随着ReLU与dropout的提出，以及GPU带来算力突破和互联网时代大数据的爆发，卷积神经网络带来历史的突破，AlexNet的提出让深度学习走上人工智能的最前端。
图像预处理
AlexNet的训练数据采用ImageNet的子集中的ILSVRC2010数据集，包含了1000类，共1.2百万的训练图像，50000张验证集，150000张测试集。在进行网络训练之前我们要对数据集图片进行预处理。首先我们要将不同分辨率的图片全部变成256x256规格的图像，变换方法是将图片的短边缩放到 256像素值，然后截取长边的中间位置的256个像素值，得到256x256大小的图像。除了对图片大小进行预处理，还需要对图片减均值，一般图像均是由RGB三原色构成，均值按RGB三分量分别求得，由此可以更加突出图片的特征，更方便后面的计算。
此外，对了保证训练的效果，我们仍需对训练数据进行更为严苛的处理。在256x256大小的图像中，截取227x227大小的图像，在此之后对图片取镜像，这样就使得原始数据增加了（256-224）x（256-224）x2= 2048倍。最后对RGB空间做PCA，然后对主成分做（0,0.1）的高斯扰动，结果使错误率下降1%。对测试数据而言，抽取以图像4个角落的大小为224224的图像，中心的224224大小的图像以及它们的镜像翻转图像，这样便可以获得10张图像，我们便可以利用softmax进行预测，对所有预测取平均作为最终的分类结果。
ReLU激活函数
之前我们提到常用的非线性的激活函数是sigmoid，它能够把输入的连续实值全部确定在0和1之间。但是这带来一个问题，当一个负数的绝对值很大时，那么输出就是0；如果是绝对值非常大的正数，输出就是1。这就会出现饱和的现象，饱和现象中神经元的梯度会变得特别小，这样必然会使得网络的学习更加困难。此外，sigmoid的output的值并不是0为均值，因为这会导致上一层输出的非0均值信号会直接输入到后一层的神经元上。所以AlexNet模型提出了ReLU函数，公式：f(x)=max(0,x)f(x)=max(0,x)。
用ReLU代替了Sigmoid，发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid快很多，这成了AlexNet模型的优势之一。
Dropout
AlexNet模型提出了一个有效的模型组合方式，相比于单模型，只需要多花费一倍的时间，这种方式就做Dropout。在整个神经网络中，随机选取一半的神经元将它们的输出变成0。这种方式使得网络关闭了部分神经元，减少了过拟合现象。同时训练的迭代次数也得以增加。当时一个GTX580 GPU只有3GB内存，这使得大规模的运算成为不可能。但是，随着硬件水平的发展，当时的GPU已经可以实现并行计算了，并行计算之后两块GPU可以互相通信传输数据，这样的方式充分利用了GPU资源，所以模型设计利用两个GPU并行运算，大大提高了运算效率。
模型分析
AlexNet模型共有8层结构，其中前5层为卷积层，其中前两个卷积层和第五个卷积层有池化层，其他卷积层没有。后面3层为全连接层，神经元约有六十五万个，所需要训练的参数约六千万个。
图片预处理过后，进过第一个卷积层C1之后，原始的图像也就变成了55x55的像素大小，此时一共有96个通道。模型分为上下两块是为了方便GPU运算，48作为通道数目更加适合GPU的并行运算。上图的模型里把48层直接变成了一个面，这使得模型看上去更像一个立方体，大小为55x55x48。在后面的第二个卷积层C2中，卷积核的尺寸为5x5x48，由此再次进行卷积运算。在C1，C2卷积层的卷积运算之后，都会有一个池化层，使得提取特征之后的特征图像素值大大减小，方便了运算，也使得特征更加明显。而第三层的卷积层C3又是更加特殊了。第三层卷积层做了通道的合并，将之前两个通道的数据再次合并起来，这是一种串接操作。第三层后，由于串接，通道数变成256。全卷积的卷积核尺寸也就变成了13×13×25613×13×256。一个有4096个这样尺寸的卷积核分别对输入图像做4096次的全卷积操作，最后的结果就是一个列向量，一共有4096个数。这也就是最后的输出，但是AlexNet最终是要分1000个类，所以通过第八层，也就是全连接的第三层，由此得到1000个类输出。
Alexnet网络中各个层发挥了不同的作用，ReLU，多个CPU是为了提高训练速度，重叠pool池化是为了提高精度，且不容易产生过拟合，局部归一化响应是为了提高精度，而数据增益与dropout是为了减少过拟合。
VGG net
在ILSVRC-2014中，牛津大学的视觉几何组提出的VGGNet模型在定位任务第一名和分类任务第一名[[i]]。如今在计算机视觉领域，卷积神经网络的良好效果深得广大开发者的喜欢，并且上文提到的AlexNet模型拥有更好的效果，所以广大从业者学习者试图将其改进以获得更好地效果。而后来很多人经过验证认为，AlexNet模型中所谓的局部归一化响应浪费了计算资源，但是对性能却没有很大的提升。VGG的实质是AlexNet结构的增强版，它侧重强调卷积神经网络设计中的深度。将卷积层的深度提升到了19层，并且在当年的ImageNet大赛中的定位问题中获得了第一名的好成绩。整个网络向人们证明了我们是可以用很小的卷积核取得很好地效果，前提是我们要把网络的层数加深，这也论证了我们要想提高整个神经网络的模型效果，一个较为有效的方法便是将它的深度加深，虽然计算量会大大提高，但是整个复杂度也上升了，更能解决复杂的问题。虽然VGG网络已经诞生好几年了，但是很多其他网络上效果并不是很好地情况下，VGG有时候还能够发挥它的优势，让人有意想不到的收获。
与AlexNet网络非常类似，VGG共有五个卷积层，并且每个卷积层之后都有一个池化层。当时在ImageNet大赛中，作者分别尝试了六种网络结构。这六种结构大致相同，只是层数不同，少则11层，多达19层。网络结构的输入是大小为224*224的RGB图像，最终将分类结果输出。当然，在输入网络时，图片要进行预处理。
VGG网络相比AlexNet网络，在网络的深度以及宽度上做了一定的拓展，具体的卷积运算还是与AlexNet网络类似。我们主要说明一下VGG网络所做的改进。第一点，由于很多研究者发现归一化层的效果并不是很好，而且占用了大量的计算资源，所以在VGG网络中作者取消了归一化层；第二点，VGG网络用了更小的3x3的卷积核，而两个连续的3x3的卷积核相当于5x5的感受野，由此类推，三个3x3的连续的卷积核也就相当于7x7的感受野。这样的变化使得参数量更小，节省了计算资源，将资源留给后面的更深层次的网络。第三点是VGG网络中的池化层特征池化核改为了2x2，而在AlexNet网络中池化核为3x3。这三点改进无疑是使得整个参数运算量下降，这样我们在有限的计算平台上能够获得更多的资源留给更深层的网络。由于层数较多，卷积核比较小，这样使得整个网络的特征提取效果很好。其实由于VGG的层数较多，所以计算量还是相当大的，卷积层比较多成了它最显着的特点。另外，VGG网络的拓展性能比较突出，结构比较简洁，所以它的迁移性能比较好，迁移到其他数据集的时候泛化性能好。到现在为止，VGG网络还经常被用来提出特征。所以当现在很多较新的模型效果不好时，使用VGG可能会解决这些问题。
GoogleNet
谷歌于2014年Imagenet挑战赛（ILSVRC14）凭借GoogleNet再次斩获第一名。这个通过增加了神经网络的深度和宽度获得了更好地效果，在此过程中保证了计算资源的不变。这个网络论证了加大深度，宽度以及训练数据的增加是现有深度学习获得更好效果的主要方式。但是增加尺寸可能会带来过拟合的问题，因为深度与宽度的加深必然会带来过量的参数。此外，增加网络尺寸也带来了对计算资源侵占过多的缺点。为了保证计算资源充分利用的前提下去提高整个模型的性能，作者使用了Inception模型，这个模型在下图中有展示，可以看出这个有点像金字塔的模型在宽度上使用并联的不同大小的卷积核，增加了卷积核的输出宽度。因为使用了较大尺度的卷积核增加了参数。使用了1*1的卷积核就是为了使得参数的数量最少。
Inception模块
上图表格为网络分析图，第一行为卷积层，输入为224×224×3 ，卷积核为7x7，步长为2，padding为3，输出的维度为112×112×64，这里面的7x7卷积使用了 7×1 然后 1×7 的方式，这样便有(7+7)×64×3=2,688个参数。第二行为池化层，卷积核为3×33×3，滑动步长为2，padding为 1 ，输出维度：56×56×64，计算方式：1/2×(112+2×1?3+1)=56。第三行，第四行与第一行，第二行类似。第 5 行 Inception mole中分为4条支线，输入均为上层产生的 28×28×192 结果：第 1 部分，1×1 卷积层，输出大小为28×28×64；第 2 部分，先1×1卷积层，输出大小为28×28×96，作为输入进行3×3卷积层，输出大小为28×28×128；第 3部分，先1×1卷积层，输出大小为28×28×32，作为输入进行3×3卷积层，输出大小为28×28×32；而第3 部分3×3的池化层，输出大小为输出大小为28×28×32。第5行的Inception mole会对上面是个结果的输出结果并联，由此增加网络宽度。
ResNet
2015年ImageNet大赛中，MSRA何凯明团队的ResialNetworks力压群雄，在ImageNet的诸多领域的比赛中上均获得了第一名的好成绩，而且这篇关于ResNet的论文Deep Resial Learning for Image Recognition也获得了CVPR2016的最佳论文，实至而名归。
上文介绍了的VGG以及GoogleNet都是增加了卷积神经网络的深度来获得更好效果，也让人们明白了网络的深度与广度决定了训练的效果。但是，与此同时，宽度与深度加深的同时，效果实际会慢慢变差。也就是说模型的层次加深，错误率提高了。模型的深度加深，以一定的错误率来换取学习能力的增强。但是深层的神经网络模型牺牲了大量的计算资源，学习能力提高的同时不应当产生比浅层神经网络更高的错误率。这个现象的产生主要是因为随着神经网络的层数增加，梯度消失的现象就越来越明显。所以为了解决这个问题，作者提出了一个深度残差网络的结构Resial：
上图就是残差网络的基本结构，可以看出其实是增加了一个恒等映射，将原本的变换函数H(x)转换成了F(x)+x。示意图中可以很明显看出来整个网络的变化，这样网络不再是简单的堆叠结构，这样的话便很好地解决了由于网络层数增加而带来的梯度原来越不明显的问题。所以这时候网络可以做得很深，到目前为止，网络的层数都可以上千层，而能够保证很好地效果。并且，这样的简单叠加并没有给网络增加额外的参数跟计算量，同时也提高了网络训练的效果与效率。
在比赛中，为了证明自己观点是正确的，作者控制变量地设计几个实验。首先作者构建了两个plain网络，这两个网络分别为18层跟34层，随后作者又设计了两个残差网络，层数也是分别为18层和34层。然后对这四个模型进行控制变量的实验观察数据量的变化。下图便是实验结果。实验中，在plain网络上观测到明显的退化现象。实验结果也表明，在残差网络上，34层的效果明显要好于18层的效果，足以证明残差网络随着层数增加性能也是增加的。不仅如此，残差网络的在更深层的结构上收敛性能也有明显的提升，整个实验大为成功。
除此之外，作者还做了关于shortcut方式的实验，如果残差网络模块的输入输出维度不一致，我们如果要使维度统一，必须要对维数较少的进行増维。而增维的最好效果是用0来填充。不过实验数据显示三者差距很小，所以线性投影并不是特别需要。使用0来填充维度同时也保证了模型的复杂度控制在比较低的情况下。
随着实验的深入，作者又提出了更深的残差模块。这种模型减少了各个层的参数量，将资源留给更深层数的模型，在保证复杂度很低的情况下，模型也没有出现梯度消失很明显的情况，因此目前模型最高可达1202层，错误率仍然控制得很低。但是层数如此之多也带来了过拟合的现象，不过诸多研究者仍在改进之中，毕竟此时的ResNet已经相对于其他模型在性能上遥遥领先了。
残差网络的精髓便是shortcut。从一个角度来看，也可以解读为多种路径组合的一个网络。如下图：
ResNet可以做到很深，但是从上图中可以体会到，当网络很深，也就是层数很多时，数据传输的路径其实相对比较固定。我们似乎也可以将其理解为一个多人投票系统，大多数梯度都分布在论文中所谓的effective path上。
DenseNet
在Resnet模型之后，有人试图对ResNet模型进行改进，由此便诞生了ResNeXt模型。
这是对上面介绍的ResNet模型结合了GoogleNet中的inception模块思想，相比于Resnet来说更加有效。随后，诞生了DenseNet模型，它直接将所有的模块连接起来，整个模型更加简单粗暴。稠密相连成了它的主要特点。
我们将DenseNet与ResNet相比较:
从上图中可以看出，相比于ResNet，DenseNet参数量明显减少很多，效果也更加优越，只是DenseNet需要消耗更多的内存。
总结
上面介绍了卷积神经网络发展史上比较着名的一些模型，这些模型非常经典，也各有优势。在算力不断增强的现在，各种新的网络训练的效率以及效果也在逐渐提高。从收敛速度上看，VGG>Inception>DenseNet>ResNet,从泛化能力来看，Inception>DenseNet=ResNet>VGG，从运算量看来，Inception<DenseNet< ResNet<VGG，从内存开销来看，Inception<ResNet< DenseNet<VGG。在本次研究中，我们对各个模型均进行了分析，但从效果来看，ResNet效果是最好的，优于Inception，优于VGG，所以我们第四章实验中主要采用谷歌的Inception模型，也就是GoogleNet。
⑵ 神经网络：卷积神经网络（CNN）
神经网络 最早是由心理学家和神经学家提出的，旨在寻求开发和测试神经的计算模拟。
粗略地说， 神经网络 是一组连接的 输入/输出单元 ，其中每个连接都与一个 权 相关联。在学习阶段，通过调整权值，使得神经网络的预测准确性逐步提高。由于单元之间的连接，神经网络学习又称 连接者学习。
神经网络是以模拟人脑神经元的数学模型为基础而建立的，它由一系列神经元组成，单元之间彼此连接。从信息处理角度看，神经元可以看作是一个多输入单输出的信息处理单元，根据神经元的特性和功能，可以把神经元抽象成一个简单的数学模型。
神经网络有三个要素： 拓扑结构、连接方式、学习规则
神经网络的拓扑结构 ：神经网络的单元通常按照层次排列，根据网络的层次数，可以将神经网络分为单层神经网络、两层神经网络、三层神经网络等。结构简单的神经网络，在学习时收敛的速度快，但准确度低。
神经网络的层数和每层的单元数由问题的复杂程度而定。问题越复杂，神经网络的层数就越多。例如，两层神经网络常用来解决线性问题，而多层网络就可以解决多元非线性问题
神经网络的连接 ：包括层次之间的连接和每一层内部的连接，连接的强度用权来表示。
根据层次之间的连接方式，分为：
1）前馈式网络：连接是单向的，上层单元的输出是下层单元的输入，如反向传播网络，Kohonen网络
2）反馈式网络：除了单项的连接外，还把最后一层单元的输出作为第一层单元的输入，如Hopfield网络
根据连接的范围，分为：
1）全连接神经网络：每个单元和相邻层上的所有单元相连
2）局部连接网络：每个单元只和相邻层上的部分单元相连
神经网络的学习
根据学习方法分：
感知器：有监督的学习方法，训练样本的类别是已知的，并在学习的过程中指导模型的训练
认知器：无监督的学习方法，训练样本类别未知，各单元通过竞争学习。
根据学习时间分：
离线网络：学习过程和使用过程是独立的
在线网络：学习过程和使用过程是同时进行的
根据学习规则分：
相关学习网络：根据连接间的激活水平改变权系数
纠错学习网络：根据输出单元的外部反馈改变权系数
自组织学习网络：对输入进行自适应地学习
摘自《数学之美》对人工神经网络的通俗理解：
神经网络种类很多，常用的有如下四种：
1）Hopfield网络，典型的反馈网络，结构单层，有相同的单元组成
2）反向传播网络，前馈网络，结构多层，采用最小均方差的纠错学习规则，常用于语言识别和分类等问题
3）Kohonen网络：典型的自组织网络，由输入层和输出层构成，全连接
4）ART网络：自组织网络
深度神经网络：
Convolutional Neural Networks(CNN)卷积神经网络
Recurrent neural Network(RNN)循环神经网络
Deep Belief Networks(DBN)深度信念网络
深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。深度学习从大类上可以归入神经网络，不过在具体实现上有许多变化。
深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。
Machine Learning vs. Deep Learning
神经网络（主要是感知器）经常用于 分类
神经网络的分类知识体现在网络连接上，被隐式地存储在连接的权值中。
神经网络的学习就是通过迭代算法，对权值逐步修改的优化过程，学习的目标就是通过改变权值使训练集的样本都能被正确分类。
神经网络特别适用于下列情况的分类问题：
1) 数据量比较小，缺少足够的样本建立模型
2) 数据的结构难以用传统的统计方法来描述
3) 分类模型难以表示为传统的统计模型
缺点：
1) 需要很长的训练时间，因而对于有足够长训练时间的应用更合适。
2) 需要大量的参数，这些通常主要靠经验确定，如网络拓扑或“结构”。
3) 可解释性差 。该特点使得神经网络在数据挖掘的初期并不看好。
优点：
1) 分类的准确度高
2)并行分布处理能力强
3)分布存储及学习能力高
4)对噪音数据有很强的鲁棒性和容错能力
最流行的基于神经网络的分类算法是80年代提出的 后向传播算法 。后向传播算法在多路前馈神经网络上学习。
定义网络拓扑
在开始训练之前，用户必须说明输入层的单元数、隐藏层数（如果多于一层）、每一隐藏层的单元数和输出层的单元数，以确定网络拓扑。
对训练样本中每个属性的值进行规格化将有助于加快学习过程。通常，对输入值规格化，使得它们落入0.0和1.0之间。
离散值属性可以重新编码，使得每个域值一个输入单元。例如，如果属性A的定义域为(a0,a1,a2)，则可以分配三个输入单元表示A。即，我们可以用I0 ,I1 ,I2作为输入单元。每个单元初始化为0。如果A = a0，则I0置为1；如果A = a1，I1置1；如此下去。
一个输出单元可以用来表示两个类（值1代表一个类，而值0代表另一个）。如果多于两个类，则每个类使用一个输出单元。
隐藏层单元数设多少个“最好” ，没有明确的规则。
网络设计是一个实验过程，并可能影响准确性。权的初值也可能影响准确性。如果某个经过训练的网络的准确率太低，则通常需要采用不同的网络拓扑或使用不同的初始权值，重复进行训练。
后向传播算法学习过程：
迭代地处理一组训练样本，将每个样本的网络预测与实际的类标号比较。
每次迭代后，修改权值，使得网络预测和实际类之间的均方差最小。
这种修改“后向”进行。即，由输出层，经由每个隐藏层，到第一个隐藏层（因此称作后向传播）。尽管不能保证，一般地，权将最终收敛，学习过程停止。
算法终止条件：训练集中被正确分类的样本达到一定的比例，或者权系数趋近稳定。
后向传播算法分为如下几步：
1) 初始化权
网络的权通常被初始化为很小的随机数（例如，范围从-1.0到1.0，或从-0.5到0.5）。
每个单元都设有一个偏置（bias），偏置也被初始化为小随机数。
2) 向前传播输入
对于每一个样本X，重复下面两步：
向前传播输入，向后传播误差
计算各层每个单元的输入和输出。输入层：输出=输入=样本X的属性；即，对于单元j，Oj = Ij = Xj。隐藏层和输出层：输入=前一层的输出的线性组合,即，对于单元j， Ij =wij Oi + θj，输出=
3) 向后传播误差
计算各层每个单元的误差。
输出层单元j，误差：
Oj是单元j的实际输出，而Tj是j的真正输出。
隐藏层单元j，误差：
wjk是由j到下一层中单元k的连接的权，Errk是单元k的误差
更新 权 和 偏差 ，以反映传播的误差。
权由下式更新：
其中，△wij是权wij的改变。l是学习率，通常取0和1之间的值。
偏置由下式更新：
其中，△θj是偏置θj的改变。
Example
人类视觉原理：
深度学习的许多研究成果，离不开对大脑认知原理的研究，尤其是视觉原理的研究。1981 年的诺贝尔医学奖，颁发给了 David Hubel（出生于加拿大的美国神经生物学家） 和Torsten Wiesel，以及Roger Sperry。前两位的主要贡献，是“发现了视觉系统的信息处理”， 可视皮层是分级的 。
人类的视觉原理如下：从原始信号摄入开始（瞳孔摄入像素Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。
对于不同的物体，人类视觉也是通过这样逐层分级，来进行认知的：
在最底层特征基本上是类似的，就是各种边缘，越往上，越能提取出此类物体的一些特征（轮子、眼睛、躯干等），到最上层，不同的高级特征最终组合成相应的图像，从而能够让人类准确的区分不同的物体。
可以很自然的想到：可以不可以模仿人类大脑的这个特点，构造多层的神经网络，较低层的识别初级的图像特征，若干底层特征组成更上一层特征，最终通过多个层级的组合，最终在顶层做出分类呢？答案是肯定的，这也是许多深度学习算法（包括CNN）的灵感来源。
卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。卷积网络通过一系列方法，成功将数据量庞大的图像识别问题不断降维，最终使其能够被训练。
CNN最早由Yann LeCun提出并应用在手写字体识别上。LeCun提出的网络称为LeNet，其网络结构如下：
这是一个最典型的卷积网络，由 卷积层、池化层、全连接层 组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。
CNN通过卷积来模拟特征区分，并且通过卷积的权值共享及池化，来降低网络参数的数量级，最后通过传统神经网络完成分类等任务。
降低参数量级：如果使用传统神经网络方式，对一张图片进行分类，那么，把图片的每个像素都连接到隐藏层节点上，对于一张1000x1000像素的图片，如果有1M隐藏层单元，一共有10^12个参数，这显然是不能接受的。
但是在CNN里，可以大大减少参数个数，基于以下两个假设：
1）最底层特征都是局部性的，也就是说，用10x10这样大小的过滤器就能表示边缘等底层特征
2）图像上不同小片段，以及不同图像上的小片段的特征是类似的，也就是说，能用同样的一组分类器来描述各种各样不同的图像
基于以上两个假设，就能把第一层网络结构简化
用100个10x10的小过滤器，就能够描述整幅图片上的底层特征。
卷积运算的定义如下图所示：
如上图所示，一个5x5的图像，用一个3x3的 卷积核 ：
101
010
101
来对图像进行卷积操作（可以理解为有一个滑动窗口，把卷积核与对应的图像像素做乘积然后求和），得到了3x3的卷积结果。
这个过程可以理解为使用一个过滤器（卷积核）来过滤图像的各个小区域，从而得到这些小区域的特征值。在实际训练过程中， 卷积核的值是在学习过程中学到的。
在具体应用中，往往有多个卷积核，可以认为， 每个卷积核代表了一种图像模式 ，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。如果设计了6个卷积核，可以理解为这个图像上有6种底层纹理模式，也就是用6种基础模式就能描绘出一副图像。以下就是24种不同的卷积核的示例：
池化 的过程如下图所示：
可以看到，原始图片是20x20的，对其进行采样，采样窗口为10x10，最终将其采样成为一个2x2大小的特征图。
之所以这么做，是因为即使做完了卷积，图像仍然很大（因为卷积核比较小），所以为了降低数据维度，就进行采样。
即使减少了许多数据，特征的统计属性仍能够描述图像，而且由于降低了数据维度，有效地避免了过拟合。
在实际应用中，分为最大值采样（Max-Pooling）与平均值采样（Mean-Pooling）。
LeNet网络结构：
注意，上图中S2与C3的连接方式并不是全连接，而是部分连接。最后，通过全连接层C5、F6得到10个输出，对应10个数字的概率。
卷积神经网络的训练过程与传统神经网络类似，也是参照了反向传播算法
第一阶段，向前传播阶段：
a）从样本集中取一个样本(X,Yp)，将X输入网络；
b）计算相应的实际输出Op
第二阶段，向后传播阶段
a）计算实际输出Op与相应的理想输出Yp的差；
b）按极小化误差的方法反向传播调整权矩阵。
⑶ PART 4 W1 卷积神经网络介绍
一个是图像分类：如猫脸识别等；一个是目标检测：如无人驾驶技术中的各种交通信号检测技术
1. 卷积操作及过滤器/卷积核的概念
如上图所示：最左侧矩阵是一个灰度图像，中间是一个3*3的小矩阵，称为“卷积核”或“过滤器”。
卷积：先把卷积核放到灰度图像左上角（绿色框），盖住灰度图像上一个3*3的矩阵区域，然后9对对应的元素相乘，然后求和（得到0），然后把卷积核逐渐移动一行一行的“扫描”，最终得到最右侧矩阵。上述操作叫做“卷积”，最右侧矩阵是卷积的输出。
2. 垂直边缘检测
仍以上图为例，可以看到3*3的卷积核具体的数值构成为“左边一列1，中间一列0，右边一列-1”，这种卷积核在“扫描”灰度图像时，可以检测到灰度图像的垂直边缘。分析如下：
1）假设正在扫描的灰度区域没有垂直边缘，意味着区域内的值在左右方向上分布差不多，与卷积核做完运算后，左边的乘1，右边的乘-1，相加正好有一定的抵消作用，其实计算出来的结果会接近0。即：卷积结果接近0代表没有边缘。
2）有垂直边缘分为两种情况：目标区域“左边值较大，右边值较小” 或“左边值较小，右边值较大”。前一种情况在卷积操作后会得到一个较大的正值，后一种情况卷积操作后会得到一个较大的负值。
可以看出，较大的正值代表着目标区域的变化趋势与卷积核相同，即检测到的是与卷积核相同的边缘，而较大的负值代表目标区域的变化趋势与卷积核相反，即检测到的是与卷积核相反的边缘。
3. 卷积应用在卷积神经网络中
卷积操作如何应用于神经网络中？简言之，卷积核本身就是网络要学习的参数。如上图所示，我们并不是事先设定好要检测垂直边缘或水平边缘或其它什么边缘，而是要网络去学习要检测什么东西。
1. padding的原因
在上节展示的卷积操作中，可以看出，假设输入图像的大小为n*n，而卷积核的大小为f*f，那么卷积核从输入图像的左上角扫描到右下角，最终得到的结果大小为(n-f+1)*(n-f+1)，意味着如果一次次进行卷积，那么结果的尺寸会越来越小
另外，显然输入图像边缘的像素被使用的较少（最边缘的像素仅被使用一次），这显然会造成信息的丢失。
2. 如何进行padding
非常简单：把输入图像的四周补充p = (f-1)/2 圈的0，这样输入的图像尺寸变成了(n+2p)*(n+2p)，因此卷积后的大小变成了(n+2p -f + 1)*(n+2p -f + 1)=n*n，即与原始的图像有了相同的大小，且原始图像边缘的像素也被较多的利用到。
3. 几点补充
（1）卷积核的尺寸设置为 奇数 ：因为① 这样(f-1)/2就恰好是整数了，方便进行padding，② 有中心像素，便于表征卷积核的位置，等。
（2）根据是否进行padding，分为 普通卷积(valid) 和 同尺寸卷积(same)
1. 步长概念
在上文中讲到卷积，即使用一个卷积核对输入图像进行“扫描”并进行相应计算时，提到这个“扫描”是逐个像素逐个像素的迈进的。但是，并不一定非得这样，也可以每次跨越两个或更多个像素，这就是“步长”的概念，一般用s表示
2. 卷积结果尺寸与步长的关系
前文提到，若输入图像尺寸为n*n，卷积核尺寸为f*f，则卷积结果尺寸为(n+f-1)*(n+f-1)，若算上padding操作，则结果为(n+2p -f + 1)*(n+2p -f + 1)。这是在步长s=1的前提下成立。若步长不为1，则结果为floor((n+2p-f)/s+1)**2
3. 其它：数学中的卷积和神经网络中的卷积
需要说明的是，神经网络中所说的卷积和数学中说的卷积不是一回事，但数学中的卷积是啥就不追究了。
神经网络中的卷积操作，在数学的描述上，更像是一种“交叉相关性”的计算，可以看出，若目标区域与卷积核有类似的分布，则会计算出较大的正值（正相关），若有相反的分布，则会计算出较大的负值（负相关），若没什么关系，则会计算出接近0的值（不相关）。卷积操作的确很像一种相关性的计算。
1. RGB图像的数学构成
灰度图像是一个n*n的二维矩阵，彩色图像则是n*n*3 的三维矩阵，最外围的三个维度分别代表了RGB三原色的值，其中数字“3”在卷积神经网络中被称为通道数或信道数
2. 对RGB图像进行卷积
在对灰度图像进行卷积时，使用的是f*f的二维卷积核。在对RGB图像进行卷积时，则卷积核的维度也+1，变成了f*f*3。一次卷积的结果仍然是把所有的值加起来输出一个值。即： 一个三维的图像，和一个三维的卷积核，在进行完卷积操作后，输出的是一个二维的矩阵（如上图） 。
3. 当使用多个卷积核时的输出
如上图所示，可以使用多个卷积核（一个亮黄色，一个屎黄色）。根据前文描述，一个立体的卷积核在一个立体的矩阵上扫描完，结果是一个二维的。但当使用多个卷积核时，则输出了多个二维矩阵，这些二维矩阵沿着第三个维度排列到一起，使得结果重新变成了三维。此时，第三个维度的尺寸，反应的是卷积核数，也就是说 卷积核数就是信道数 。直观理解，每一个卷积核代表着检测了某一种特征，多个卷积核就是同时检测了多种特征，传递了多种信息。
1. 一个卷积层的数据的基本流
如上图所示，由于卷积核本身就是一堆待学参数w，所以卷积操作本质还是“加权求和”，之后会加入偏置值，然后进行非线性变换，然后输出（到下一层），可见还是那一套。
需要提一下的是，卷积的输入不一定是原始图像构成的矩阵，还有可能是上一个卷积的结果。原始图像是彩色的，有多个通道。卷积时可以用多个卷积核，最终产生的结果也是立体的。因此原始的输入与中间卷积层的输出，在数学形式上是统一的。因此可以“输入->卷积层->卷积层->...”这样操作。
2. 卷积层的参数规模
一个卷积层总的参数规模（包括w，不包括b）为： ，即：卷积核的大小的平方*上层输出的通道数）*本层所用的卷积核数。与上层输入的大小无关（但与通道数有关）
3. 一个卷积层涉及到的超参
卷积核的大小、是否padding、步长、卷积核数。
1. 一个示例
上图为一个简单的卷积神经网络示例： 一层一层的卷积，最后把所有的元素展开成一个一维向量，然后加一个全连接层。
2. 注意以下几点：
1⃣️ 实际上CNN会有卷积层、池化层、全连接层，而非仅有卷积和全连接；
2⃣️ 从数据的构成形式上看，按照网络从前往后的顺序，图片尺寸不断减小，信道数量不断增加。一般遵从这个趋势。
1. 池化
如上图所示，假设输入是一个4*4的矩阵，现在我们把它分割成2*2四个子矩阵（或者说使用一个2*2的核以2为步长扫描矩阵），对四个子区域分别求最大值，最终得到一个值为9、2、6、3的2*2的矩阵输出。这种操作就叫池化，具体为最大值池化。
2. 池化的作用
1⃣️ 一般来说，较大的值往往代表学到了一个重要或典型的特征，把原始输入以某种方式滤除掉一些不重要的值，只保留一些较大的值，相当于 强化了一些重要信息的表达 。2⃣️ 降低图片的尺寸，可以节省空间、加速运算等。
3. 池化的特点
并没有需要学习的参数（w、b之类的），也因此“池化层”一般并不被称为单独的一层。在卷积神经网络中，通常把一个卷积层+一个池化层的组合叫一层。
4. 池化的超参数及经验值
池化层没有要学习的参数，只有核心的两个超参：池化核的大小、池化步长。此外还有池化所用的rece操作：最大或者平均（没有其它选项）。
一般把池化核的大小设置为3或2，步长为2。注意：步长为2意味着把图片减小到原来的一半。
rece操作最常用最大池化，偶尔用平均池化，不会用其它操作。
上图为一个典型的卷积神经网络示例，描述如下：
输入层 ：彩色的手写数字图片，数学构成为32*32*3的矩阵，其中3为通道数。
Layer 1-卷积层 ：1）使用6个5*5*3的卷积核，以步长为1对输入层进行卷积，输出28*28*6的矩阵，2）然后使用2*2的最大池化，步长为2，最终输出14*14*6的矩阵。其中14为图片尺寸，6为信道数。
Layer2-卷积层 ：1）使用16个5*5*3的卷积核以步长1对上层输出进行卷积，输出10*10*16的矩阵，2）然后使用2*2的最大池化，步长为2，最终输出5*5*16的矩阵。
Layer3-全连接层： 把上层输出的5*5*16矩阵展开成1*400的一维向量，以120*400的权重矩阵送入本层120个神经元，激活后输出。
Layer4-全连接层： 120->84，激活后输出
输出层 ：84 -> 10，然后softmax后输出。
1. 参数少
假如原始图片尺寸为100*100*3，假设使用全连接，即使第二层仅用100个神经元，那也已经产生了100*100*3*100 = 300w个参数，难以想象。
假设使用卷积层，使用10个10*10*3的卷积核，那就是只有3000个参数，而能输出的矩阵规模是91*91*10=81000
2. 参数少的原因
1）稀疏连接：卷积核扫描矩阵产生输出，这个过程就从“神经元连接”的角度看，输入的左上角只连着输出的左上角，右上角只连右上角，而非“全连接”，参数就会少很多。2）参数共享：这么稀疏的连接，还是使用了同一套参数，进一步减少了参数的量。
3. 参数共享的其它好处
如果图片上有一只猫，那么不管这个猫在图片的什么位置，都不改变“这是一张猫的照片”。使用参数共享时，相当于用同样的特征提取作用到整个图片的各个区域，适应平移不变性，增强鲁棒性。
⑷ 【阅读笔记】改进卷积神经网络的14个小技巧
原文： https://mp.weixin.qq.com/s/Lh_lJNvV9BGhc6no2ln-_g
原题目误导性太大
1）架构要遵循应用
你也许会被 Google Brain 或者 DeepMind 这些奇特的实验室所发明的那些耀眼的新模型所吸引，但是其中许多在你的用例或者业务环境中要么是不可能实现，要么是实现起来非常不现实。你应该使用对你的特定应用最有意义的模型，这种模型或许比较简单，但是仍然很强大，例如 VGG。
2）网络路径的激增
每年的 ImageNet Challenge 的冠军都会使用比上一届冠军更加深层的网络。从 AlexNet 到 Inception，再到 ResNet，Smith 注意到了“网络中路径数量倍增”的趋势，并且“ResNet 可以是不同长度的网络的指数集合”。
3）争取简单
然而，更大的并不一定是更好的。在名为“Bigger is not necessarily better”的论文中，Springenberg 等人演示了如何用更少的单元实现最先进的结果。参考：https://arxiv.org/pdf/1412.6806.pdf
4）增加对称性
无论是在建筑上，还是在生物上，对称性被认为是质量和工艺的标志。Smith 将 FractalNet 的优雅归功于网络的对称性。
5）金字塔式的形状
你也许经常在表征能力和减少冗余或者无用信息之间权衡。卷积神经网络通常会降低激活函数的采样，并会增加从输入层到最终层之间的连接通道。
6）过度训练
另一个权衡是训练准确度和泛化能力。用类似 drop-out 或者 drop-path 的方法进行正则化可以提高泛化能力，这是神经网络的重要优势。请在比你的实际用例更加苛刻的问题下训练你的网络，以提高泛化性能。
7）全面覆盖问题空间
为了扩展你的训练数据和提升泛化能力，请使用噪声和数据增强，例如随机旋转、裁剪和一些图像操作。
8）递增的特征构造
随着网络结构越来越成功，它们进一部简化了每一层的“工作”。在非常深层的神经网络中，每一层仅仅会递增的修改输入。在 ResNets 中，每一层的输出和它的输入时很相似的，这意味着将两层加起来就是递增。实践中，请在 ResNet 中使用较短的跳变长度。
9）标准化层的输入
标准化是另一个可以使计算层的工作变得更加容易的方法，在实践中被证明可以提升训练和准确率。批量标准化（batch normalization）的发明者认为原因在于处理内部的协变量，但是 Smith 认为，“标准化把所有层的输入样本放在了一个平等的基础上（类似于一种单位转换），这允许反向传播可以更有效地训练”。
10）输入变换
研究表明，在 Wide ResNets 中，性能会随着连接通道的增加而增强，但是你需要权衡训练代价与准确度。AlexNet、VGG、Inception 和 ResNets 都在第一层使用了输入变换以让输入数据能够以多种方式被检查。
11）可用的资源决指引着层的宽度
然而，可供选择的输出数量并不是显而易见的，这依赖于你的硬件能力以及期望的准确度。
12）Summation Joining
Summation 是一种常用的合并分支的方式。在 ResNets 中，使用总和作为连接的机制可以让每一个分支都能计算残差和整体近似。如果输入跳跃连接一直存在，那么 summation 会让每一层学到正确地东西（例如与输入的差别）。在任何分支都可以被丢弃的网络（例如 FractalNet）中，你应该使用这种方式类保持输出的平滑。
13）下采样变换
在池化的时候，利用级联连接（concatenation joining）来增加输出的数量。当使用大于 1 的步长时，这会同时处理连接并增加连接通道的数量。
14）用于竞争的 Maxout
Maxout 被用在你只需要选择一个激活函数的局部竞争网络中。使用求和以及平均值会包含所有的激活函数，所以不同之处在于 maxout 只选择一个“胜出者”。Maxout 的一个明显的用例是每个分支具有不同大小的内核，而 Maxout 可以包含尺度不变性。
1）使用调优过的预训练网络
“如果你的视觉数据和 ImageNet 相似，那么使用预训练网络会帮助你学习得更快”，机器学习公司 Diffbot 的 CEO Mike Tung 解释说。低水平的卷积神经网络通常可以被重复使用，因为它们大多能够检测到像线条以及边缘这些模式。将分类层用你自己的层替换，并且用你特定的数据去训练最后的几个层。
2）使用 freeze-drop-path
Drop-path 会在训练的迭代过程中随机地删除一些分支。Smith 测试了一种相反的方法，它被称为 freeze-path，就是一些路径的权重是固定的、不可训练的，而不是整体删除。因为下一个分支比以前的分支包含更多的层，并且正确的内容更加容易近似得到，所以网络应该会得到更好的准确度。
3）使用循环的学习率
关于学习率的实验会消耗大量的时间，并且会让你遇到错误。自适应学习率在计算上可能是非常昂贵的，但是循环学习率不会这样。使用循环学习率（CLR）时，你可以设置一组最大最小边界，在边界范围内改变学习率。Smith 甚至还在论文《Cyclical Learning Rates for Training Neural Networks》中提供了计算学习率的最大值和最小值的方法。参考：https://arxiv.org/pdf/1506.01186.pdf
4）在有噪声的标签中使用 bootstrapping
在现实中，很多数据都是混乱的，标签都是主观性的或者是缺失的，而且预测的对象可能是训练的时候未曾遇到过的。Reed 等人在文章《TRAINING DEEP NEURAL NETWORKS ON NOISY LABELS WITH BOOTSTRAPPING》中描述了一种给网络预测目标注入一致性的方法。直观地讲，这可以奏效，通过使网络利用对环境的已知表示（隐含在参数中）来过滤可能具有不一致的训练标签的输入数据，并在训练时清理该数据。参考：https://arxiv.org/pdf/1412.6596
5）采用有 Maxout 的 ELU，而不是 ReLU
ELU 是 ReLU 的一个相对平滑的版本，它能加速收敛并提高准确度。与 ReLU 不同，ELU 拥有负值，允许它们以更低的计算复杂度将平均单位激活推向更加接近 0 的值，就像批量标准化一样参考论文《FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)》，https://arxiv.org/pdf/1511.07289.pdf。如果您使用具有全连接层的 Maxout，它们是特别有效的。
⑸ 卷积神经网络
1、二维互相关运算
二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子，阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。
2、二维卷积层
卷积层得名于卷积运算，但卷积层中用到的并非卷积运算而是互相关运算。我们将核数组上下翻转、左右翻转，再与输入数组做互相关运算，这一过程就是卷积运算。由于卷积层的核数组是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。
二维卷积层将输入和卷积核做互相关运算，并加上一个标量偏置来得到输出。卷积层的模型参数包括卷积核和标量偏置。
3、特征图与感受野
二维卷积层输出的二维数组可以看作是输入在空间维度（宽和高）上某一级的表征，也叫特征图（feature map）。影响元素x的前向计算的所有可能输入区域（可能大于输入的实际尺寸）叫做x的感受野（receptive field）。
以图1为例，输入中阴影部分的四个元素是输出中阴影部分元素的感受野。我们将图中形状为2×2的输出记为Y，将Y与另一个形状为2×2的核数组做互相关运算，输出单个元素z。那么，z在Y上的感受野包括Y的全部四个元素，在输入上的感受野包括其中全部9个元素。可见，我们可以通过更深的卷积神经网络使特征图中单个元素的感受野变得更加广阔，从而捕捉输入上更大尺寸的特征。
4、填充和步幅
我们介绍卷积层的两个超参数，即填充和步幅，它们可以对给定形状的输入和卷积核改变输出形状。
4.1 填充（padding）
是指在输入高和宽的两侧填充元素（通常是0元素），图2里我们在原输入高和宽的两侧分别添加了值为0的元素。
如果原输入的高和宽是 和 ，卷积核的高和宽是 和 ，在高的两侧一共填充 行，在宽的两侧一共填充 列，则输出形状为：
)
我们在卷积神经网络中使用奇数高宽的核，比如3×3，5×5的卷积核，对于高度（或宽度）为大小为2k+1的核，令步幅为1，在高（或宽）两侧选择大小为k的填充，便可保持输入与输出尺寸相同。
4.2 步幅（stride）
在互相关运算中，卷积核在输入数组上滑动，每次滑动的行数与列数即是步幅（stride）。此前我们使用的步幅都是1，图3展示了在高上步幅为3、在宽上步幅为2的二维互相关运算。
一般来说，当高上步幅为 ，宽上步幅为 时，输出形状为：
如果 ,那么输出形状将简化为：
更进一步，如果输入的高和宽能分别被高和宽上的步幅整除，那么输出形状将是:(nh/sh)×(nw/sw)
当 时，我们称填充为p；当 时，我们称步幅为s。
5、多输入通道和多输出通道
之前的输入和输出都是二维数组，但真实数据的维度经常更高。例如，彩色图像在高和宽2个维度外还有RGB（红、绿、蓝）3个颜色通道。假设彩色图像的高和宽分别是h和w（像素），那么它可以表示为一个3×h×w的多维数组，我们将大小为3的这一维称为通道（channel）维。
5.1 多输入通道
卷积层的输入可以包含多个通道，图4展示了一个含2个输入通道的二维互相关计算的例子。
5.2 多输出通道
卷积层的输出也可以包含多个通道，设卷积核输入通道数和输出通道数分别为ci和co，高和宽分别为kh和kw。如果希望得到含多个通道的输出，我们可以为每个输出通道分别创建形状为ci×kh×kw的核数组，将它们在输出通道维上连结，卷积核的形状即co×ci×kh×kw。
对于输出通道的卷积核，我们提供这样一种理解，一个ci×kh×kw的核数组可以提取某种局部特征，但是输入可能具有相当丰富的特征，我们需要有多个这样的ci×kh×kw的核数组，不同的核数组提取的是不同的特征。
5.3 1x1卷积层
最后讨论形状为1×1的卷积核，我们通常称这样的卷积运算为1×1卷积，称包含这种卷积核的卷积层为1×1卷积层。图5展示了使用输入通道数为3、输出通道数为2的1×1卷积核的互相关计算。
1×1卷积核可在不改变高宽的情况下，调整通道数。1×1卷积核不识别高和宽维度上相邻元素构成的模式，其主要计算发生在通道维上。假设我们将通道维当作特征维，将高和宽维度上的元素当成数据样本，那么1×1卷积层的作用与全连接层等价。
6、卷积层与全连接层的对比
二维卷积层经常用于处理图像，与此前的全连接层相比，它主要有两个优势：
一是全连接层把图像展平成一个向量，在输入图像上相邻的元素可能因为展平操作不再相邻，网络难以捕捉局部信息。而卷积层的设计，天然地具有提取局部信息的能力。
二是卷积层的参数量更少。不考虑偏置的情况下，一个形状为(ci,co,h,w)的卷积核的参数量是ci×co×h×w，与输入图像的宽高无关。假如一个卷积层的输入和输出形状分别是(c1,h1,w1)和(c2,h2,w2)，如果要用全连接层进行连接，参数数量就是c1×c2×h1×w1×h2×w2。使用卷积层可以以较少的参数数量来处理更大的图像。
X=torch.rand(4,2,3,5)
print(X.shape)
conv2d=nn.Conv2d(in_channels=2,out_channels=3,kernel_size=(3,5),stride=1,padding=(1,2))
Y=conv2d(X)
print('Y.shape: ',Y.shape)
print('weight.shape: ',conv2d.weight.shape)
print('bias.shape: ',conv2d.bias.shape)
输出：
torch.Size([4, 2, 3, 5])
Y.shape: torch.Size([4, 3, 3, 5])
weight.shape: torch.Size([3, 2, 3, 5])
bias.shape: torch.Size([3])
7、池化
7.1 二维池化层
池化层主要用于缓解卷积层对位置的过度敏感性。同卷积层一样，池化层每次对输入数据的一个固定形状窗口（又称池化窗口）中的元素计算输出，池化层直接计算池化窗口内元素的最大值或者平均值，该运算也分别叫做最大池化或平均池化。图6展示了池化窗口形状为2×2的最大池化。
二维平均池化的工作原理与二维最大池化类似，但将最大运算符替换成平均运算符。池化窗口形状为p×q的池化层称为p×q池化层，其中的池化运算叫作p×q池化。
池化层也可以在输入的高和宽两侧填充并调整窗口的移动步幅来改变输出形状。池化层填充和步幅与卷积层填充和步幅的工作机制一样。
在处理多通道输入数据时，池化层对每个输入通道分别池化，但不会像卷积层那样将各通道的结果按通道相加。这意味着池化层的输出通道数与输入通道数相等。
CNN网络中另外一个不可导的环节就是Pooling池化操作，因为Pooling操作使得feature map的尺寸变化，假如做2×2的池化，假设那么第l+1层的feature map有16个梯度，那么第l层就会有64个梯度，这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单，就是把1个像素的梯度传递给4个像素，但是需要保证传递的loss（或者梯度）总和不变。根据这条原则，mean pooling和max pooling的反向传播也是不同的。
7.2 mean pooling
mean pooling的前向传播就是把一个patch中的值求取平均来做pooling，那么反向传播的过程也就是把某个元素的梯度等分为n份分配给前一层，这样就保证池化前后的梯度（残差）之和保持不变，还是比较理解的，图示如下：
mean pooling比较容易让人理解错的地方就是会简单的认为直接把梯度复制N遍之后直接反向传播回去，但是这样会造成loss之和变为原来的N倍，网络是会产生梯度爆炸的。
7.3 max pooling
max pooling也要满足梯度之和不变的原则，max pooling的前向传播是把patch中最大的值传递给后一层，而其他像素的值直接被舍弃掉。那么反向传播也就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底哪个像素的值是最大，也就是max id。
源码中有一个max_idx_的变量，这个变量就是记录最大值所在位置的，因为在反向传播中要用到，那么假设前向传播和反向传播的过程就如下图所示。
7.4 Pytorch 实现池化层
我们使用Pytorch中的nn.MaxPool2d实现最大池化层，关注以下构造函数参数：
kernel_size – the size of the window to take a max over
stride – the stride of the window. Default value is kernel_size
padding – implicit zero padding to be added on both sides
forward函数的参数为一个四维张量，形状为 ，返回值也是一个四维张量，形状为 ，其中N是批量大小，C,H,W分别表示通道数、高度、宽度。
X=torch.arange(32,dtype=torch.float32).view(1,2,4,4)
pool2d=nn.MaxPool2d(kernel_size=3,padding=1,stride=(2,1))
Y=pool2d(X)
print(X)
print(Y)
练习
1、假如你用全连接层处理一张256 \times 256256×256的彩色（RGB）图像，输出包含1000个神经元，在使用偏置的情况下，参数数量是：
答：图像展平后长度为3×256×256，权重参数和偏置参数的数量是3× 256× 256 × 1000 + 1000 =196609000。
2、假如你用全连接层处理一张256×256的彩色（RGB）图像，卷积核的高宽是3×3，输出包含10个通道，在使用偏置的情况下，这个卷积层共有多少个参数：
答：输入通道数是3，输出通道数是10，所以参数数量是10×3×3×3+10=280。
3、conv2d = nn.Conv2d(in_channels=3, out_channels=4, kernel_size=3, padding=2)，输入一张形状为3×100×100的图像，输出的形状为：
答：输出通道数是4，上下两侧总共填充4行，卷积核高度是3，所以输出的高度是104 - 3 + 1=102104−3+1=102，宽度同理可得。
4、关于卷积层，以下哪种说法是错误的：
A.1×1卷积可以看作是通道维上的全连接
B.某个二维卷积层用于处理形状为3×100×100的输入，则该卷积层无法处理形状为3×256×256的输入
C.卷积层通过填充、步幅、输入通道数、输出通道数等调节输出的形状
D .两个连续的3×3卷积核的感受野与一个5×5卷积核的感受野相同
答：选B，对于高宽维度，只要输入的高宽（填充后的）大于或等于卷积核的高宽即可进行计算。
the first layer is a 3 × 3 convolution, the second is a fully connected layer on top of the 3 × 3 output grid of the first layer (see Figure 1). Sliding this small network over the input activation grid boils down to replacing the 5 × 5 convolution with two layers of 3 × 3 convolution.
我们假设图片是5*5的
我们使用5*5的卷积核对其卷积，步长为1，得到的结果是:(5-5)/1+1=1
然后我们使用2个卷积核为3*3的，这里的两个是指2层：
第一层3*3：
得到的结果是(5-3)/1+1=3
第二层3*3：
得到的结果是(3-3)/1+1=1
所以我们的最终得到结果感受野大小和用5*5的卷积核得到的结果大小是一样的！！！
5、关于池化层，以下哪种说法是错误的：
A.池化层不参与反向传播
B.池化层没有模型参数
C.池化层通常会减小特征图的高和宽
D.池化层的输入和输出具有相同的通道数
答：A
选项1：错误，池化层有参与模型的正向计算，同样也会参与反向传播
选项2：正确，池化层直接对窗口内的元素求最大值或平均值，并没有模型参数参与计算
选项3：正确
选项4：正确
参考文献：
https://www.boyuai.com/
https://blog.csdn.net/qq_21578849/article/details/94667699
https://www.hu.com/question/265791259/answer/298610437
https://blog.csdn.net/zouxiaolv/article/details/97366681
⑹ 卷积神经网络
关于花书中卷积网络的笔记记录于 https://www.jianshu.com/p/5a3c90ea0807 。
卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有 局部连接、权重共享 等特性的深层前馈神经网络。卷积神经网络是受生物学上感受野的机制而提出。 感受野（Receptive Field） 主要是指听觉、视觉等神经系统中一些神经元的特性，即 神经元只接受其所支配的刺激区域内的信号 。
卷积神经网络最早是主要用来处理图像信息。如果用全连接前馈网络来处理图像时，会存在以下两个问题：
目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络，使用反向传播算法进行训练。 卷积神经网络有三个结构上的特性：局部连接，权重共享以及汇聚 。这些特性使卷积神经网络具有一定程度上的平移、缩放和旋转不变性。
卷积（Convolution）是分析数学中一种重要的运算。在信号处理或图像处理中，经常使用一维或二维卷积。
一维卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t 产生一个信号 ，其信息的衰减率为 ，即在 个时间步长后，信息为原来的 倍。假设 ，那么在时刻t收到的信号 为当前时刻产生的信息和以前时刻延迟信息的叠加：
我们把 称为 滤波器（Filter）或卷积核（Convolution Kernel） 。假设滤波器长度为 ，它和一个信号序列 的卷积为：
信号序列 和滤波器 的卷积定义为：
一般情况下滤波器的长度 远小于信号序列长度 ，下图给出一个一维卷积示例，滤波器为 ：
二维卷积经常用在图像处理中。因为图像为一个两维结构，所以需要将一维卷积进行扩展。给定一个图像 和滤波器 ，其卷积为：
下图给出一个二维卷积示例：
注意这里的卷积运算并不是在图像中框定卷积核大小的方框并将各像素值与卷积核各个元素相乘并加和，而是先把卷积核旋转180度，再做上述运算。
在图像处理中，卷积经常作为特征提取的有效方法。一幅图像在经过卷积操作后得到结果称为 特征映射（Feature Map） 。
最上面的滤波器是常用的高斯滤波器，可以用来对图像进行 平滑去噪 ；中间和最下面的过滤器可以用来 提取边缘特征 。
在机器学习和图像处理领域，卷积的主要功能是在一个图像（或某种特征）上滑动一个卷积核（即滤波器），通过卷积操作得到一组新的特征。在计算卷积的过程中，需要进行卷积核翻转（即上文提到的旋转180度）。 在具体实现上，一般会以互相关操作来代替卷积，从而会减少一些不必要的操作或开销。
互相关（Cross-Correlation）是一个衡量两个序列相关性的函数，通常是用滑动窗口的点积计算来实现 。给定一个图像 和卷积核 ，它们的互相关为：
互相关和卷积的区别仅在于卷积核是否进行翻转。因此互相关也可以称为不翻转卷积 。当卷积核是可学习的参数时，卷积和互相关是等价的。因此，为了实现上（或描述上）的方便起见，我们用互相关来代替卷积。事实上，很多深度学习工具中卷积操作其实都是互相关操作。
在卷积的标准定义基础上，还可以引入滤波器的 滑动步长 和 零填充 来增加卷积多样性，更灵活地进行特征抽取。
滤波器的步长（Stride）是指滤波器在滑动时的时间间隔。
零填充（Zero Padding）是在输入向量两端进行补零。
假设卷积层的输入神经元个数为 ，卷积大小为 ，步长为 ，神经元两端各填补 个零，那么该卷积层的神经元数量为 。
一般常用的卷积有以下三类：
因为卷积网络的训练也是基于反向传播算法，因此我们重点关注卷积的导数性质：
假设 。
， ， 。函数 为一个标量函数。
则由 有：
可以看出， 关于 的偏导数为 和 的卷积 ：
同理得到：
当 或 时， ，即相当于对 进行 的零填充。从而 关于 的偏导数为 和 的宽卷积 。
用互相关的“卷积”表示，即为（注意 宽卷积运算具有交换性性质 ）：
在全连接前馈神经网络中，如果第 层有 个神经元，第 层有 个神经元，连接边有 个，也就是权重矩阵有 个参数。当 和 都很大时，权重矩阵的参数非常多，训练的效率会非常低。
如果采用卷积来代替全连接，第 层的净输入 为第 层活性值 和滤波器 的卷积，即：
根据卷积的定义，卷积层有两个很重要的性质：
由于局部连接和权重共享，卷积层的参数只有一个m维的权重 和1维的偏置 ，共 个参数。参数个数和神经元的数量无关。此外，第 层的神经元个数不是任意选择的，而是满足 。
卷积层的作用是提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器。
特征映射（Feature Map）为一幅图像（或其它特征映射）在经过卷积提取到的特征，每个特征映射可以作为一类抽取的图像特征。 为了提高卷积网络的表示能力，可以在每一层使用多个不同的特征映射，以更好地表示图像的特征。
在输入层，特征映射就是图像本身。如果是灰度图像，就是有一个特征映射，深度 ；如果是彩色图像，分别有RGB三个颜色通道的特征映射，深度 。
不失一般性，假设一个卷积层的结构如下：
为了计算输出特征映射 ，用卷积核 分别对输入特征映射 进行卷积，然后将卷积结果相加，并加上一个标量偏置 得到卷积层的净输入 再经过非线性激活函数后得到输出特征映射 。
在输入为 ，输出为 的卷积层中，每个输出特征映射都需要 个滤波器以及一个偏置。假设每个滤波器的大小为 ，那么共需要 个参数。
汇聚层（Pooling Layer）也叫子采样层（Subsampling Layer），其作用是进行特征选择，降低特征数量，并从而减少参数数量。
常用的汇聚函数有两种：
其中 为区域 内每个神经元的激活值。
可以看出，汇聚层不但可以有效地减少神经元的数量，还可以使得网络对一些小的局部形态改变保持不变性，并拥有更大的感受野。
典型的汇聚层是将每个特征映射划分为 大小的不重叠区域，然后使用最大汇聚的方式进行下采样。汇聚层也可以看做是一个特殊的卷积层，卷积核大小为 ，步长为 ，卷积核为 函数或 函数。过大的采样区域会急剧减少神经元的数量，会造成过多的信息损失。
一个典型的卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。
目前常用卷积网络结构如图所示，一个卷积块为连续 个卷积层和 个汇聚层（ 通常设置为 ， 为 或 ）。一个卷积网络中可以堆叠 个连续的卷积块，然后在后面接着 个全连接层（ 的取值区间比较大，比如 或者更大； 一般为 ）。
目前，整个网络结构 趋向于使用更小的卷积核（比如 和 ）以及更深的结构（比如层数大于50） 。此外，由于卷积的操作性越来越灵活（比如不同的步长），汇聚层的作用变得也越来越小，因此目前比较流行的卷积网络中， 汇聚层的比例也逐渐降低，趋向于全卷积网络 。
在全连接前馈神经网络中，梯度主要通过每一层的误差项 进行反向传播，并进一步计算每层参数的梯度。在卷积神经网络中，主要有两种不同功能的神经层：卷积层和汇聚层。而参数为卷积核以及偏置，因此 只需要计算卷积层中参数的梯度。
不失一般性，第 层为卷积层，第 层的输入特征映射为 ，通过卷积计算得到第 层的特征映射净输入 ，第 层的第 个特征映射净输入
由 得：
同理可得，损失函数关于第 层的第 个偏置 的偏导数为：
在卷积网络中，每层参数的梯度依赖其所在层的误差项 。
卷积层和汇聚层中，误差项的计算有所不同，因此我们分别计算其误差项。
第 层的第 个特征映射的误差项 的具体推导过程如下：
其中 为第 层使用的激活函数导数， 为上采样函数（upsampling），与汇聚层中使用的下采样操作刚好相反。如果下采样是最大汇聚（max pooling），误差项 中每个值会直接传递到上一层对应区域中的最大值所对应的神经元，该区域中其它神经元的误差项的都设为0。如果下采样是平均汇聚（meanpooling），误差项 中每个值会被平均分配到上一层对应区域中的所有神经元上。
第 层的第 个特征映射的误差项 的具体推导过程如下：
其中 为宽卷积。
LeNet-5虽然提出的时间比较早，但是是一个非常成功的神经网络模型。基于LeNet-5 的手写数字识别系统在90年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5 的网络结构如图：
不计输入层，LeNet-5共有7层，每一层的结构为：
AlexNet是第一个现代深度卷积网络模型，其首次使用了很多现代深度卷积网络的一些技术方法，比如采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强来提高模型准确率等。AlexNet 赢得了2012 年ImageNet 图像分类竞赛的冠军。
AlexNet的结构如图，包括5个卷积层、3个全连接层和1个softmax层。因为网络规模超出了当时的单个GPU的内存限制，AlexNet 将网络拆为两半，分别放在两个GPU上，GPU间只在某些层（比如第3层）进行通讯。
AlexNet的具体结构如下：
在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。 在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。Inception网络是由有多个inception模块和少量的汇聚层堆叠而成 。
v1版本的Inception模块，采用了4组平行的特征抽取方式，分别为1×1、3× 3、5×5的卷积和3×3的最大汇聚。同时，为了提高计算效率，减少参数数量，Inception模块在进行3×3、5×5的卷积之前、3×3的最大汇聚之后，进行一次1×1的卷积来减少特征映射的深度。如果输入特征映射之间存在冗余信息， 1×1的卷积相当于先进行一次特征抽取 。