深度学习入门笔记（二十）：经典神经网络（LeNet-5、AlexNet和VGGNet）

首先看看 LeNet-5 的网络结构。

论文地址：http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

假设有一张32×32×1的图片，LeNet-5 可以识别图中的手写数字，比如7，因为 LeNet-5 是针对灰度图片训练的，所以图片的大小只有32×32×1，因为 LeNet-5 的结构使用6个5×5的过滤器，步幅为1，padding 为0，所以输出结果为28×28×6，然后进行池化操作，在这篇论文写成的那个年代，人们更喜欢使用平均池化，而现在我们可能用最大池化更多一些！不管怎样，过滤器的宽度为2，步幅为2，图像的尺寸，高度和宽度都缩小了2倍，输出结果是一个14×14×6的图像。

接下来是卷积层，用一组16个5×5的过滤器，所以新的输出结果有16个通道，而 LeNet-5 的论文是在1998年撰写的，当时人们并不使用 padding，或者总是使用 valid 卷积，这就是为什么每进行一次卷积，图像的高度和宽度都会缩小，所以图像从14到14缩小到了10×10，然后又是池化层，高度和宽度再缩小一半，输出一个5×5×16的图像。将所有数字相乘，乘积是400。

然后下一层是全连接层，有400个节点，每个节点有120个神经元，这里已经有了一个全连接层，但有时还会从这400个节点中抽取一部分节点84个，去构建另一个全连接层，就像这样，有2个全连接层。

最后一步就是利用这84个特征得到最后的输出，所以在这里再加一个节点用来预测 y^\hat{y}y^​ 的值，y^\hat{y}y^​ 有10个可能的值，对应识别0-9这10个数字。在现在的版本中则使用 softmax 函数输出结果，而在当时，LeNet-5 网络在输出层使用了另外一种现在已经很少用到的分类器。

LeNet-5 的神经网络会小一些，只有约6万个参数，而现在，经常看到含有一千万到一亿个参数的神经网络，比这大1000倍的神经网络也不在少数。不管怎样，如果从左往右看，随着网络越来越深，图像的高度和宽度在缩小，从最初的32×32缩小到28×28，再到14×14、10×10，最后只有5×5，与此同时，随着网络层次的加深，通道数量一直在增加，从1增加到6个，再到16个。

对于那些想尝试阅读论文的同学，再补充几点：

如果认真读到这篇经典论文 LeNet-5 时，你会发现，过去人们使用 sigmod 函数和 tanh 函数，而不是 ReLu 函数，这种网络结构的特别之处还在于，各网络层之间是有关联的，这在今天看来显得很有趣。比如说，在当时计算机的运行速度非常慢，为了减少计算量和参数，经典的 LeNet-5 网络使用了非常复杂的计算方式，论文中提到的这些复杂细节，现在一般都不用了。

第二种经典神经网络是 AlexNet，是以论文的第一作者 Alex Krizhevsky 的名字命名的，另外两位合著者是 ilya Sutskever 和 Geoffery Hinton，努力也许以后会有你自己的名字命名的网络结构也未可知。

论文地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

首先用一张227×227×3的图片作为输入，实际上原文中使用的图像是224×224×3，但是如果你尝试去推导一下，会发现227×227这个尺寸更好一些。

第一层使用96个11×11的过滤器，步幅为4，因此尺寸缩小到55×55，缩小了4倍左右。然后用一个3×3的过滤器构建最大池化层，f=3f=3f=3，步幅 sss 为2，卷积层尺寸缩小为27×27×96。

接着再执行一个5×5的卷积，padding 之后，输出是27×27×276。然后再次进行最大池化，尺寸缩小到13×13。

再执行一次 same 卷积，相同的 padding，得到的结果是13×13×384，384个过滤器。

再做一次 same 卷积，就像这样。再做一次同样的操作，最后再进行一次最大池化，尺寸缩小到6×6×256。

6×6×256等于9216，将其展开为9216个单元，然后是一些全连接层。

最后使用 softmax 函数输出识别的结果，看它究竟是1000个可能的对象中的哪一个。

实际上，你应该可以看出，这个神经网络与 LeNet 有很多相似之处，不过 AlexNet 要大得多，正如前面讲到的 LeNet 或 LeNet-5 大约有6万个参数，而 AlexNet 包含约6000万个参数。当用于训练图像和数据集时，AlexNet 能够处理非常相似的基本构造模块，这些模块往往包含着大量的隐藏单元或数据，这一点 AlexNet 表现出色。

AlexNet 比 LeNet 表现更为出色的另一个原因是它使用了 ReLu 激活函数。

同样的，还会讲一些比较深奥的内容，如果你并不打算阅读论文，不听也没有关系。

第一点，在写这篇论文的时候，GPU 的处理速度还比较慢，所以 AlexNet 采用了非常复杂的方法在两个 GPU 上进行训练，大致原理是，这些层分别拆分到两个不同的 GPU 上，同时还专门有一个方法用于两个 GPU 进行交流。

论文还提到，经典的 AlexNet 结构还有另一种类型的层，叫作 局部响应归一化层（Local Response Normalization），即 LRN 层，这类层应用得并不多，甚至现在已经没人用了，，，所以没有专门讲。局部响应归一层的基本思路是，假如这是网络的一块，比如是13×13×256，LRN 要做的就是选取一个位置，从这个位置穿过整个通道，能得到256个数字，并进行归一化。

你可能会问，为什么要进行局部响应归一化？

对于这张13×13的图像中的每个位置来说，可能并不需要太多的高激活神经元，但是后来，很多研究者发现 LRN 起不到太大作用，这也是它被划掉的内容之一，现在并不用 LRN 来训练网络。

这次笔记要讲的第三个，也是最后一个范例是 VGG，也叫作 VGG-16 网络（VGG 有16和19，不过一般说的是16）。

论文地址：https://arxiv.org/pdf/1409.1556.pdf

值得注意的一点是，VGG-16 其实是一个很深的网络，但是它的一大优点是简化了神经网络结构，所以并没有那么多超参数，是一种只需要专注于构建卷积层的简单网络。。

输入图像尺寸是224×224×3，进行第一个卷积之后得到224×224×64的特征图，接着还有一层224×224×64，得到这样2个厚度为64的卷积层，意味着进行了两次卷积，这里采用的大小都为3×3，步幅为1，并且都是 same 卷积。

接下来创建一个池化层，池化层将输入图像进行压缩，从224×224×64缩小到多少呢？没错，减少到112×112×64。

然后又是若干个卷积层，使用128个过滤器，以及一些 same 卷积，输出112×112×128。

然后进行池化，可以推导出池化后的结果是56×56×128。

接着再用256个相同的过滤器进行三次卷积操作，然后再池化，然后再卷积三次，再池化，如此进行几轮操作后，将最后得到的7×7×512的特征图进行全连接操作，得到4096个单元，然后进行 softmax 激活，输出从1000个对象中识别的结果。

顺便说一下，VGG-16 的这个数字16，就是指在这个网络中包含16个层（卷积层和全连接层），所以确实是个很大的网络，总共包含约1.38亿个参数，即便以现在的标准来看，都算是非常大的网络，但 VGG-16 的结构并不复杂，这点是非常吸引人的，而且网络结构很规整，都是几个卷积层后面跟着可以压缩图像大小的池化层，池化层缩小图像的高度和宽度。

同时，卷积层的过滤器数量变化存在一定的规律，由64翻倍变成128，再到256和512，作者可能认为512已经足够大了，所以后面的层就不再翻倍了。无论如何，每一步都进行翻倍，或者说在每一组卷积层进行过滤器翻倍操作，正是设计此种网络结构的另一个简单原则。这种相对一致的网络结构对研究者很有吸引力，而它的主要缺点是需要训练的特征数量非常巨大。

有些文章还介绍了 VGG-19 网络，它甚至比 VGG-16 还要大，但是由于 VGG-16 的表现几乎和 VGG-19 不分高下，所以很多人还是会使用 VGG-16。另外一点，我最喜欢它的一点是，文中揭示了，随着网络的加深，图像的高度和宽度都在以一定的规律不断缩小，每次池化后刚好缩小一半，而通道数量在不断增加，而且刚好也是在每组卷积操作后增加一倍，也就是说，图像缩小的比例和通道数增加的比例是有规律的，就是一个非常完美的对称结构，从这个角度来看，这篇论文真的很吸引人。

以上就是三种经典的网络结构，如果你对这些论文感兴趣，建议的顺序是从介绍 AlexNet 的论文开始，然后就是 VGG 的论文，最后有空了再看 LeNet 的论文，虽然有些晦涩难懂，但对于了解这些网络结构很有帮助。

lenet 学习 alexnet 深度学习 神经网络