轻量级网络：减少参数量的几种方法

从 Inception 到 Xception 的发展一路看来，出现了很多精巧的结构设计和理念思想：

1、多个不同尺寸的卷积核，提高对不同尺度特征的适应能力

2、PW 卷积，降维或升维的同时，提高网络的表达能力

PW卷积：Pointwise Convolution，俗称 1x1 卷积，主要用于数据降维，减少参数量。

使用 1x1 卷积核对输入的特征图进行降维处理，这样就会极大地减少参数量，从而减少计算。例如，输入数据的维度是 256 维，经过 1x1 卷积之后，我们输出的维度是 64 维，参数量是原来的 1/4 。

 PW 也可以用做升维，MobileNet V2 中使用 PW 将 3 个特征图变成 6 个特征图，丰富输入数据的特征。

3、多个小尺寸卷积核替代大卷积核，加深网络的同时减少参数量

4、精巧的 Bottleneck 结构，大大减少网络参数量