【动手学深度学习】Task05笔记汇总

相比taks04，感觉这边比较能看得下去，就先看了。
 

1.卷积和池化的计算概念不难理解，本质还是矩阵运算，又在感叹之前老师在代数学里埋的种子。

2.二者最大的区别是，池化层好像没有自己学什么，只是数值的搬运工，然后在模型里的日常工作是降维。但卷积层应该是学到新东西了，适当设置步长也能代班降维。想到之前有个朋友还玩了卷积核的可视化，之前没懂她在干嘛，现在可能有点点懂了。池化层有参与模型的正向计算，同样也会参与反向传播。

3.根据别人的大量实验，有一些常用的卷积核size，例如1，2，3，5

4.感 受 野 这个名字挺妙的。最大池化，读到了最重要的特征，害挺厉害

5.二维卷积层的实例，如果能在线性代数教学用这个例子引入应该会更有趣。

6.填充、步幅、通道与size的计算 熟能生巧。（课后题扑街）

7.卷积层和全连接层区别：前者利于保留空间位置关系。

讲解代码的妹妹真厉害！！！！果真“专业硬核撕代码”怎么讲得这么清晰wdmy，开1.5倍速听的话感觉听到了智慧的光芒（？）

1.LeNet模型中，90%以上的参数集中在全连接层块

2.LeNet -> AlexNet -> VGG -> GoogleNet -> ResNet -> DenseNet

3. 使用形状为2×2，步幅为2的池化层，会将高和宽都减半

4.卷积神经网络通过使用滑动窗口在输入的不同位置处重复计算，减小参数数量

5.在通过卷积层或池化层后，输出的高和宽可能减小，为了尽可能保留输入的特征，我们可以在减小高宽的同时增加通道数

1.“AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征” 脑子里又蹦奇怪的古言古语愚者千虑必有一得。

2. NiN串联多个由卷积层和“全连接”层构成的小⽹络来构建⼀个深层⽹络

3.对比于不太好改动和改进的AlexNet ，VGG、NiN、GoogleNet都有自己重复的基础模块。怎么说，网络设计给我一种搭乐高的感觉。

4.看到了这段话

“实际使用时往往不需要你来设计，基本上都是用经典结构，最多是进行一些改造。”

“不是每个卷积层后面都要池化，经常是多个卷积层后面接一个池化层。池化是为了降维，我们最终希望提取到的是一些抽象的有代表性的特征，而不是很多很多感受野非常小的细节特征，例如纹理，颜色等。而且有的网络也会不使用池化层，而是使用步长>1的卷积层来替代pool层完成降维的工作。”

害，仍然是没来得及细看代码的一个task。

又想到怕什么真理无穷那句话了。

动手学 学习 深度学习