【学习笔记】动手学深度学习 Task02

(需要一定时间逐步补充以下内容，暂且用做打卡)

1. 模型选择、过拟合和欠拟合 训练误差和泛化误差 模型选择 验证数据集 K折交叉验证 过拟合和欠拟合 模型复杂度 权重衰减 L2 范数正则化 高维线性回归实验 2. 梯度消失、梯度爆炸

梯度消失

梯度爆炸

模型训练和预测

3. 卷积神经网络基础 二维卷积层 二维互相关运算 特征图与感受野 填充和步幅 多输入通道和多输出通道 卷积层与全连接层的对比 卷积、池化 4. 循环神经网络进阶 GRU LSTM 5. 机器翻译及相关技术 数据预处理 分词 建立词典 载入数据集 Encoder-Decoder
-Sequence to Sequence模型 6. 注意力机制与Seq2seq模型 注意力机制 注意力机制框架 Softmax屏蔽 点积注意力 多层感知机注意力 引入注意力机制的Seq2seq模型 解码器 训练 7.Transformer 多头注意力层 基于位置的前馈网络 位置编码 8.leNet LeNet 模型 9.卷积神经网络进阶 深度卷积神经网络（AlexNet） 使用重复元素的网络（VGG） ⽹络中的⽹络（NiN） GoogLeNet
作者：WEST WOODS

动手学 学习笔记 学习 深度学习