深度学习（四）————机器翻译及相关技术、注意力机制与Seq2seq模型、Transformer

机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。

机器翻译流程：数据预处理，主要模型：encode-decode,seq2seq

注意力机制：https://blog.csdn.net/mpk_no1/article/details/72862348?utm_source=distribute.pc_relevant.none-task

seq2seq https://www.jianshu.com/p/b2b95f945a98

在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）。让我们进行一些回顾：

为了整合CNN和RNN的优势，[Vaswani et al., 2017] 创新性地使用注意力机制设计了Transformer模型。该模型利用attention机制实现了并行化捕捉序列依赖，并且同时处理序列的每个位置的tokens，上述优势使得Transformer模型在性能优异的同时大大减少了训练时间。

Transformer模型的架构与seq2seq模型相似，Transformer同样基于编码器-解码器架构，其区别主要在于以下三点：

注意力机制 机器翻译 学习 深度学习