Transformer编码器与编码器详解
可乐味泡芙
2025年06月21日 23:56
收录于文集
共4篇

Transformer模型核心解析

Transformer模型是自然语言处理（NLP）领域的一次重大革新，它完全抛弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，转而仅依靠注意力机制来构建模型。本章深入剖析了Transformer的编码器（Encoder）和解码器（Decoder）这两个核心组件及其内部结构和工作原理。

1. Seq2Seq模型的基础地位

理解Transformer需从Seq2Seq（序列到序列）任务入手。Seq2Seq是NLP中最经典的任务之一，其目标是将一个自然语言序列作为输入，并输出另一个可能不等长的自然语言序列。

  • 典型应用：

    • 机器翻译：将一种语言的句子翻译成另一种语言的句子。

    • 文本分类：可视为输出序列长度为1的Seq2Seq任务。

    • 词性标注：可视为输出与输入序列等长的任务。

  • Transformer与Seq2Seq：Transformer模型本身就是一个经典的Seq2Seq模型，最初便是应用于机器翻译任务。

  • 一般思路：“编码再解码”：

    • 编码：将输入的自然语言序列通过隐藏层编码成能够表征语义的向量或矩阵。在Transformer中，这项工作由**编码器（Encoder）**完成。

    • 解码：对编码器得到的语义表示进行处理，再解码成对应的目标自然语言序列。这项工作则由**解码器（Decoder）**完成。

2. Transformer的整体结构

Transformer模型由N个编码器层（Encoder Layer）和N个解码器层（Decoder Layer）堆叠而成（通常N=6）。

  • 数据流向：输入序列首先进入编码器进行编码。编码器层的最顶层会将编码结果输出给解码器层的每一层。

  • 输出生成：最终通过解码器层层解码，得到输出目标序列。

3. 核心内部组件（编码器和解码器共用）

在深入了解编码器和解码器之前，需要理解它们共用的几个核心内部结构：

  • 前馈神经网络（FFN）：

    • 由两个线性层构成，中间夹有一个ReLU激活函数。

    • 加入了Dropout层以防止过拟合。

    • 负责对每个位置的特征独立地进行转换。

  • 层归一化（Layer Normalization, Layer Norm）：

    • 目的：让不同层输入的取值范围或分布保持一致。

    • 操作：在每个样本上计算其所有层的均值和方差，使得每个样本的分布达到稳定。

    • 优势：相较于批归一化（Batch Norm），Layer Norm在mini-batch较小、处理变长序列或RNN时效果更好，因此在深度神经网络中更为常用。

  • 残差连接（Residual Connection）：

    • 原因：由于Transformer模型结构复杂且层数较深，为了避免模型退化。

    • 方法：连接每一个子层，下一层的输入不仅包含上一层的输出，还包含上一层的原始输入。

    • 效果：底层信息能够直接传递到最高层，让高层专注于学习残差，提高了模型的训练效率和性能。

4. 编码器（Encoder）详解

编码器由N个EncoderLayer组成。

  • 单个EncoderLayer内部结构：

  1. 一个Layer Norm层。

  2. 一个多头自注意力（MultiHeadAttention）层：

    • 核心：编码器的核心组件。

    • 机制：计算序列中每个元素对其他所有元素的注意力分布，Q、K、V都来自于同一个输入序列经过不同参数矩阵的转换。

    • 特点：不使用掩码（is_causal=False），意味着每个token可以关注输入序列中的所有其他token。

  1. 一个Layer Norm层。

  2. 一个前馈神经网络（MLP）。

  • 整体流程：整个Encoder模块会依次通过这N个EncoderLayer，并在最后再进行一次Layer Norm，以得到编码后的结果。

5. 解码器（Decoder）详解

解码器同样由N个DecoderLayer组成，但其内部结构比编码器更复杂。

  • 单个DecoderLayer内部结构：

  1. 一个Layer Norm层。

  2. 一个掩码自注意力（Mask Self-Attention）层：

    • 位置：解码器的第一个注意力层。

    • 机制：采用掩码自注意力（is_causal=True），在生成序列时，每个token只能关注到其自身以及之前已经生成的token，不能“看到”未来信息。

    • 掩码：通常是一个上三角矩阵，通过将注意力分数与掩码相加，再进行Softmax操作，可以将未来位置的注意力分数置为0。

    • 效果：使得模型在训练时可以并行计算，但逻辑上仍模拟了序列的逐步生成过程。

3. 一个Layer Norm层。

4.一个多头注意力（MultiHeadAttention）层：

  • 别名：Encoder-Decoder Attention。

  • 位置：解码器的第二个注意力层。

  • 机制：Query来自解码器第一个注意力层的输出，而Key和Value则来自编码器（Encoder）的输出。

  • 功能：允许解码器在生成目标序列时，能够有效地“关注”并利用编码器对源序列提取的关键信息。

  • 特点：同样不使用掩码（is_causal=False）。

5.一个Layer Norm层。

6.一个前馈神经网络（MLP）。

cv42082036