一、为何需要你？序列建模的困境

在你出现之前，循环神经网络（RNN）及其变种LSTM、GRU是处理序列数据（如文本、语音、时间序列）的主流工具。它们按顺序逐个处理输入元素，将历史信息压缩在一个隐藏状态向量中传递。

• 瓶颈显现：

  • 长程依赖遗忘： 随着序列增长，早期信息在传递过程中极易被稀释或丢失。想象理解一段长文时，开篇的关键人物在结尾被提及，RNN可能已“忘记”其重要性。

  • 并行化困难： 顺序处理特性严重阻碍了利用现代GPU/TPU强大并行计算能力，训练效率低下。

  • 信息瓶颈： 无论序列多长，RNN都试图将所有历史信息塞进一个固定长度的隐藏向量中，导致信息损失。

这些限制呼唤着一种能直接建模序列元素间任意距离依赖关系，且高度并行的机制。你——自注意力机制，应运而生。