Transformer（序列建模框架）

       一种基于自注意力机制的神经网络架构。它彻底抛弃了传统的循环神经网络和卷积神经网络结构，通过并行计算大幅提升了训练效率，并能更好地捕捉长距离文本依赖关系。Transformer是GPT、BERT等所有主流大型语言模型的基础架构，堪称“大模型背后的模型”。