BART（降噪自编码器）

2026年4月

BART（Bidirectional and Auto-Regressive Transformers）是一种基于 Transformer 架构的预训练语言模型，由 Facebook AI 于 2019 年提出。它结合了双向编码器与自回归解码器的优势，通过“破坏-重建”机制学习文本的深层语义表示，在多种自然语言处理任务中表现出色。

核心思想：降噪自编码

BART 的核心在于其独特的预训练目标——降噪自编码（Denoising Autoencoding）。与传统自编码器类似，BART 首先对输入文本施加人为噪声（如删除、打乱、掩码等），然后利用编码器-解码器结构尝试恢复原始文本。这种设计使模型既能理解上下文（通过双向编码器），又能生成连贯序列（通过自回归解码器）。

常见的文本破坏策略包括：

随机删除 token
文本跨度掩码（masking spans of text）
打乱句子顺序
文档旋转（将某关键词移至开头）

模型架构特点

BART 采用标准的 Transformer 编码器-解码器结构：

编码器：多层双向 Transformer，用于全面理解被破坏的输入。
解码器：多层自回归 Transformer，逐 token 生成原始文本。

与 BERT 不同，BART 的编码器不依赖 [MASK] token，而是直接处理被破坏的完整序列；与 GPT 等纯自回归模型相比，BART 的双向编码能力使其在理解任务上更具优势。

应用与优势

BART 在文本生成、摘要、翻译、问答和文本修复等任务中表现优异。其主要优势包括：

统一框架支持多种下游任务，微调简单高效；
对输入扰动具有强鲁棒性；
在低资源场景下仍能保持良好性能。

由于其灵活的预训练机制和强大的泛化能力，BART 成为继 BERT 和 GPT 之后又一重要的预训练语言模型范式。