预训练（Pre-Training）

       预训练是一种机器学习训练方法，指模型先在大规模通用数据集上进行训练以学习通用特征或知识，随后可在特定任务的小规模数据集上进行微调以适应下游任务。 其核心思想包括两阶段学习和迁移学习，旨在降低对标注数据的依赖、提升模型性能与开发效率。

       预训练作为机器学习的一种范式已发展多年。 在自然语言处理领域，其演进历程包括早期的词嵌入时代（如Word2Vec）、上下文感知时代（如ELMo）以及以Transformer架构为主导的现代（如BERT、GPT）。 在计算机视觉等领域，使用ImageNet等大型数据集进行预训练也是一种常见做法。