編碼預訓練語言模型（Encoder-only Pre-trained Models）在預訓練過程中只利用原始 Transformer 模型中的編碼器。相 應的預訓練任務通常選用掩碼語言建模任務（Masked Language Modeling）， 即掩碼住（用特殊字符 [MASK] 替換）輸入句子中一定比例的單詞后，要 求模型根據上下文信息去預測被遮掩的單詞。其中有有代表性的工作包括 BERT[2]，ALBERT[27]，RoBERTa[28]等。表 2.1列舉該架構下的若干經典模 型。

BERT BERT 模型是經典的編碼預訓練語言模型，其通過掩碼語言建 模和下一句預測任務，對 Transformer 模型的參數進行預訓練。

ALBERT ALBERT 是一個輕量化的 BERT 模型，作者通過分解詞向量 矩陣和共享 Transformer 層參數來減少模型參數個數。

RoBERTa 相較于 BERT 模型，RoBERTa 在預訓練階段，采用了更多的 語料以及動態掩碼機制（不同輪次同一樣本掩碼不同的單詞），去掉了下一 句預測任務，同時采用了更大的批大小。