# “编码器”模型 [[“编码器”模型]]

编码器模型仅使用 Transformer 模型的编码器部分。在每次计算过程中，注意力层都能访问整个句子的所有单词，这些模型通常具有“双向”（向前/向后）注意力，被称为自编码模型。

这些模型的预训练通常会使用某种方式破坏给定的句子（例如：通过随机遮盖其中的单词），并让模型寻找或重建给定的句子。

“编码器”模型适用于需要理解完整句子的任务，例如：句子分类、命名实体识别（以及更普遍的单词分类）和阅读理解后回答问题。

该系列模型的典型代表有：

- [ALBERT](https://huggingface.co/transformers/model_doc/albert) 
- [BERT](https://huggingface.co/transformers/model_doc/bert) 
- [DistilBERT](https://huggingface.co/transformers/model_doc/distilbert) 
- [ELECTRA](https://huggingface.co/transformers/model_doc/electra) 
- [RoBERTa](https://huggingface.co/transformers/model_doc/roberta)