Transformers documentation

分词算法

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

分词算法

Transformers 支持三种子词分词算法:Byte pair encoding (BPE)、Unigram 和 WordPiece。它们将文本拆分为介于单词和字符之间的单元,在保持词表紧凑的同时仍能捕获有意义的片段。常见单词会保持完整,作为单个 token;而罕见或未知的单词则会被分解为子词。

例如,annoyingly 可能会被拆分为 ["annoying", "ly"] 或 ["annoy", "ing", "ly"],具体取决于词表。子词拆分使模型能够利用已知的子词来表示未见过的单词。

子词分词对于土耳其语等语言尤其有用,在这些语言中,可以通过将子词串联起来来构成长而复杂的单词。

字节对编码(BPE)

字节对编码(BPE)是 Transformers 中最流行的分词算法,被 Llama、Gemma、Qwen2 等模型所采用。

  1. 预分词器(pre-tokenizer)根据空白字符或其他规则对文本进行切分,生成一组唯一的单词及其出现频率。
("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)
  1. BPE 算法会从所有字符中创建一个基础词汇表,["b", "g", "h", "n", "p", "s", "u"]。
("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)
  1. BPE 从单个字符开始,并迭代地合并出现频率最高的相邻字符对。在 "hug"、"pug" 和 "hugs" 中,"u" 和 "g" 一起出现的次数最多,因此 BPE 将它们合并为 "ug" 并将其添加到词汇表中。
("h" "ug", 10), ("p" "ug", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "ug" "s", 5)
  1. 接下来最常见的字符对是 "u" 和 "n",它们出现在 "pun" 和 "bun" 中,因此合并为 "un"。
("h" "ug", 10), ("p" "ug", 5), ("p" "un", 12), ("b" "un", 4), ("h" "ug" "s", 5)
  1. 词表现在为 ["b", "g", "h", "n", "p", "s", "u", "ug", "un"]。BPE 会持续学习合并规则,直到达到目标词表大小,该大小等于基础词表大小加上合并次数。GPT 使用 BPE,其词表大小为 40,478(478 个基础 token + 40,000 次合并)。

任何不在基础词汇表中的字符都会映射到未知标记,例如 "<unk>"。在实际应用中,基础词汇表涵盖了训练期间出现的所有字符,因此未知标记很少见。

字节级 BPE

包含所有 Unicode 字符会使基础词表变得极其庞大。字节级 BPE 改用 256 个字节值作为基础词表,从而确保每个单词都能被分词,而无需使用 "<unk>" 标记。GPT-2 采用字节级 BPE,词表大小为 50,257(256 个字节标记 + 50,000 个合并 + 特殊文本结束标记)。

Unigram

Unigram 是 Transformers 中第二受欢迎的分词算法,被 T5、BigBird、Pegasus 等模型使用。

  1. Unigram 从一个较大的候选子词集合开始,每个候选子词都会根据其出现频率获得一个概率分数。
("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)
["b", "g", "h", "n", "p", "s", "u", "hu", "ug", "un", "pu", "bu", "gs", "hug", "pug", "pun", "bun", "ugs", "hugs"]
  1. Unigram 衡量当前词表在每一步中对训练数据的分词效果。

  2. 对于每个 token,Unigram 会衡量移除该 token 后整体损失会增加多少。例如,移除 "pu" 对损失的影响微乎其微,因为 "pug" 和 "pun" 仍然可以被分词为 ["p", "ug"] 和 ["p", "un"]。

    但移除 "ug" 会显著增加损失,因为 "hug"、"pug" 和 "hugs" 都依赖于它。

  3. Unigram 会移除损失增加量最低的 token,通常是最低的 10-20%。基础字符始终保留,因此任何单词都可以被分词。像 "bu"、"pu"、"gs"、"pug" 和 "bun" 这样的 token 会被移除,因为它们对整体似然度的贡献最小。

["b", "g", "h", "n", "p", "s", "u", "hu", "ug", "un", "hug", "pun", "ugs", "hugs"]
  1. 步骤 2-4 会重复执行,直到词表达到目标大小。

在推理阶段,Unigram 可以通过多种方式对单词进行分词。"hugs" 可能被分词为 ["hug", "s"]、["h", "ug", "s"] 或 ["h", "u", "g", "s"]。Unigram 会选择概率最高的分词方式。与基于合并规则、具有确定性的 BPE 不同,Unigram 是一种概率模型,在训练过程中可以采样出不同的分词方式。

SentencePiece

SentencePiece 是一个分词库,它直接在原始文本上应用 BPE 或 Unigram。标准的 BPE 和 Unigram 假设单词之间以空格分隔,但这对于不使用空格的中文和日文等语言并不适用。

  1. SentencePiece 将输入文本视为原始的字节或字符流,并将空格字符(表示为 "▁")包含在词汇表中。
("▁hug", 10), ("▁pug", 5), ("▁pun", 12), ("▁bun", 4), ("▁hugs", 5)
  1. SentencePiece 随后对文本应用 BPE 或 Unigram。

在解码时,SentencePiece 会将所有 token 拼接起来,并将 "▁" 替换为空格。

WordPiece

WordPiece 是 DistilBERT 和 Electra 等 BERT 系列模型的词元化算法。

它与 BPE 类似,都是自底向上迭代地合并词对,但区别在于选择词对的方式。

("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)

WordPiece 会合并那些能最大化训练数据似然性的词元对。

score("u", "g") = frequency("ug") / (frequency("u") × frequency("g"))
pair频率score
"u" + "g"2020 / (36 × 20) = 0.028
"u" + "n"1616 / (36 × 16) = 0.028
"h" + "u"1515 / (15 × 36) = 0.028
"g" + "s"55 / (20 × 5) = 0.050

得分倾向于合并 "g" 和 "s",当组合 token 的出现频率高于根据单个 token 频率所预期的频率时。BPE 简单地合并出现次数最多的那个词对。WordPiece 则衡量每次合并的 信息量。两个 token 如果共同出现的频率远高于随机概率的预测,则会优先被合并。

词级分词

词级分词通过空格、标点或特定语言的规则将文本拆分为词元。

["Do", "n't", "you", "love", "🤗", "Transformers", "?", "We", "sure", "do", "."]

由于每个独特的词都需要一个专属的 token,包括所有变体("love"、"loving"、"loved"、"lovingly"),词表大小会变得极其庞大。由此产生的嵌入矩阵非常巨大,从而增加了内存和计算开销。词表中不存在的词会被映射到 "<unk>" token,因此模型无法处理新词。

字符级分词

字符级分词将文本拆分为单个字符。

["D", "o", "n", "'", "t", "y", "o", "u", "l", "o", "v", "e"]

词表较小,且每个字符都能被表示,因此不存在 "<unk>" 问题。但序列会变得更长。像 "l" 这样的字符所承载的语义远少于 "love",因此性能会受到影响。

资源

  • LLM 课程的第 6 章将教你如何从零开始训练一个分词器,并讲解 BPE、Unigram 和 WordPiece 算法之间的区别。
Update on GitHub