标记化 - AI 如何读取文本

神经网络与数字一起工作。他们无法像您那样读“你好”这个词。在任何语言模型可以处理文本之前，必须将其分解为称为“令牌”的小数字片段。这个看似简单的步骤对人工智能如何理解和误解语言产生了深远的影响。

为什么 AI 不能直接读取字符？

最简单的方法：将每个字符视为一个标记。 “Hello”变成 ['H', 'e', 'l', 'l', 'o'] - 五个标记。

问题？单词变成了荒谬的长序列。一篇 500 字的文章可能会变成 2,500 多个字符。由于 Transformer 模型随序列长度呈二次方缩放，因此这在计算上是残酷的。更糟糕的是，单个字符几乎没有任何意义 - 模型必须知道“c”、“a”、“t”一起表示毛茸茸的动物。

字级标记化

相反的极端：每个单词都是一个标记。 “The cat sat”变成了['The', 'cat', 'sat']——紧凑而有意义。

但这产生了一个不同的问题：词汇量爆炸。仅英语就有数十万个单词。添加拼写错误、技术术语和代码，词汇量就会变得难以管理。词汇表中没有的任何单词都会成为未知的 [UNK] 标记 - 理解的死胡同。

最佳点 - 子词标记化

现代语言模型使用子词标记化，它位于字符和单词之间。常见的单词保持完整（“the”、“and”），而罕见的单词则被分成有意义的部分（“un”+“belief”+“able”）。

这为我们提供了可管理的词汇量（通常为 32,000-100,000 个标记），同时处理任何文本 - 甚至是模型以前从未见过的单词。

字节对编码 (BPE) - 一步一步

BPE 是 GPT 模型背后的算法。以下是它构建词汇表的方式：

1. 以单个字符开始：{'h', 'e', 'l', 'o', 'w', 'r', 'd', ' '}。
2. 计算哪些相邻标记对在训练文本中出现最频繁。
3. 将最频繁的对合并成新的令牌。如果“l”+“o”出现最多，则创建“lo”。
4. 重复步骤 2-3，直到达到所需的词汇量。

工作示例，文本为“低下最低”：

|步骤|最常见的配对 |新代币 |词汇量增长 | |------|--------------------|------------|------------------| | 1 |左+右|瞧| ...瞧... | | 2 |洛 + w |低| ...低... | | 3 | e + r |呃| ...呃... | | 4 |低 + e |洛| ...洛威...|

经过足够的合并后，常见单词和单词片段会自然地从数据中出现。

其他标记化方法

文字片段

由 BERT 和相关模型使用。与 BPE 类似，但它不是合并最频繁的对，而是合并最大化训练数据的似然的对。子词片段以 ## 为前缀（例如，“演奏”→ ）。