嵌入 - AI 如何理解含义

标记化后，每个标记只是一个数字 - 词汇表中的索引。但索引 4,821 没有告诉模型任何有关含义的信息。人工智能如何知道“国王”和“女王”是相关的，或者“银行”可以表示河岸或金融机构？答案是嵌入。

One-Hot 编码的问题

简单的方法将每个单词表示为一个包含一个 1 和数千个 0 的向量。 “猫”可能是[0, 0, 1, 0, ..., 0]，“狗”是[0, 0, 0, 1, ..., 0]。

这有两个致命的缺陷：

• 没有相似之处： “猫”和“狗”之间的距离与“猫”和“民主”之间的距离一样远。编码捕获零语义信息。
• 海量： 拥有 50,000 个单词的词汇量，每个单词需要一个 50,000 维的向量。效率极低。

词嵌入 - 几何意义

嵌入将每个标记映射到一个密集向量，例如 256 或 768 维。与 one-hot 向量不同，这些维度是在训练和编码过程中学习的。

在相似的上下文中使用的单词最终在这个空间中紧密结合在一起。 “小狗”落在“小猫”附近。 “伦敦”降落在“巴黎”附近。空间的几何形状就是意义。

Word2Vec - 国王 − 男人 + 女人 = 女王

2013 年的 Word2Vec 论文展示了一些非凡的东西。在大型文本语料库上进行训练，学习到的向量表现出算术关系：

vector("king") − vector("man") + vector("woman") ≈ vector("queen")

从“男人”到“女人”的方向抓住了性别的概念。将其添加到“国王”移动到“女王”。这不是编程的——它是从语言模式中产生的。

其他示例：Paris − France + Italy ≈ Rome、bigger − big + small ≈ smaller。

嵌入尺寸

现代模型使用不同的嵌入大小：

|型号|嵌入尺寸| |--------|---------------------| | Word2Vec | 100–300 | |伯特 | 768 | 768 | GPT-3 | 12,288 | 12,288 | OpenAI 文本嵌入-3-大 | 3,072 | 3,072

更多维度可以捕捉更精细的区别，但需要更多内存和计算。可以把它想象成描述一个人：3个维度（身高、体重、年龄）给出了一个粗略的草图； 768个维度描绘出一幅细致的肖像。

从单词到句子

词嵌入代表单个单词，但我们经常需要比较整个句子或文档。 句子嵌入（来自 Sentence-BERT 或 OpenAI 的嵌入 API 等模型）将整个段落压缩为单个向量。