字符串与文本处理

人工智能中文本无处不在

在人工智能理解你的问题、写论文或翻译句子之前，它必须处理原始文本。每个聊天机器人、搜索引擎和语言模型都以字符串开始——代表人类语言的字符序列。

了解字符串的工作原理打开了自然​​语言处理的大门，这是人工智能最令人兴奋的领域之一。

字符串基础知识

字符串只是按顺序存储的字符序列（字母、数字、空格和符号）。

message = "Hello, World!"

每个字符都有一个位置（索引），就像数组一样：

index:  0  1  2  3  4  5  6  7  8  9  10  11  12
char:   H  e  l  l  o  ,     W  o  r   l   d   !

子串

子字符串是字符串的一部分。出自《你好，世界！》您可以提取“World”（索引 7 到 11）。人工智能系统不断提取子字符串 - 从句子中提取名称，从推文中分离主题标签，或从网页中抓取 URL。

不变性

在大多数语言中，字符串是不可变的 - 您无法就地更改字符。相反，您创建一个新字符串。这对于性能很重要：如果您的 AI 管道修改文本数百万次，每次创建新字符串都会减慢速度。

ChatGPT 如何读取文本：标记化

人工智能模型不像人类那样阅读文字。他们使用标记化 - 将文本分割成更小的部分，称为标记。

Input:  "unhappiness"
Tokens: ["un", "happiness"]

Input:  "ChatGPT is brilliant"
Tokens: ["Chat", "G", "PT", " is", " brilliant"]

标记化位于字符级和单词级处理之间。它通过将生僻单词分解为已知的子部分来处理生僻单词，从而保持词汇量易于管理。

为什么代币化很重要

• 典型的语言模型具有 50,000–100,000 个标记的词汇表。
• 每个标记映射到一个数字（其 ID），模型实际处理该数字。
• 文本标记化的方式会影响成本 - 更多的标记意味着更多的计算和更高的 API 费用。

模式匹配 - 大海捞针

核心字符串操作是在较大文本中搜索模式。这封邮件中是否包含“紧急”一词？此代码是否包含安全漏洞？

简单的方法

沿着文本滑动图案，逐个字符检查：

text:    "the cat sat on the mat"
pattern: "cat"

Position 0: "the" → no match
Position 1: "he " → no match
Position 4: "cat" → match found at index 4!

在最坏的情况下，这是 O(n × m)，其中 n 是文本长度，m 是模式长度。对于短图案来说，这很好。为了扫描数百万份文档，我们需要更智能的方法。

经典弦乐挑战

字符串反转

反转字符串很简单，但揭示了您如何看待数据：

reverse("hello") → "olleh"