9.8 KiB
5.2 训练 Tokenizer
在自然语言处理 (NLP) 中，Tokenizer 是一种将文本分解为较小单位（称为 token）的工具。这些 token 可以是词、子词、字符，甚至是特定的符号。Tokenization 是 NLP 中的第一步，直接影响后续处理和分析的效果。不同类型的 tokenizer 适用于不同的应用场景，以下是几种常见的 tokenizer 及其特点。
5.3.1 Word-based Tokenizer
Word-based Tokenizer 是最简单和直观的一种分词方法。它将文本按空格和标点符号分割成单词。这种方法的优点在于其简单和直接，易于实现，且与人类对语言的直觉相符。然而，它也存在一些明显的缺点，如无法处理未登录词（OOV，out-of-vocabulary）和罕见词，对复合词（如“New York”）或缩略词（如“don't”）的处理也不够精细。此外，Word-based Tokenizer 在处理不同语言时也会遇到挑战，因为一些语言（如中文、日文）没有显式的单词分隔符。
示例：
Input: "Hello, world! There is Datawhale."
Output: ["Hello", ",", "world", "!", "There", "is", "Datawhale", "."]
在这个例子中，输入的句子被分割成一系列单词和标点符号，每个单词或标点符号都作为一个独立的 token。
5.2.2 Character-based Tokenizer
Character-based Tokenizer 将文本中的每个字符视为一个独立的 token。这种方法能非常精细地处理文本，适用于处理拼写错误、未登录词或新词。由于每个字符都是一个独立的 token，因此这种方法可以捕捉到非常细微的语言特征。这对于一些特定的应用场景，如生成式任务或需要处理大量未登录词的任务，特别有用。但是，这种方法也会导致 token 序列变得非常长，增加了模型的计算复杂度和训练时间。此外，字符级的分割可能会丢失一些词级别的语义信息，使得模型难以理解上下文。
示例：
Input: "Hello"
Output: ["H", "e", "l", "l", "o"]
在这个例子中，单词“Hello”被分割成单个字符，每个字符作为一个独立的 token。这种方法能够处理任何语言和字符集，具有极大的灵活性。
5.2.3 Subword Tokenizer
Subword Tokenizer 介于词和字符之间，能够更好地平衡分词的细粒度和处理未登录词的能力。Subword Tokenizer 的关键思想是将文本分割成比单词更小的单位，但又比字符更大，这样既能处理未知词，又能保持一定的语义信息。常见的子词分词方法包括 BPE、WordPiece 和 Unigram。
（1）Byte Pair Encoding (BPE)
BPE 是一种基于统计方法，通过反复合并频率最高的字符或字符序列对来生成子词词典。这种方法的优点在于其简单和高效，能够有效地处理未知词和罕见词，同时保持较低的词典大小。BPE 的合并过程是自底向上的，逐步将频率最高的字符对合并成新的子词，直到达到预定的词典大小或不再有高频的字符对。
示例：
Input: "lower"
Output: ["low", "er"]
Input: "newest"
Output: ["new", "est"]
在这个例子中，单词“lower”被分割成子词“low”和“er”，而“newest”被分割成“new”和“est”。这种方法有效地处理了词干和词缀，保持了单词的基本语义结构。
（2）WordPiece
WordPiece 是另一种基于子词的分词方法，最初用于谷歌的 BERT 模型。与 BPE 类似，WordPiece 通过最大化子词序列的似然函数来生成词典，但在合并子词时更注重语言模型的优化。WordPiece 会优先选择能够最大化整体句子概率的子词，使得分词结果在语言模型中具有更高的概率。
示例：
Input: "unhappiness"
Output: ["un", "##happiness"]
在这个例子中，单词“unhappiness”被分割成子词“un”和“##happiness”，其中“##”表示这是一个后缀子词。通过这种方式，WordPiece 能够更好地处理复合词和派生词，保留更多的语义信息。
（3）Unigram
Unigram 分词方法基于概率模型，通过选择具有最高概率的子词来分割文本。Unigram 词典是通过训练语言模型生成的，可以处理多种语言和不同类型的文本。Unigram 模型会为每个子词分配一个概率，然后根据这些概率进行最优分割。
示例：
Input: "unhappiness"
Output: ["un", "happiness"]
Input: "newest"
Output: ["new", "est"]
在这个例子中，单词“unhappiness”被分割成子词“un”和“happiness”，而“newest”被分割成“new”和“est”。这种方法通过概率模型有效地处理了子词分割，使得分割结果更符合语言使用习惯。
每种 Tokenizer 方法都有其特定的应用场景和优缺点，选择适合的 Tokenizer 对于自然语言处理任务的成功至关重要。
5.2.4 训练一个 Tokenizer
这里我们选择使用 BPE 算法来训练一个 Subword Tokenizer。BPE 是一种简单而有效的分词方法，能够处理未登录词和罕见词，同时保持较小的词典大小。我们将使用 Hugging Face 的 tokenizers 库来训练一个 BPE Tokenizer。
Step 1: 安装和导入依赖库
首先，我们需要安装 tokenizers 库，除此之外还需要安装 datasets 和 transformers 库，用于加载训练数据和加载训练完成后的 Tokenizer。
pip install tokenizers datasets transformers
然后，导入所需的库。
from tokenizers import Tokenizer
from tokenizers.pre_tokenizers import Whitespace
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer
from datasets import load_dataset
Step 2: 加载训练数据
我们使用 datasets.load_dataset() 库加载一个英文文本数据集，用于训练 BPE Tokenizer。这里我们使用 wikitext 数据集，包含了维基百科的文章文本。
dataset = load_dataset("wikitext", "wikitext-103-v1", split="train")
# 准备训练数据
def batch_iterator(batch_size=1000):
for i in range(0, len(dataset), batch_size):
yield dataset[i:i + batch_size]["text"]
如果你使用本地的文本数据集，可以将数据加载到一个列表中，然后传入 batch_iterator() 函数中。如下所示：
def load_text_from_files(path_list):
text_data = []
for file_path in path_list:
with open(file_path, 'r', encoding='utf-8') as file:
text_data.extend(file.readlines())
return text_data
def batch_iterator(text_data, batch_size=1000):
for i in range(0, len(text_data), batch_size):
yield text_data[i:i + batch_size]
# 假设你的文件路径列表是
path_list = ['text_data1.txt', 'text_data2.txt', 'text_data3.txt']
text_data = load_text_from_files(path_list)
Step 3: 训练 BPE Tokenizer
（1）初始化tokenizer和trainer。
tokenizer = Tokenizer(BPE())
（2）定义预处理器
tokenizer.pre_tokenizer = Whitespace() # 使用 Whitespace 预处理器
（3）训练 BPE Tokenizer
# 设置设置BPE训练器
trainer = BpeTrainer(vocab_size=32000, min_frequency=2, special_tokens=["<s>", "<pad>", "</s>", "<unk>"])
# 训练BPE Tokenizer
tokenizer.train_from_iterator(batch_iterator(), trainer)
# 保存训练好的 Tokenizer
tokenizer.save("./output/tokenizer.json")
在训练过程中，我们需要指定 BPE Tokenizer 的参数，如词典大小、最小词频和特殊标记。这些参数可以根据具体的任务和数据集进行调整，以获得更好的分词效果。
Step 4: 使用训练好的 Tokenizer
（1）使用 Tokenizer 加载训练好的 Tokenizer
训练完成后，我们可以使用训练好的 Tokenizer 对文本进行分词。首先，我们需要加载训练好的 Tokenizer。
tokenizer = Tokenizer.from_file("./output/tokenizer.json")
使用 Tokenizer 对文本进行分词
# 测试tokenizer
encoding = tokenizer.encode("how old are you?heiheihei")
print(encoding.tokens)
print(encoding.ids)
# ['how', 'old', 'are', 'you', '?', 'hei', 'hei', 'hei']
# [2680, 1575, 1354, 2458, 34, 25088, 25088, 25088]
在这个例子中，我们使用训练好的 Tokenizer 对输入文本进行分词，得到了分词后的 token 序列。每个 token 都有一个对应的 id，可以用于后续的模型训练和推理。
（2）使用 transformers 库加载 Tokenizer
我们可以使用 transformer 库中的 PreTrainedTokenizerFast 来加载训练好的 Tokenizer。
# 使用 transformers 库加载 Tokenizer
from transformers import PreTrainedTokenizerFast
# tokenizer_file 是训练好的 Tokenizer 文件路径
fast_tokenizer = PreTrainedTokenizerFast(tokenizer_file="tokenizer_test/llama-bpe-tokenizer.json", pad_token="<pad>", bos_token="<s>", eos_token="</s>", unk_token="<unk>")
fast_tokenizer.encode('how old are you?'), fast_tokenizer.decode(fast_tokenizer.encode('how old are you?'))
# ([2680, 1575, 1354, 2458, 34], 'how old are you?')
在这个例子中，我们使用 transformers 库中的 PreTrainedTokenizerFast 类加载训练好的 Tokenizer，并使用 encode() 和 decode() 方法对文本进行分词和解码。
最后，我们可以将其保存为一个 AutoTokenizer 可以直接加载的格式。
fast_tokenizer.save_pretrained("tokenizer_test/llama-bpe-tokenizer")
（3）使用 transformers.AutoTokenizer 加载 Tokenizer
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("tokenizer_test/llama-bpe-tokenizer")
text = "I am 18 years old!"
tokenizer.encode(text), tokenizer.decode(tokenizer.encode(text))
# ([44, 1286, 1481, 1749, 1575, 4], 'I am 18 years old!')
OK，到这里我们已经完成了 BPE Tokenizer 完整的训绋和使用流程。通过训练一个 Tokenizer，我们可以更好地处理文本数据，提高模型的泛化能力和效果。