抱抱脸(hugging face)教程-中文翻译-使用 Tokenizers 的 tokenizers
使用Tokenizers的tokenizersPreTrainedTokenizerFast依赖于Tokenizers库。从Tokenizers库获得的tokenizers可以非常简单地加载到Transformers。在详细讨论之前,让我们先用几行代码创建一个虚拟的tokenizer:fromtokenizersimportTokenizerfromtokenizers.modelsimportB