Transformer中tokenizer的使用：分词、token_id与token转换

我们使用transformer中的tokenizer进行分词，如何获得分词后的句子呢？

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

text = '今天是个好天气，我们可以出去走走。'
token_ids = tokenizer.encode(text, max_length = 30, add_special_tokens = True, padding = 'max_length', truncation = True)
# [101, 791, 1921, 3221, 702, 1962, 1921, 3698, 8024, 2769, 812, 1377, 809, 1139, 1343, 6624, 6624, 511, 102, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

tokened_text = tokenizer.convert_ids_to_tokens(token_ids)
# ['[CLS]', '今', '天', '是', '个', '好', '天', '气', '，', '我', '们', '可', '以', '出', '去', '走', '走', '。', '[SEP]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]']

这样，我们得到的 token_ids 和  tokened_text 是同样维度的，如果后续需要文本attention可视化，这样做会方便很多

当然，如果只是为了分词，也可以这样做：

tokened_text = tokenizer.tokenize(text)
# ['今', '天', '是', '个', '好', '天', '气', '，', '我', '们', '可', '以', '出', '去', '走', '走', '。']

只不过这样得到的分词，是不包含padding部分，以及special token的。