Transformers翻译
目录：
入门
- 快速探索
- 安装
- 理论
- 术语
TRANSFORMERS 应用
- 任务总结
- 模型总结
- 处理数据
- 微调训练过的模型
- 模型共享和上传
- tokenizers总结
- 多语种模型
高阶指南
- 训练模型
- 案例
- 排除故障
- 用自定义数据集进行微调
- transformer notebooks
- 亚马逊云端跑模型
- 社区
- Converting Tensorflow Checkpoints（未理解）
- 先前包的迁移
- How to contribute to transformers?
- 如何为transformers添加模型？
- 使用tokenizers
- 测试
- 调试
- 导入transformers模型
- 研究
- BERTology
- 定长模型的困惑
- 基准
MAIN CLASSES（主要类别）
- 回调
- 配置
- 数据容器
- 日志
- 模型
- 优化
- 模型输出
- 管道
- 处理器
- 分词器
- 训练
- 特征提取
模型
- ALBERT
- Auto Classes
- BART
- BARThes
- BERT
- Bertweet
- BertGeneration
- BertJapanese
- BigBird
- BigBirdPegasus
- Blenderbot
- Blenderbot Small
- BORT
- CamemBERT
- CLIP
- ConvBERT
- CPM
- CTRL
- BeBERTa
- BeBERTa-v2
- DeiT
- DialoGPT
- DistilBERT
- DPR
- ELECTRA
- Encoder Dencoder Models
- FlauBERT
- FSMT
- Funnel Transformer
- herBERT
- I-BERT
- LayoutLM
- LED
- Longformer
- LUKE
- LXMERT
- MarainMT
- M2M100
- MBart and MBart-50
- MegatronBERT
- MegatronGPT2
- MobileBERT
- MPNet
- MT5
- OpenAI GPT
- OpenAI GPT2
- GPT Neo
- Pegasus
- PhoBERT
- ProphetNet
- RAG
- Reformer
- RetriBERT
- RoBERTa
- Speech2TEXT
- SqueezeBERT
- T5
- TAPAS
- Transformer XL
- Vision Transformer(ViT)
- Wav2Vec2
- XLM
- XLM-ProphetNet
- XLM-RoBERTa
- XLNet
- XLSR-Wav2Vec2
帮助
- 自定义图层和工具
- pipelines工具
- tokenizers工具
- trainer工具
- generation工具
- 一般工具
入门：
快速tour
快速了解transformer库特征，可为自然语言理解任务下载预训练模型，例如文本情感分析，可实现自然语言生成，如【问答、摘要】或翻译。
首先我们会使用pipeline API 应用这些预训练模型，然后，我们将进一步挖掘，看看库如何让您访问这些模型，并帮助您对数据进行预处理。
文档中的代码提供了两种深度学习框架语言(pytorch 和 tensorflow)
transformer提供下列解决方案
情感分析：文本是积极的还是消极的？
文本生成（英语 ）：给一个提示，模型将生成以下内容
名称实体识别（NER）：在句子中，标注标签实体
问答：为模型提供上下文和问题，并从上下文中提取答案
文本填充：如用mask填充空值
总结：生成长文本的摘要
翻译：语言翻译
特征提取：返回文本的tensor representation
情感分析样例
首次执行此命令时，预训练模型和分词器需要被下载和缓存，分词器为模型处理文本，以便模型进行预测，pipeline将这两部分组合在一起，举例：
>>> from transformers import pipeline
>>> classifier = pipeline('sentiment-analysis')
>>> classifier('We are very happy to show you the Transformers library.')
[{'label': 'POSITIVE', 'score': 0.9997795224189758}]
也可传入列表句子，模型会进行批处理，返回列表结果；例如：
>>> results = classifier(["We are very happy to show you the Transformers library.",
... "We hope you don't hate it."])
>>> for result in results:
... print(f"label: {result['label']}, with score: {round(result['score'], 4)}")
label: POSITIVE, with score: 0.9998
label: NEGATIVE, with score: 0.5309
可以看到第二句话被标签为消极，但得分居中；
默认情况下，为pipeline 下载“distilbert-base-uncased-finetuned-sst-2-english”模型，模型使用的是DistilBERT 框架，基于SST-2数据集进行微调，来完成情感分析任务。
也可以指定模型，例如：
>>> classifier = pipeline('sentiment-analysis', model="nlptown/bert-base-multilingual-uncased-sentiment")
>
加载本地模型，需要两个步骤，首先需要用AUTOTokenizer下载Tokenizer并完成实例化，其次用"AutoModelForSequenceClassification"下载模型本身
>>> from transformers import AutoTokenizer, AutoModelForSequenceClassification
>>> model_name = "nlptown/bert-base-multilingual-uncased-sentiment"
>>> model = AutoModelForSequenceClassification.from_pretrained(model_name)
>>> tokenizer = AutoTokenizer.from_pretrained(model_name)
>>> classifier = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)
使用分析器
第一步：分词器将文本分割成单词，通常称为tokens，有多种规则，因此我们要使用模型名称实例化tokenizer,确保训练模型时使用的是相同的规则。
第二步：将tokens转化为数字，构建tensor去拟合模型，tokenizer有一个词汇表vocab, from_pretrained和pretrained需使用相同的词汇表。
>>> inputs = tokenizer("We are very happy to show you the Transformers library.")
>>> print(inputs)
{'input_ids': [101, 2057, 2024, 2200, 3407, 2000, 2265, 2017, 1996, 100, 19081, 3075, 1012, 102], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
Copy to clipboard
分词器接受列表输入，用模型进行批处理，填充列表元素到相同长度，清空并填充到模型可接受的最大长度，并指定返回值。
>>> tf_batch = tokenizer(
... ["We are very happy to show you the Transformers library.", "We hope you don't hate it."],
... padding=True,
... truncation=True,
... max_length=512,
... return_tensors="tf"
... )
模型自动填充案例如下：
input_ids和attention_mask均用0进行了填充
>>> for key, value in tf_batch.items():
... print(f"{key}: {value.numpy().tolist()}")
input_ids: [[101, 2057, 2024, 2200, 3407, 2000, 2265, 2017, 1996, 100, 19081, 3075, 1012, 102], [101, 2057, 3246, 2017, 2123, 1005, 1056, 5223, 2009, 1012, 102, 0, 0, 0]]
attention_mask: [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0]]
模型应用
>>> tf_outputs = tf_model(tf_batch)
模型输出
>>> print(tf_outputs)
TFSequenceClassifierOutput(loss=None, logits=<tf.Tensor: shape=(2, 2), dtype=float32, numpy=
array([[-4.0832963 , 4.3364143 ],
[ 0.081807 , -0.04178282]], dtype=float32)>, hidden_states=None, attentions=None)
自定义tokenizer和模型，代替自动获取
>>> from transformers import DistilBertTokenizer, DistilBertForSequenceClassification
>>> model_name = "distilbert-base-uncased-finetuned-sst-2-english"
>>> model = DistilBertForSequenceClassification.from_pretrained(model_name)
>>> tokenizer = DistilBertTokenizer.from_pretrained(model_name)
Glossary 术语
autoencoding 模型: MLM
autoregressive 模型: CLM
CLM:因果语言建模，模型读取预训练任务文本，然后预测接下来的词汇。通常的实现方法是给定完整语句，但隐藏其中部分词汇，用模型进行预测；
DEEP LEARNING:多层神经网络机器学习算法；
MLM:掩码语言建模，破坏文本，随机填充一些特殊字符，然后去预测原始文本；
多模式:将文本与另一种输入(例如图像)相结合的任务；
自然语言生成：生成相关性文本；
自然语言处理：一种通用方法处理文本；
自然语言理解：理解整个文本（例如：文本分类，词汇分类）
预训练模型：通过数据进行预训练，模型采用的是监督学习方法，如：学习本文预测下一个词汇，随机填充词汇后进行预测；
循环神经网络：循环处理文本；
自注意力机制：从关注到关注重点；
seq2seq or sequence-to-sequence:通过输入生成新的句子，如翻译、汇总，聊天（问答）；
token:句子的一部分，通常是一个单词，标点符号；
transformer：基于深度学习模型框架自注意力机制
模型输入
每一个模型都是不同的也有相似之处；因此，大多数模型使用相同的输入，这里将详细介绍这些输入以及使用示例。
模型通常仅需要input_ids参数，她们通常是token指数、数值；
每一个分词器的工作方式不同，但底层工作机制是一样的，这是一个Bert分词器的案例，wordpiece的分词器
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-cased")
sequence = "A Titan RTX has 24GB of VRAM"
分词器用词汇表将语句分割成可用的c z
tokenized_sequence = tokenizer.tokenize(sequence)
print(tokenized_sequence)
['A', 'Titan', 'R', '##T', '##X', 'has', '24', '##GB', 'of', 'V', '##RA', '##M']
学习时间：
提示：这里可以添加计划学习的时间
例如：
1、 周一至周五晚上 7 点—晚上9点
2、 周六上午 9 点-上午 11 点
3、 周日下午 3 点-下午 6 点
学习产出：
提示：这里统计学习计划的总量
例如：
1、 技术笔记 2 遍
2、CSDN 技术博客 3 篇
3、 学习的 vlog 视频 1 个