huggingface transformers包 文档学习笔记（持续更新ing...）

诸神缄默不语-个人CSDN博文目录

最近更新日期：2022.4.22
最早更新日期：2022.2.17

本文系huggingface（Hugging Face – The AI community building the future.）旗下Python包transformers 文档（ Transformers）的个人学习笔记合集，各部分的具体内容分别撰写博文，本文以超链接的形式构建目录。
transformers是用于在Python人工智能开发过程中便捷调用预训练模型的Python库。可以应用在文本、视觉、多模态下，但由于作者主要致力于NLP方向，因此仅会关注文本方面的工作，尤其是文本摘要相关的工作。而且transformers可以用多种神经网络框架包作为后端，但是由于作者主要使用PyTorch，因此本文会关注PyTorch方向；此外作者也用过TensorFlow；但是JAX等其他框架完全没用过，所以应该也不会写到相关内容。
此外，由于transformers包更新非常快，因此本文所撰写的内容都随时可能过时。作者只能保证在相应部分的内容被撰写时可用。
本文原本的各部分排列顺序为transformers官方文档各部分排列顺序，但是因为文档整个排版都更新了，所以我就直接按照我的笔记撰写的顺序来写了。笔记撰写的顺序是当时的文档排列顺序，随着原文档顺序修改，可能与当下的文档排列顺序不符。

另：

1. 本文中所介绍transformers文档中的视频都是YouTube源，因此有一些读者可能没法看。
2. transformers文档各部分的内容都可以通过 transformers官方的notebooks 进行实战代码训练，其中colab的代码一些读者可能没法上，但是SageMaker Studio的代码是在大陆可以直接加载的。
3. 本文中较靠后的博文，可能有些内容是以假设读者阅读过此前博文为前提来撰写的。如果您在阅读过程中出现了由于前提知识不足而产生的理解问题，可以给我留下评论，我会写明对应前提知识的对应资料。
   
   

正文：

1. transformers介绍：
   网址：https://huggingface.co/docs/transformers/master/en/index
   transformers是适用于PyTorch、TensorFlow和JAX的机器学习包，可用于下载和训练预训练模型。用预训练模型比从0开始训练模型更好（可以减少计算代价和时间、减少碳足迹之类的）。
2. huggingface.transformers速成笔记：Pipeline推理和AutoClass 对应的原文档网页：
   1. https://huggingface.co/docs/transformers/master/en/quicktour
   2. https://huggingface.co/docs/transformers/master/en/pipeline_tutorial
   3. https://huggingface.co/docs/transformers/master/en/autoclass_tutorial
3. huggingface.transformers安装教程 对应的原文档网页：https://huggingface.co/docs/transformers/master/en/installation
4. huggingface.transformers哲学 对应的原文档网页：https://huggingface.co/docs/transformers/master/en/philosophy
5. huggingface.transformers术语表 对应的原文档网页：https://huggingface.co/docs/transformers/master/en/glossary
6. https://huggingface.co/docs/transformers/main/en/preprocessing部分学习笔记与其他部分进行了融合，未单独成文，如有特别对本部分感兴趣的读者可着意参考huggingface.transformers速成笔记：Pipeline推理和AutoClass和huggingface.transformers术语表这两篇笔记。
7. huggingface.transformers任务简介 对应的原文档网页：https://huggingface.co/docs/transformers/main/en/task_summary
8. 用huggingface.transformers.AutoModelForSequenceClassification在文本分类任务上微调预训练模型 对应的原文档网页：https://huggingface.co/docs/transformers/main/en/training