Transformers使用教程



模型参数下载

数据集查找

Transformers中文使用说明​​​​​​​

Huggingface 超详细介绍 - 知乎

Hugging Face 的 Transformers 库快速入门 

文档说明

Transformers 提供文本相关的预训练模型
Diffusers 提供图像相关的预训练模型

Datasets

用于轻松访问和共享音频、计算机视觉和自然语言处理 (NLP) 任务的数据,同时可以用于加载评估指标
gradio 用于创建前端界面
Inference API 提供基于url模型调用方法
Accelerate 大规模的训练和推理变得简单、高效和适应性强。
Optimum 它提供了一组性能优化工具,以最高效率在目标硬件上训练和运行模型。
 tokenizers 提供了一个 实现当今最常用的分词器
course 提供中文、英文等多种语义的模型使用和微调教程
Evaluate 评估指标的选择与使用
Tasks 根据任务去查找模型,并体验相应的功能

Transformers训练和微调

采用pipline方法 Transformers训练和微调:Training and Fine-tuning_HMTT的博客-CSDN博客_transformers微调
采用Trainer() 【NLP】(task9)Transformers解决机器翻译任务(更新ing)_山顶夕景的博客-CSDN博客_marianmtmodel Trainer中准确率计算不是必须的
metrics评估方法加载与使用说明 datasets/metrics at main · huggingface/datasets · GitHub
evaluate/metrics at main · huggingface/evaluate · GitHub

 

你可能感兴趣的:(python,Transformers,人工智能,深度学习)