HuggingFace transformers 中文文档

本项目为HuggingFace transformers 库的中文文档,仅仅针对英文文档进行了翻译工作,版权归HuggingFace 团队所有。

完整文档请见github项目:

https://github.com/liuzard/transformers_zh_docs.git

1. 开始使用

  • Transformers简介
  • 快速开始
  • 安装

2. 教程

  • 通过pipline进行推理

  • 使用AutoClass编写可移植代码

  • 数据预处理

  • 调优预训练模型

  • 通过脚本训练

  • 通过Accelerate设置分布式训练

  • 通过PEFT加载和训练adapters

  • 分享你的模型

3. 任务指南

3.1 自然语言处理

  • 文本分类

  • Token分类

  • 问答

  • 语言模型

  • 掩码语言模型

  • 机器翻译

  • 文本摘要

  • 多项选择

3.2 语音处理

  • 语音分类
  • 语音识别

3.3 机器视觉

  • 图像分类
  • 图像分割
  • 视频分类
  • 目标检测
  • 零样本目标检测
  • 零样本图像分类
  • 深度估计

3.4 多模态

  • 图像描述
  • 阅读理解
  • 图像问答
  • 文本转语音

3.5 生成

  • 自定义生成策略

3.6 提示

  • 通过IDEFICS处理图像任务

4. 开发者指南:

  • 通过Tokenizers实现快速分词
  • 多语言模型推理
  • 使用模型特定的APIs
  • 分享自定义的模型
  • chat模型模板
  • 通过Amazon SageMaker训练模型
  • 导出到ONNX
  • 导出到TFLite
  • 导出到TorchScript
  • 基准测试
  • 笔记样例
  • 社区资源
  • 自定义Tools和Prompts
  • 问题排查

5. 性能和可拓展性:

5.1 概述

5.2 高效训练技巧

  • 单个GPU上高效训练的方法和工具
  • 多个GPU和并行计算
  • CPU上高效训练
  • 分布式CPU训练
  • TPU上训练
  • 使用TensorFlow在TPU上训练
  • 专用硬件训练
  • 用于训练的自定义硬件
  • 使用Trainer API进行超参数搜索

5.3 优化推理

  • 在CPU上进行推理
  • 在单个GPU上进行推理
  • 在多个GPU上进行推理
  • 在专用硬件上进行推理

5.4 其他内容

  • 实例化一个大型模型
  • 故障排查
  • TensorFlow模型的XLA集成
  • 使用torch.compile](https://github.com/liuzard/transformers_zh_docs/blob/master/docs_zh/.md)优化推理

6. 给transformers贡献

  • 如何贡献给Transformers
  • 如何向Transformers添加模型
  • 如何将Transformers模型转换为TensorFlow
  • 如何向Transformers添加pipline
  • 测试
  • 拉取请求的检查

7. 概念指南

  • 哲学
  • 术语表
  • Transformers能做什么
  • Transformers如何解决任务
  • Transformer模型系列
  • 分词器概述
  • 注意力机制
  • 填充和截断
  • BERTology
  • 固定长度模型的困惑度
  • 用于Web服务器推论的流水线
  • 模型训练解剖学

7 API

7.1 主要的类

  • Agents and Tools
  • Auto Classes
  • Callbacks
  • Configuration
  • Data Collator
  • Keras callbacks
  • Logging
  • Models
  • Text Generation
  • ONNX
  • Optimization
  • Model outputs
  • Pipelines
  • Processors
  • Quantization
  • Tokenizer
  • Trainer
  • DeepSpeed Integration
  • Feature Extractor
  • Image Processor

7.2 模型

7.2.1 文本模型

  • ALBERT
  • BART
  • BARThez
  • BARTpho
  • BERT
  • BertGeneration
  • BertJapanese
  • Bertweet
  • BigBird
  • BigBirdPegasus
  • BioGpt
  • Blenderbot
  • Blenderbot Small
  • BLOOM
  • BORT
  • ByT5
  • CamemBERT
  • CANINE
  • CodeGen
  • CodeLlama
  • ConvBERT
  • CPM
  • CPMANT
  • CTRL
  • DeBERTa
  • DeBERTa-v2
  • DialoGPT
  • DistilBERT
  • DPR
  • ELECTRA
  • Encoder Decoder Models
  • ERNIE
  • ErnieM
  • ESM
  • Falcon
  • FLAN-T5
  • FLAN-UL2
  • FlauBERT
  • FNet
  • FSMT
  • Funnel Transformer
  • GPT
  • GPT Neo
  • GPT NeoX
  • GPT NeoX Japanese
  • GPT-J
  • GPT2
  • GPTBigCode
  • GPTSAN Japanese
  • GPTSw3
  • HerBERT
  • I-BERT
  • Jukebox
  • LED
  • LLaMA
  • Llama2
  • Longformer
  • LongT5
  • LUKE
  • M2M100
  • MarianMT
  • MarkupLM
  • MBart and MBart-50
  • MEGA
  • MegatronBERT
  • MegatronGPT2
  • mLUKE
  • MobileBERT
  • MPNet
  • MPT
  • MRA
  • MT5
  • MVP
  • NEZHA
  • NLLB
  • NLLB-MoE
  • Nyströmformer
  • Open-Llama
  • OPT
  • Pegasus
  • PEGASUS-X
  • Persimmon
  • PhoBERT
  • PLBart
  • ProphetNet
  • QDQBert
  • RAG
  • REALM
  • Reformer
  • RemBERT
  • RetriBERT
  • RoBERTa
  • RoBERTa-PreLayerNorm
  • RoCBert
  • RoFormer
  • RWKV
  • Splinter
  • SqueezeBERT
  • SwitchTransformers
  • T5
  • T5v1.1
  • TAPEX
  • Transformer XL
  • UL2
  • UMT5
  • X-MOD
  • XGLM
  • XLM
  • XLM-ProphetNet
  • XLM-RoBERTa
  • XLM-RoBERTa-XL
  • XLM-V
  • XLNet
  • YOSO

7.2.2 视觉模型

  • BEiT
  • BiT
  • Conditional DETR
  • ConvNeXT
  • ConvNeXTV2
  • CvT
  • Deformable DETR
  • DeiT
  • DETA
  • DETR
  • DiNAT
  • DINO V2
  • DiT
  • DPT
  • EfficientFormer
  • EfficientNet
  • FocalNet
  • GLPN
  • ImageGPT
  • LeViT
  • Mask2Former
  • MaskFormer
  • MobileNetV1
  • MobileNetV2
  • MobileViT
  • MobileViTV2
  • NAT
  • PoolFormer
  • Pyramid Vision Transformer
  • RegNet
  • ResNet
  • SegFormer
  • SwiftFormer
  • Swin Transformer
  • Swin Transformer V2
  • Swin2SR
  • Table Transformer
  • TimeSformer
  • UperNet
  • VAN
  • VideoMAE
  • Vision Transformer
  • ViT Hybrid
  • ViTDet
  • ViTMAE
  • ViTMatte
  • ViTMSN
  • ViViT
  • YOLOS

7.2.3 语音模型

  • Audio Spectrogram Transformer
  • Bark
  • CLAP
  • EnCodec
  • Hubert
  • MCTCT
  • MMS
  • MusicGen
  • Pop2Piano
  • SEW
  • SEW-D
  • Speech2Text
  • Speech2Text2
  • SpeechT5
  • UniSpeech
  • UniSpeech-SAT
  • VITS
  • Wav2Vec2
  • Wav2Vec2-Conformer
  • Wav2Vec2Phoneme
  • WavLM
  • Whisper
  • XLS-R
  • XLSR-Wav2Vec2

7.2.4 多模态模型

  • ALIGN
  • AltCLIP
  • BLIP
  • BLIP-2
  • BridgeTower
  • BROS
  • Chinese-CLIP
  • CLIP
  • CLIPSeg
  • Data2Vec
  • DePlot
  • Donut
  • FLAVA
  • GIT
  • GroupViT
  • IDEFICS
  • InstructBLIP
  • LayoutLM
  • LayoutLMV2
  • LayoutLMV3
  • LayoutXLM
  • LiLT
  • LXMERT
  • MatCha
  • MGP-STR
  • OneFormer
  • OWL-ViT
  • Perceiver
  • Pix2Struct
  • Segment Anything
  • Speech Encoder Decoder Models
  • TAPAS
  • TrOCR
  • TVLT
  • ViLT
  • Vision Encoder Decoder Models
  • Vision Text Dual Encoder
  • VisualBERT
  • X-CLIP

7.2.5 强化学习模型

  • Decision Transformer
  • Trajectory Transformer

7.2.6 时序模型

  • Autoformer
  • Informer
  • Time Series Transformer

7.2.6 图模型

  • Graphormer

7.3 内部工具

  • Custom Layers and Utilities
  • Utilities for pipelines
  • Utilities for Tokenizers
  • Utilities for Trainer
  • Utilities for Generation
  • Utilities for Image Processors
  • Utilities for Audio processing
  • General Utilities
  • Utilities for Time Series

你可能感兴趣的:(自然语言处理,transformer,nlp)