大模型微调及生态简单介绍

本系列阅读资料来自于B站九天菜菜的大模型课堂

第一部分，需要掌握效果最好、生态最丰富、功能最齐全OpenAl发布的大模型组
第二部分，需要掌握目前中文效果最好、最具潜力、同时具备多模态功能的开源大模型一ChatGLM 6B visualGLM 6B

大模型生态

OpenAI大模型生态：

并不只有一个模型，而是提供了涵盖文本、代码、对话、语音、图像领域的一系列模型

语言类大模型：GPT-3、GPT-3.5、GPT-4系列模型。并且OpenAl在训练GPT-3的同时，训练了参数不同、复杂度各不相同的A、B、C、D四项大模型（基座模型），用于不同场景的应用；

• 其中，A、B、C、D模型的全称分别是ada、babbage、curie和davinci,四个模型并不是GPT-3的微调模型，而是独立训练的四个模型；
• 四个模型的参数规模和复杂程度按照A-B-C-D顺序依次递增；虽不如GPT-3.5和GPT-4那么有名，但A、B、C、D四大模型却是目前OpenAl大模型生态中功能最丰富、AP种类最多的四个模型；

图像多模态大模型：最新版为DALL·E达利)V2,是DALL·E模型的第二版训练版，能够根据描述生成图像；

• DALL·E模型为基于GPT-3开发的模型，总共包含120亿个参数，不难看出DALL·E对图像的理解能力源于大语言模型；
• OpenAl将大语言模型的理解能力“复制”到视觉领域的核心方法：将图像视作一种一种语言，将其转化为Token,并和文本Token一起进行训练；

语音识别模型：最新版为Whisper v2-large model,是Whispert模型的升级版，能够执行多语言语音识别以及语音翻译和语言识别；

• Whisper模型是为数不多的OpenAlf的开源模型，改模型通过68万小时的多语言和多任务监督数据进行的训练，目前提供了原始论文进行方法介绍

• Whispert模型可以本地部署，也可以像其他OpenAlz大模型一样通过调用API进行在线使用，并且根据官网介绍，Whisper在线模型会有额外运行速度上的优化，通过调用API进行使田效率更高（当然也雲要支付一定的费用）

文本向量化模型：Embedding⽂本嵌⼊模型，⽤于将⽂本转化为词向量，即⽤⼀ 个数组（向量）来表示⼀个⽂本，该⽂本可以是短语、句⼦或者⽂章；

• 最新⼀代Embedding模型是基于ada模型微调的text-embedding-ada-002模型；
• 通过将⽂本转化为词向量，就可以让计算机进⼀步的“读懂⽂本”，通过词向量的计算和分析和相似度计算，可以对其背后的⽂本进⾏搜索、聚类、推荐、异常检测和分类等
• 最终，Embedding会将词、句⼦或者更⾼级别的语⾔结构，映射到⾼维空间的向量中，使得语义上相近的词或者句⼦在向量空间中的距离也较近；
• 例如Embedding后的句⼦，“⽼⿏在找吃的”将和 “奶酪”词向ᰁ接近，因为⼆者表意类似。⽽与之句式格式与之相近的“猫在找⻝物”，则距离更远； ￮ GPT模型的Embedding层往往是在与训练过程中通过⾃回归训练完成，同时在微调时，也往往会修改Embedding层；

审查模型：Moderation模型，旨在检查内容是否符合 OpenAI 的使⽤政策。 这 些模型提供了查找以下类别内容的分类功能：仇恨、仇恨/威胁、⾃残、性、性/ 未成年⼈、暴⼒和暴⼒/图⽚等。
编程⼤模型：Codex⼤模型，⽤GitHub数⼗亿⾏代码训练⽽成，能够“读懂”代码，并且能够根据⾃然语⾔描述进⾏代码创建；

• Codex最擅⻓Python，同时精通JavaScript、Go、Perl、PHP、Ruby、Swift、TypeScript、SQL，
  甚⾄ Shell 等⼗⼏种编程语⾔；

• 该模型发布于2021年8⽉10⽇，⽬前代码编写功能已经合并⼊GPT-3.5，官⽹显示该模型为已弃⽤（deprecated）状态，意为后续不再单独维护，但并不表示OpenAI已放弃编程⼤模型，相反越来越多的编程功能被集成到语⾔⼤模型中

• ⽬前该模型集成于Visual Studio Code、GitHub Copilot、Azure OpenAI
  Service等产品中，⽤于提 供⾃动编程功能⽀持； • 在models->overiew中可查看⽬前OpenAI模型⼤类；
  • 地址：https://platform.openai.com/docs/models/overview

OpenAI API命名规则
• 通⽤模型API：如GPT-3.5-turbo，GPT-4，ada…
• 停⽌维护但仍可使⽤的API：如GPT-3.5-turbo-0301（3⽉1号停⽌维护）， GPT-4-0314（3⽉14号停⽌维护）…
• ⾯向特定功能的微调模型API：如ada-code-search-code（基于ada微调的编程 ⼤模型），babbage-similarity（基于babbage微调的的⽂本相似度检索模型）
• 多版本编号模型API：如text-davinci-001（达芬奇⽂本模型1号）、textembedding-ada-002（基于ada的Embedding模型2号）…
谷歌PaLM2 Models：
四项大模型：Gecko(壁虎)、Otter(水獭)Bison(野牛)、Unicorn(独角兽)，最小的Gecko模型可以在移动端运行，并计划在下一代安卓系统中集成；

全球开源大模型性能评估榜单

Hugging Face
LMSYS组织（UC伯克利背景）：通过匿名PK进⾏模型性能⽐较，同时纳⼊开源⼤ 模型和在线⼤模型进⾏PK，其中GPT-4排名第⼀，

中文语言模型——ChatGLM

ChatGLM130B模型是由清华⼤学团队开发的⼤语⾔模型，该模型借鉴了ChatGPT 的设计思路，在千亿基座模型 GLM-130B1 中注⼊了代码预训练，通过有监督微调（Supervised FineTuning）等技术实现⼈类意图对⻬。2022年11 ⽉，斯坦福⼤学⼤模型中⼼对全球30个主流⼤ 模型进⾏了全⽅位的评测，GLM-130B 是亚洲 唯⼀⼊选的⼤模型。在与 OpenAI、⾕歌⼤脑、微软、英伟达、脸书的各⼤模型对⽐中， 评测报告显示 GLM-130B 在准确性和恶意性 指标上与 GPT-3 175B (davinci) 接近或持平。

此外，清华⼤学团队同时开源 ChatGLM-6B 模型。 ChatGLM-6B 是⼀个具有62亿参数的中英双语语⾔模型。通过使⽤与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中⽂问答和对话功能，并⽀持在单张 2080Ti 上进⾏推理使⽤。具体来说，
ChatGLM-6B 有如下特点：

• 充分的中英双语预训练： ChatGLM-6B 在 1:1 ⽐例的中英语料上训练了 1T token 量，兼具双语能⼒；
• 较低的部署⻔槛： FP16 半精度下，ChatGLM-6B 需要⾄少 13GB 的显存进⾏推理，结合模型量化技术，这⼀需求可以进⼀步降低到
  10GB（INT8） 和 6GB（INT4）， 使得 ChatGLM-6B 可以部署在消费级显卡上；

ChatGLM 6B丰富的开源⽣态

• 微调框架：ChatGLM 6B + P- Tuning微调，项⽬地址：
https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md •
微调框架：ChatGLM 6B + LoRA微调，项⽬地址：
https://github.com/mymusise/ChatGLM-Tuning • 本地知识库：ChatGLM 6B +
LangChain，项⽬地址： https://github.com/imClumsyPanda/langchain-ChatGLM •
多轮对话前端：ChatGLM 6B多轮对话的Web UI展示，项⽬地址：
https://github.com/Akegarasu/ChatGLM-webui

基于ChatGLM的多模态⼤模型

VisualGLM 6B ：https://github.com/THUDM/VisualGLM-6B

• VisualGLM-6B 是⼀个开源的，⽀持图像、中⽂和英⽂的多模态对话语⾔模型， 语⾔模型基于 ChatGLM-6B，具有 62
  亿参数；图像部分通过训练 BLIP2- Qformer 构建起视觉模型与语⾔模型的桥梁，整体模型共78亿参数。

• VisualGLM-6B 依靠来⾃于 CogView 数据集的30M⾼质量中⽂图⽂对，与300M 经过筛选的英⽂图⽂对进⾏预训练，中英⽂权重相同。该训练⽅式较好地将视觉信息对⻬到ChatGLM的语义空间；之后的微调阶段，模型在⻓视觉问答数据上训练，以⽣成符合⼈类偏好的答案

模型实现思路区别

• Dall·E：将图像视作⼀种语⾔，将其转化为离散化的Token并进⾏训练，优势在 于能够⾮常详细的描述⼀张图⽚，但缺点在于图像的Token利⽤率较低，需要 1000以上的Token才能描述⼀张256分辨率的图；

• VisualGLM：考虑到⼈类在认识图⽚的时候，往往只对少量视觉语意信息感兴趣，因此可以不⽤将整个图⽚全部离散化为图⽚，只将图⽚特征对其到预训练语⾔模型即可，这也是BLIP-2的视觉语⾔与训练⽅法实现策略。优势在于能够 充分语⾔模型，缺点在于会缺失图像部分底层信息（细节信息）；

医学影像诊断⼤模型：XrayGLM 6B：https://github.com/WangRongsheng/XrayGLM

• 基于VisualGLM模型，在UI-XRay医学诊断报告数据集上进⾏微调⽽来；

• 报告翻译借助OpenAI GPT模型完成翻译，微调框架为LoRA；

大模型微调

LLM⼤语⾔模型 ⼀般训练过程

感性理解：⼤模型微调指的是“喂”给模型更多信息，对模型的特定功能进⾏ “调教” ，即通过输⼊特定领域的数据集，让其学习这个领域的知识，从⽽让⼤模型能够更好的完成特定领域的NLP任务，例如情感分析、命名实体识别、⽂本分类、对话聊天等；

为什么需要微调

核⼼原因还是在于需要“赋予”⼤模型更加定制化的功能，例如结合本地知识库进⾏检索、围绕特定领域问题进⾏问答等；

• 例如，VisualGLM是通⽤多模态⼤模型，但应⽤于医学影像判别领域，则需要代⼊医学影像领域的数据集来进⾏⼤模型微调，从⽽使得模型能够更好的围绕医学影像图⽚进⾏识别；

• 就像机器学习模型的超参数优化，只有调整了超参数，才能让模型更佳适⽤于当前的数据 集

• 同时，⼤模型是可以多次进⾏微调，每次微调都是⼀次能⼒的调整，即我们可以在现有的、 已经具备某些特定能⼒的⼤模型基础上进⼀步进⾏微调；

自回归概念：⼤模型的预训练过程是采⽤了⼀种名为⾃回归（Autoregressive）的⽅法，⾃回归模型是⼀种序列模型，它在预测下⼀个输出时，会将之前的所有输出作为输⼊，然后根据统计规律、结合已经输⼊的样本，预测下个位置各单词出现的概率，然后输出概率最⼤的单词，类似于完形填空；
生成式概念：与之类似的还有⼀个名为⽣成式模型的概念，也就是GPT中的G（Generative），所谓⽣成式模型的预测过程和⾃回归模型类似，都是根据统计规律预测下个单词的概率，所不同的是，⽣成式模型可以根据之前的样本的概率分布⽣成下⼀个词，⽣成式模型预测时会存在⼀定的随机性；

⼀个经过预训练的⼤语⾔模型，就具备“⼀定程度的”通⽤能⼒，⽽只有经过微调，才能够让模型具备解决某项具体任务的能⼒

• 微调并不是大模型领域独有的概念，而是伴随着深度学习技术发展，自然诞生的一个技术分支，旨在能够有针对性的调整深度学习模型的参数（或者模型结构)，从而能够使得其更佳高效的执行某些特定任务，而不用重复训练模型；

• 伴随着大模型技术的蓬勃发展，微调技术一跃成为大模型工程师必须要掌握的核心技术。并且，伴随着大模型技术的蓬勃发展，越来越多的微调技术也在不断涌现；

高效微调技术⽅法概述

• 深度学习微调⽅法⾮常多，主流⽅法包括LoRA、Prefix Tuning、P- Tuning、Promt Tuning、
  AdaLoRA等；

• 目前这些⽅法的实现均已集成⾄Hugging Face项⽬的库中，我们可以通过安装和调Hugging
  Face的PEFT（⾼效微调）库，来快速使⽤这些⽅法； https://github.com/huggingface/peft

• Hugging Face 是⼀家专注于⾃然语⾔处理 （NLP）技术的公司，同时也开发并维护了多个⼴ 受欢迎的⾃然语⾔处理的开源库和⼯具，如
  Transformers 库、ChatGLM-6B库等；

• ⾼效微调，State-of-the-art Parameter-Efficient Fine-Tuning (SOTA
  PEFT)，与之对应的更早期的简单的全量参数训练微调的⽅法（Fine- Tuning）， ⾼效微调则是⼀类算⼒功耗⽐更⾼的⽅法；

基于强化学习的进阶微调⽅法RLHF⽅法

• RLHF：Reinforcement Learning from Human
  Feedback，即基于⼈⼯反馈机制的强化学习。最早与2022年4⽉，由OpenAI研究团队系统总结并提出，并在GPT模型的对话类任务微调中⼤放异彩，被称为ChatGPT“背后的功⾂”；

• RLHF也是⽬前为⽌常⽤的、最为复杂的基于强化学习的⼤语⾔模型微调⽅法，⽬前最好的端到端RLHF实现是DeepSpeedChat库，由微软开源并维护；

⾼效微调⽅法一：LoRA微调方法

Github： https://github.com/microsoft/LoRA
论文地址：https://arxiv.org/abs/2106.09685

高效微调⽅法⼆：Prefix Tuning

⾼效微调⽅法三：Prompt Tuning

⾼效微调⽅法四：P-Tuning v2

GitHub:地址：https://github.com/THUDM./P-tuning-v2
论文地址：https://aclanthology.org/2021.ac-long.353/
ChatGLM-6B+P-Tuning微调项目地址：https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md