datawhale 大模型理论基础 引言

学习地址：大模型理论基础

一、什么是语言模型（Language Model)

语言模型其实是一个概率模型，给每一个句子列表计算一个概率值：
                p(x1​,…,xL​)        

 例如：

p(the, mouse, ate, the, cheese)=0.02,

p(the, cheese ate, the, mouse)=0.01,p(the, cheese ate, the, mouse)=0.01

自回归语言模型(Autoregressive language models)

将一个句子的概率的表示成多个条件概率的相乘

二、信息理论、英语的熵、n-gram模型

2.1 信息熵：

信息熵也叫香侬熵，在物理上表示不确定性，熵越大，不确定性越高，包含的信息就越多。

2.2 交叉熵：

用来评估真实数据分布�p的样本的（语言）模型�q之间的差距

2.3 N-gram模型

在一个n-gram模型中，关于Xi​的预测只依赖于最后的 n−1 个字符 ,即Xi−(n−1):i−1​ ，而不是整个历史：

比如：n = 3

n 太小，那么模型将无法捕获长距离的依赖关系，
n太大，无法得到一个好的概率评估

三、大模型

3.1 强大的生成能力

在给定提示的情况下生成完成的文本： prompt -> task competion

3.2 具备一定的推理能力

目前开源的GPT3.5，4.0已经具备了一些逻辑推理能力，能够独立完成一些任务

3.3 风险

当然大模型还存在一些风险：
比如：
可靠性不能保证，可能输出的一段一本正经的乱说
可能生成社会偏见，或者带有侮辱等一些道德方面的文本