大语言模型领域的重要术语解释
前言
本人对人工智能非常感兴趣，目前是一名初学者，在研究大语言模型的一些内容。很多模型都是用英文提出的，其中也包括很多概念，有些概念的中文翻译和其想表达的意思不完全一样，所以在这里，想更加精准地帮助大家理解这些词汇。
术语解释
为了方便查找，接下来的词汇将按照字典序进行解释。
ablation study
消融实验。为了测试论文中提出的创新点是否有效，将加上创新点的代码效果与不加上创新点的代码效果进行对比，从而证明该创新点的有效性。这个实验被称为消融实验。
baseline
基线，或者翻译为参照物。一般是指一个简单、易于实现的基准模型，用来与论文中提出的新模型做对比的。
cross entropy
交叉熵。交叉熵是一种计算两个向量之间距离的方式，常用于损失函数当中。交叉熵越小，表明两个向量之间越接近。
假设有两个向量 X = ( x 1 , x 2 , … , x n ) , Y = ( y 1 , y 2 , … , y n ) X=(x_1,x_2,\dots,x_n),Y=(y_1,y_2,\dots,y_n) X=(x1,x2,…,xn),Y=(y1,y2,…,yn)
则这两个向量的交叉熵为 ∑ i = 1 n x i l o g 2 ( y i ) \sum_{i=1}^n{x_ilog_2(y_i)} ∑i=1nxilog2(yi)
decoding
解码。decoding是跟encoding相反的过程，将编码转换为离散属性。
encoding
编码。编码是处理离散属性的一个重要方式。独热编码（one-hot encoding)就是一种常见编码。
max pooling
最大值池化。pooling是池化的意思。max pooling这个操作可以把矩阵中 2 × 2 2\times2 2×2的格子，通过取最大值的方式，变成一个 1 × 1 1\times1 1×1的格子。该操作常用于图像处理。
NLP
自然语言处理。是Natural Language Processing的简称。著名的BERT模型、GPT模型都是用来处理NLP任务的。
normalization
归一化。归一化是对原始数据的线性变换，通常将数据映射到 [ 0 , 1 ] [0,1] [0,1]，转换函数为 x ′ = x − m i n ( x ) m a x ( x ) − m i n ( x ) x'=\frac{x-min(x)}{max(x)-min(x)} x′=max(x)−min(x)x−min(x)
softmax
归一化指数函数。softmax是一个函数的名字，这个函数的作用是对一个向量进行处理，且使得处理完的向量所有分量之和为1，且可以放大分量中的最大值在所有分量中的占比，并且所有分量均为正值。该函数常用于多分类预测模型。
假设有一个向量 X = ( x 1 , x 2 , … , x n ) X=(x_1,x_2,\dots,x_n) X=(x1,x2,…,xn)，那么对这个向量进行softmax处理的公式为 x i ′ = e x i ∑ j = 1 n e x j x_i'=\frac{e^{x_i}}{\sum_{j=1}^ne^{x_j}} xi′=∑j=1nexjexi
经过softmax处理后的向量为 X ′ = ( x 1 ′ , x 2 ′ , … , x n ′ ) X'=(x_1',x_2',\dots,x_n') X′=(x1′,x2′,…,xn′)
SOTA
最先进的技术。是State Of The Art的缩写。指在公开的数据集上，目前检测到的效果最好，识别率最高，正确率最高的模型。一般在论文中会把自己提出的模型与SOTA进行比较。
token
词元。token是语言类模型中的最小语义单位。通常可以是一个单词、一个词组、一个标点符号、一个字符等，取决于文本处理的需求和方法。
word embedding
理解1（简单的理解）
词向量。很多大语言模型的一个重要的目标，就是把每个单词（或者汉字）用一个向量来表示。embedding可以简单理解为向量的意思，word embedding就是这个单词的向量表示。
理解2（真实的理解）
词嵌入。嵌入，顾名思义，就是把高维的信息映射到低维空间上。经典的one-hot编码，就是采用N维向量来表示N个单词。但是由于单词量过大，会导致向量维数过大。为了解决这个问题，就需要通过某种方法，把这个高维向量用低维的向量表示，这个低维的向量，就被称为word embedding。
zero-shot learning
零样本学习。零样本学习就是让计算机模拟人类的推理方式，来识别从未见过的新事物。
总结
本人是一个机器学习领域的萌新，对于很多概念可能还理解不到位，但是尽量把自己的一些见解呈现给大家。希望可以对大家（尤其是新手）有所帮助。