【产品】AI领域专业术语学习笔记
产品经理赛道越来越卷了，如果还停留在业务流程类产品、简单的数据分析类产品已经远远不够，随着大模型的兴起，产品经理怎么能落下学习的脚步呢。
常见专业术语
- 人工智能 (AI):一种能够执行智能任务的计算机系统或程序。
- 机器学习 (ML):从数据中自动提取模式的一种方法，用于训练计算机模型，以便能够进行预测和决策。
- 深度学习 (DL):一种机器学习方法，它利用深层神经网络来执行复杂的学习任务。
- 神经网络(NN):一种模仿人类大脑神经元组织的计算模型。
- 自然语言处理 (NLP):计算机对自然语言的处理，包括语音识别、自然语言理解和生成等任务。
- 计算机视觉(CV): 计算机对图像和视频的处理，包括对象检测、图像分割、场景理解等任务。
- 数据挖掘(DM):从大量数据中提取知识和信息的过程。
- 数据科学(DS):使用数学、统计学和计算机科学等工具来分析和解决现实世界中的数据问题。
- 数据预处理 (Data preprocessing): 在进行机器学习或数据挖掘之前，对原始数据进行处理,包括数据清洗、特征选择等。
- 特征提取(Feature extraction):从原始数据中提取有意义的特征。
- 特征选择(Feature selection) : 选择最相关的特征以提高模型的准确性和泛化能力。
- 数据集(Dataset):一组用于训练和测试机器学习模型的数据。
- 监督学习 (Supervisedlearning): 训练模型时提供输入数据和输出结果，以便模型能够进行预测和分类。
- 非监督学习 (Unsupervised learning): 训练模型时只提供输入数据，模型需要自己发现数据的结构和模式。
- 强化学习 (Reinforcement learning):一种通过智能体与环境的交互学习最优策略的机器学习方法，它基于奖励和惩罚来指导模型的行为。
- 模型评估(Model evaluation): 评估机器学习模型的性能，以便决定是否需要进行调整或改进。
- 模型选择(Model selection): 在多个机器学习模型中选择最合适的模型以解决特定的问题。
- 偏差-方差权衡(Bias-variance tradeof): 在机器学习中，通过控制模型的偏差和方差来实现。
- 过拟合(Overftting):机器学习模型在训练数据上表现很好，但在新数据上表现不佳的情况。
- 欠拟合 (Undertting): 机器学习模型无法捕捉到数据中的模式和关系的情况。
- 正则化(Regularization) : 一种方法，用于减少模型过度拟合的程度。包括L1、L2正则化、Dropout等。
- Dropout: 在深度学习中，随机地将一些神经元从神经网络中删除，以避免过度拟合的方法。
- 梯度下降(Gradient descent) : 优化算法，用于调整模型参数以最小化损失函数。可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
- 损失函数 (Loss function):用于衡量机器学习模型预测结果与真实结果之间的差异。将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
- 学习率(Learning rate):控制梯度下降算法中参数调整的速度。
- 批量梯度下降(Batch gradient descent):一种梯度下降方法，它在每个训练步骤中使用全部训练集。
- 随机梯度下降 (Stochastic gradient descent):一种梯度下降方法，它在每个训练步骤中仅使用一个样本。
- 小批量梯度下降(Mini-batch gradient descent):一种梯度下降方法，它在每个训练步骤中使用一小批量的样本。
- 卷积神经网络(Convolutional neural network) :一种用于图像和视频处理的神经网络模型。仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。使用领域：图像分类、人脸识别、物体检测、图像分割、视频分析。
- 循环神经网络(Recurrent neural network):一种用于序列数据处理的神经网络模型。数据与时间、序列有关，如天气变化、股票预测、语言分析预测、情感分析、语音识别，缺点句子较长处理效果不好，优化模型LSTM处理复杂句子文本较好。
- 长短期记忆(Long short-term memory) : 一种循环神经网络的变体，用于处理长序列数据。
- 自编码器 (Autoencoder):一种无监督学习模型，用于学习数据的低维表示。
- 生成对抗网络(Generative adversarial network):一种由两个神经网络组成的模型，一个生成器和一个判别器，用于生成逼真的假数据。
- 支持向量机(Support vector machine): 一种用于分类和回归的机器学习模型。通过核函数将数据由二维拓展到三维，通过超平面实现分类，可以处理高维数据问题，即时数据维度比样本数量大的情况下依然有效，无需依赖整个数据，泛化能力强，对缺失数据比较敏感。
- 随机森林(Random forest):一种用于分类和回归的集成学习模型。包含多个决策树的分类器，输出类别由个别树输出的类别的众数而定。
- K最近邻算法(K-nearest neighbor):一种用于分类和回归的非参数算法。具有训练时间短，但分类时间长的特点。K-最近邻算法可以用于分类和聚类中。
- 贝叶斯网络(Bayesian network):一种基于贝叶斯定理的概率图模型。应用于有条件的依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。
- 马尔可夫链(Markov chain):一种用于建模状态转移过程的随机过程。是一组具有马尔可夫性质的离散随机变量的集合。
- 马尔可夫决策过程(Markov decision process):一种用于建模决策过程的马尔可夫链。基于一组交互对象，即智能体和环境进行构建，所具有的要素包括状态、动作、策略和奖励。在MDP的模拟中，智能体会感知当前的系统状态，按策略对环境实施动作，从而改变环境的状态并得到奖励，奖励随时间的积累被称为回报。应用包括自动控制领域的人机交互系统、自动驾驶系统、导航系统；运筹学领域的广告/销售问题、投资组合问题等。MDP也可以作为模型构建一些具有博弈性质的强化学习系统，例如国际象棋和围棋AI。
- Q学习 (Q-learning):一种无模型的基于动作值函数的强化学习算法，可以学习最优的行为策略。
- 深度强化学习 (Deep reinforcement learning): 一种强化学习方法，使用深度神经网络来学习最优策略。
- 策略梯度 (Policy gradient) : 一种强化学习算法，用于直接优化策略函数。
- AlphaGo:由Google DeepMind开发的人工智能计算机程序，用于下围棋。
- AlphaZero: 由Google DeepMind开发的人工智能计算机程序，能够在没有任何人类知识指导的情况下学会玩国际象棋、围棋和日本将棋等游戏。
- 神经语言模型(Neurallanguage model):一种用于自然语言处理的神经网络模型。是一类用来克服维数灾难的语言模型，它使用词的分布式表示对自然语言序列建模。不同于基于类的n-gram模型，神经语言模型在能够识别两个相似的词，并且不丧失将每个词编码为彼此不同的能力。神经语言模型共享一个词（及其上下文）和其他类似词。
- 词向量(Word embedding):一种将单词映射到实数向量的技术，用于自然语言处理任务。
- 序列到序列模型 (Sequence-to-sequence model):一种用于序列到序列的自然语言处理任务的神经网络模型。
- 反向传播(Backpropagation):一种用于计算神经网络中参数梯度的算法。
- 优化器(Optimizer):一种用于调整神经网络参数以最小化损失函数的算法。
- AdaGrad:一种梯度下降算法，用于自适应地调整每个参数的学习率。适合处理稀疏数据。主要优点之一是它消除了手动调整学习率的需要。AdaGrad在迭代过程中不断调整学习率，并让目标函数中的每个参数都分别拥有自己的学习率。主要弱点是它在分母中累积平方梯度：由于每个添加项都是正数，因此在训练过程中累积和不断增长。这反过来又导致学习率不断变小并最终变得无限小，此时算法不再能够获得额外的知识即导致模型不会再次学习。Adadelta算法旨在解决此缺陷。
- RMSProp:一种梯度下降算法，用于自适应地调整每个参数的学习率。AdaGrad算法虽然解决了学习率无法根据当前梯度自动调整的问题，但是过于依赖之前的梯度，在梯度突然变化无法快速响应。RMSProp算法为了解决这一问题，在AdaGrad的基础上添加了衰减速率参数。也就是说在当前梯度与之前梯度之间添加了权重，如果当前梯度的权重较大，那么响应速度也就更快。
- Adam:一种梯度下降算法，结合了AdaGrad和RMSProp的优点。Adam优化算法是在RMSProp的基础上增加了动量。有时候通过RMSProp优化算法得到的值不是最优解，有可能是局部最优解，引入动量的概念时，求最小值就像一个球从高处落下，落到局部最低点时会继续向前探索，有可能得到更小的值。
- 异常检测(Anomaly detection):一种用于检测异常数据的技术。异常检测是通过数据挖掘方法发现与数据集分布不一致的异常数据，也被称为离群点、异常值检测等等。适用的场景特点有：（1）无标签或者类别极不均衡；（2）异常数据跟样本中大多数数据的差异性较大；（3）异常数据在总体数据样本中所占的比例很低。存在挑战：1）最具挑战性的问题之一是难以实现高异常检测召回率。由于异常非常罕见且具有异质性，因此很难识别所有异常。2）异常检测模型要提高精确度（precision）往往要深度结合业务特征，否则效果不佳，且容易导致对少数群体产生算法偏见。
- 主成分分析(Principal component analysis):一种用于降维的无监督学习方法。把多指标转化为少数几个综合指标。
- 聚类(Clustering):一种将数据分组为相似类别的无监督学习方法。
- 交叉验证(Cross-validation):一种用于评估机器学习模型性能的技术。在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方加和。
- 超参数调整(Hyperparameter tuning): 一种通过调整模型超参数来提高模型性能的技术。
- 特征工程(Feature engineering):一种将原始数据转换为有意义的特征。
- 对抗样本(Adversarial examples):一种人工制造的输入数据，目的是欺骗机器学习模型。
- 对抗训练(Adversarial training):一种训练机器学习模型以抵御对抗样本的方法。
- GAN (Generative Adversarial Network): 一种无监督学习方法，用于生成与训练数据相似的新数据。
- CGAN (Conditional GAN):一种生成对抗网络，根据给定的条件生成新的数据。
- VAE (Variational Autoencoder) : 一种自编码器，使用概率编码和解码，生成可控制的新数据。
- 可解释性机器学习(Explainable machine learning):一种机器学习方法，可以解释模型的决策过程和预测结果。
- 机器学习管道(Machine learning pipeline):一种处理原始数据并构建模型的自动化流程。
- 神经网络架构搜索(Neural architecture search):一种自动寻找神经网络架构的技术。
- 神经元(Neuron):神经网络中的基本单位，接收输入并生成输出。
- 激活函数(Activation function): 神经网络中的一种函数，用于在神经元之间传递信息。将非线性因素引入其中，将一个节点的输入信号转换成一个输出信号，并作为下一层节点的输入。Sigmoid函数可以将输出值压缩到0-1的区间内，用来做二分类。Tanh函数可以将输出值压缩到-1-1的区间内，该函数的输出以零为中心。Tanh优于Sigmoid，都会有梯度消失的问题，使得神经网络处于饱和状态，而无法进行反向传播，为解决梯度消失问题，提出ReLU激活函数，使网络快速收敛，在x>0时，不会出现饱和问题，泛化能力更强。
- 长短时记忆网络(Long Short-Term Memory，LSTM):一种循环神经网络，可以有效地处理长序列数据，能够有效地处理序列数据，具有记忆单元和遗忘门等特性。
- GRU(Gatedrecurrent unit):一种循环神经网络架构，比LSTM更简单且计算成本更低。
- 自注意力机制(Self-attention mechanism): 一种用于处理序列数据的注意力机制。
- 语义分割(Semantic segmentation):一种将图像分割成语义区域的计算机视觉任务。
- 实例分割(instance segmentation): 一种将图像中的不同实例分割成不同区域的计算机视觉任务。
- 目标检测(Object detection): 一种在图像或视频中识别和定位多个物体的计算机视觉任务。
- 单阶段目标检测(One-stage object detection):一种用于目标检测的神经网络架构，不需要先预测物体的位置和大小。
- 两阶段目标检测(Two-stage object detection):一种用于目标检测的神经网络架构，需要先预测物体的位置和大小，然后进行分类。
- 数据增强(Data augmentation): 通过对训练数据进行旋转、平移、缩放等变换，扩充训练数据集的大小，从而提高模型的泛化能力。
- 批量归一化(Batch normalization) : 一种神经网络层技术，加速模型的训练提高模型的泛化能力。
- 参数初始化 (Parameterinitialization): 在神经网络训练之前初始化权重和偏差的过程。
- 超参数(Hyperparameter) : 在训练模型之前需要手动设置的参数，例如学习率、正则化强度等。
- 网格搜索(Grid search):一种调节超参数的方法，遍历给定的超参数空间，找到最佳超参数组合。
- 随机搜索(Random search): 一种调节超参数的方法，随机选择超参数组合进行训练，找到最佳的超参数组合。
- 模型微调(Fine-tuning): 在一个预训练模型的基础上，使用新的数据集重新训练模型的过程。
- 迁移学习(Transfer learning): 利用一个训练好的模型参数来初始化另一个模型，解决新的任务。
- 多任务学习(Multi-task learning):在一个神经网络中训练多个相关任务的技术。
- 奖赏(Reward): 在强化学习中，智能体从环境中接收到的信号，用于评估其行为的好坏。
- 策略 (Policy):在强化学习中，智能体采取的动作的规则。
- Actor-Critic:一种使用值函数和策略函数的强化学习算法。
- 强化学习环境 (Reinforcement learning environment): 用于训练强化学习算法的模拟环境。
- 无监督学习(Unsupervised learning):一种机器学习的范畴，不需要标注数据作为输入，算法能够自己发现数据中的结构。
- 自监督学习(Self-supervised learning):一种利用数据本身内在结构进行无监督的学习方法。
- 泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。
- 表征学习：在机器学习中，特征学习或表征学习是学习一个特征的技术的集合：将原始数据转换成为能够被机器学习来有效开发的一种形式。它避免了手动提取特征的麻烦，允许计算机学习使用特征的同时，也学习如何提取特征：学习如何学习。监督特征学习就是从被标记的数据中学习特征。如：监督字典学习、神经网络；无监督特征学习，如：主成分分析、独立成分分析。
以上内容结合网络上前辈总结的常用专业术语，在此基础上补充了自己在学习过程中遇见的不懂的名词，后续会随着学习的深入不断补充。