2024-01-06-AI 大模型全栈工程师 - 机器学习基础

摘要

2024-01-06 阴 杭州 晴

本节简介:
a. 数学模型&算法名词相关概念;
b. 学会数学建模相关知识；
c. 学会自我思考，提升认知，不要只会模仿；

课程内容

1. Fine-Tuning 有什么作用？

a. 什么是模型训练（Training）
b. 什么是模型预训练（Pre-Training）
c. 微调（Fine-Tuning）
d. 轻量化微调（Parameter Efficient Fine-Tuning,PEFT）

2. 什么是模型？

a. 模型是一个函数(一种逻辑实现)
a.1 接受一定范围内的参数;
a.2 预测输出;

b. 模型训练是什么？
b.1 我们有一系列的入参，比如年龄，收入，性格等指标；
b.2 基于调研和记录采集到了一定参数指标下的观测数据;
b.3 求解二者关系的过程，就是数学建模，不断求解优化的过程就是模型训练；

3. 什么是模型训练？

4. 求解器

为了训练过程取得更好的收益，人们设计了很多复杂的求解器；

重点: 最常用的求解器是 Adam || AdamW

5. 常用的损失函数

a. 两个数值的差距: Min Square Error
b. 两个向量之间的（欧式）距离
c. 两个向量之间的夹角（余弦距离）
d. 概率分支之间的差异： 交叉熵

备注: 损失函数之间可以组合使用，例如预先定义的权重也叫超参；

6. 基于 PyTorch 训练一个最简单的神经网络

代码通过 ChatGPT 自行学习；

7. 自然语言处理常见的网络结构

a. 文本卷积神经网络 TextCNN

b. 循环神经网络 RNN

简易的 RNN 有很多问题，最大的问题就是随着序列长度的增加，将会出现梯度消失或者梯度爆炸的现象。

备注: LSTM 和 GRU 通过 [门] 来控制上下文的状态被记住或是遗忘，同时防止梯度消失或者梯度爆炸。

8. Transformer 江山一统

总结

小结: 机器学习基础，任重道远，但是基本的概念早就了解了，反复碎碎念。