华为ICT——第一章-神经网络基础 私人笔记

1. 1机器学习方法分类 1：监督 2：无监督 3：自监督  机器学习整体步骤：
2. 生物神经网络：

3. 宽度=个数

4. 

    人工神经网络：

5. ​​​​​​​输入层——隐藏层——输出层

6. 深度学习发展史：

7. ​​​​​​​

    大模型核心：Transformer

​​​​​​​

 损失函数：

​​​​​​​

经验值：

真实值与预测值的差距：小-准确。相反。最小值（最小化）

梯度下降：增长的最快

反向传播：

更新参数：

​​​​​​​

均方差损失函数：（主要用于回归问题）

​​​​​​​

 交叉熵损失函数：（主要用于分类问题）

​​​​​​​

 梯度下降法：

​​​​​​​

小批量梯度下降Mbgd（一般都用）：

正向传播：求和

  ​​​​​​​

 优化器：

  ​​​​​​​SGD：随机优化器随机梯度下降（SGD）与其他优化器的比较 - 知乎

 动量优化器（惯性）：

​​​​​​​

  ​​​​​​​

 一直到全局最优值

 Aagrad优化器：

​​​​​​​

 为不同的参数设置不同的学习率，而且学习率会随着模型训练不断变化----Adagrad

Adam：为每个待训练的参数，同时考虑了珂调节的动量项以及可调节的学习率

神经网络的架构设计

深度：隐藏层

​​​​​​​

 RMSE（均方根误差）指标越小越好

​​​​​​​

  ​​​​​​​

1：训练时间过长（误差变高了。）

2：梯度消失

第一章笔记就结束啦，不懂的欢迎私聊up主