AI学习[随堂笔记1107]_激活函数_张量计算

反向传播

全称：误差反向传播算法
概念：根据激活函数计算的结果，对模型当前的输入权重进行重新计算和分配的过程
与之对立的正向传播为“模型训练过程本身”，即：
根据输入与输入权重，计算后传入激活函数输出的过程

激活函数

激活函数对神经网络的输出值（仅进行加权运算后的输出值）进行处理，使输出值能够用于问题的解决

对于激活函数的选择，需要注意三个关键值：
值域(y-输出范围)、
定义域(x-输入范围)、
饱和度（y-输出范围的有界与否）

注意：激活函数的输入值不是神经网络的输入值，它的输入值是神经网络计算的结果。也就是“权重和”

权重和

神经网络对输入值进行很多个含有权重的行列式的处理之后，将其总和的结果。
此结果可能是连续的，也可能是离散的。只有在经过激活函数之后才能够被判断
————
同时，由于神经元（即含有权重的行列式）的计算结果总为线性，引入激活函数可以使权重和更好的得出结果（如概率问题的0-1、 98-99边际效应的结果）

权重与激活函数，值域定义域的关系

由于有些激活函数的输出范围有限，所以要根据需要的输出/权重和的结果，选择对应值域/定义域激活函数

监督学习

①提供模型学习的可参考材料（如有标签的数据），
②使模型在学习过程中，不断与此材料对应的正确结果进行对比，
③最终达到与正确结果完全一致
此过程即可称为监督学习

同时，绝大部分模型都是监督学习；
在深度学习的深层过程中，会有部分无监督学习

拟合

对于给定的二维数据，使用线条将需求的点进行连接的过程
根据需求的不同，也可分为绘制拟合曲线、进行多组数据划分等具体拟合过程
根据线条的性质不同，也可分为线性拟合/非线性拟合
由于二维线条的性质，最终的结果的表现形式为一组函数表达式

分类问题

分类问题需要输出一个概率，对不同类型的概率进行比较，输出最大概率的类型，即可实现分类

回归问题

回归问题需要输出一个具体值，可以用做到线性回归，也可以非线性回归
回归模型是输入变量到输出变量之间的函数
注意：回归问题输出的值往往非常大，sigmoid函数只有0-1的值域不再适用，relu会更适合

回归问题、分类问题的不同

对“激活函数”的要求不同
回归问题的情况复杂，不过最后大多需要Re_lu来作为激活函数
分类问题的最终结果需要是概率结果(0，1)，使用值域为(0,1)的sigmoid函数会更好

激活函数的性能优劣

sigmoid

图像

优点：
输出结果为0-1，与概率的区间一致，适合解决分类问题
单入-多出的构造，接近生物神经元
——————
缺点：
梯度消失：即训练中会出现长久训练后，再怎么训练，都不再出现“无限接近正确值”(梯度下降)
最大缺点：
由于sigmoid曲线的特性——最大变化率的区间很小——在模型训练中，会很快发生梯度消失

Re_lu

图像：

优点：
输出区间很大很大，适合需要具体值的回归问题
输出区间变化率恒定，不会出现梯度消失现象
输入在小于零时无输出，减少判断时间，增加速度
——————
最大缺点：梯度不会消失，但会梯度爆炸

tanh

图像：

优点：
输出的均值为0，表示“是否发生的概率”时更方便
函数的一阶导数返回在0~1之间，变化范围相比sigmoid更大，值也更大，变化率也更大。在相同范围比sigmoid更不容易发生梯度消失问题
——————
最大缺点：
但依然存在梯度下降

标量、矢量、矩阵、张量(3维及以上)

标量：只有数值的存在
矢量：具有数值和长度的存在
矢量是一种形态，一条单纯装满数字的数组也是矢量，他有一系列数字，而这些数字之间有“方向”

矩阵：具有数值和两条不同方向的长度的存在
张量：
具有方向和三条及以上不同方向长度的存在

过拟合、拟合、欠拟合

对拟合过程描绘出的曲线，与期望情况相符程度的三种描述
过拟合：不能准确完成目标内容
拟合：按照期望完成内容，存在些许偏差也可以
欠拟合：过于精准的完成内容，往往需要比期望更久的时间，效果虽然精准但可能超出了期望范围

线性可分与不可分，核方法（不完善）

在当前维度内精确不同区域的内容，即为线性可分
不可分即为：在当前维度无法找到一条不闭合的函数曲线精确区分开此不同区域

核方法即为，将次问题映射到更高维度中，并建立更复杂的关系，使得这些区域可以被区分