机器学习——入门基础(神经网络)

文章目录

    • M-P神经元
    • 感知机
    • 神经网络
    • BP算法
    • 梯度下降(标准、Mini-batch、随机)

传送门,讲解到位:https://www.bilibili.com/video/BV1Mh411e7VU?p=7&share_source=copy_web

M-P神经元

M-P神经元是模拟生物行为的数学模型,接收n个输入,并且给各输入增加权重,计算加权和,然后和自身的阈值theta进行减法比较,最后经过激活函数处理(两种处理方式:减法结果<0—>抑制、减法结果>0—>激活),然后输出,一般是到下一个神经元,可以类比想到生物学上的“突触”,数学模型如下:所以可以抽象成线性的模型

机器学习——入门基础(神经网络)_第1张图片

西瓜书内给出两个激活函数:1、阶跃函数;2、sigmoid函数,如下图:

机器学习——入门基础(神经网络)_第2张图片

感知机模型就是以上述阶跃函数为激活函数,那如果用Sigmoid函数就是对数几率回归

感知机

数学角度定义如下:

机器学习——入门基础(神经网络)_第3张图片

几何角度来说,是给定了一个线性可分的数据集,感知机可以找到超平面对这个数据集划分、分类,超平面定义如下:理解的话可以从二维理解:两点成直线,给定(0,1),(1,0),那方程就是X1+X2-1=0,显然w为(1,1),b为-1,做w的向量(1,1),必然垂直于该直线

机器学习——入门基础(神经网络)_第4张图片

这里用统计的思想去学习,目前是为找到loss function,也就是损失函数,当然是想要损失Min

先随机初始化w和b,将全体的训练样本代入模型找出分错的样本,拿上面的阶跃函数,当w转置 x —theata≥0,模型分类值为yhat=1,但是样本的真实值是y=0,反正式子≤0,输出值为0,真实值为1,结合这两种分错的情况,下面公式自然成立

机器学习——入门基础(神经网络)_第5张图片

目的很明确,要求上述损失函数最小值,这里我们可以转换上式,将theta加入w向量中,也就是多元线性回归,b加到w中,则公式变形如下:

机器学习——入门基础(神经网络)_第6张图片

了解梯度下降知识的传送门:https://www.bilibili.com/video/BV164411b7dx?p=9&share_source=copy_web

经由梯度下降变化,其实看完也应该知道就是求导,公式变幻如下,下图第二个公式n其实就是步长,为什么说不唯一呢?因为这里只单纯考虑了是否能分开,能将一个数据集分类的超平面不唯一,所以w不唯一

机器学习——入门基础(神经网络)_第7张图片

神经网络

感知机能力有限,只能针对线性可分数据集,但是多个神经元构成的神经网络能分线性不可分的数据集

简单介绍多层前馈网络,就是每层的神经元和下一层神经元相连,神经元之间不存在同层连接,也不存在跨层连接

机器学习——入门基础(神经网络)_第8张图片

上述神经网络记为NN,xd表示d维向量,也就是x的d维---->y的l维,这里激活函数选用sigmoid,目前要完成的任务就是多输出回归任务,就是上图所示的任务,损失函数还是均方误差,具体如下图所示,yk表示真实值,yhatk表示该多层前馈网络预测值,那误差不就是下图所示,1/2是为了求导方便,这是单个样本的误差

机器学习——入门基础(神经网络)_第9张图片

BP算法

下图的E就是上式的误差Ek,n还是步长,但由于此函数不是凸函数,是较为复杂的非凸函数,所以很多情况下是局部极小值点

机器学习——入门基础(神经网络)_第10张图片

解释一下最后求导的公式,其实也是和下面神经网络图有关,下表就是流线的走向,这也解释了最后的链式求导

初始值 输入层 隐层 输出层
xi vih * xi 输入:vih * xi;计算:vih * xi—隐层阈值=bh;输出:wkj * bh 输入:wkj * bh;计算:wkj * bh—输出层阈值=yi

机器学习——入门基础(神经网络)_第11张图片

推导过程如下,最后的结果eh是令前面为eh,并不是有其他含义。γ和θ都是阈值:

机器学习——入门基础(神经网络)_第12张图片

关于上述的推导过程,因为激活函数是sigmoid函数,sigmoid导数具体的推导过程如下,方便理解:

机器学习——入门基础(神经网络)_第13张图片

梯度下降(标准、Mini-batch、随机)

传送门,讲解到位:https://www.bilibili.com/video/BV164411b7dx?p=103&share_source=copy_web

实则按照一句话理解思维:标准是加载全部的数据并计算、mini-batch是按批次加载计算、随机是一个个计算

你可能感兴趣的:(大数据——机器学习,机器学习,神经网络,深度学习)