机器学习随记【day15-day18】

神经元与大脑

机器学习随记【day15-day18】_第1张图片

机器学习随记【day15-day18】_第2张图片

神经元

图为一个带有sigmoid或logistic激活函数的人工神经元模型
机器学习随记【day15-day18】_第3张图片

x0:偏置单元(bias unit)/偏置神经元(bias neuron), 总等于1

神经网络

神经网络其实是一组神经元连接在一起的集合
假设函数
机器学习随记【day15-day18】_第4张图片
输入层(Input layer):第一层,输入特征x1,x2,x3
输出层(Out layer):最后一层,输入假设的最终结算结果
隐藏层(Hidden layer):中间层,即非输入非输出层

机器学习随记【day15-day18】_第5张图片

a^j_i:表示第 j 层第 i 个激活项,激活项指由一个具体神经元计算并输出的值
θ^j:权重矩阵,控制第j层到j+1层的映射,若第j层有s_j个单元,则矩阵的维度为s_(j+1)×s_j+1,称号后的+1是偏执单元导致
上表表示层,下标表示位置
向前传播
从输入单元的激活项开始,然后进行向前传播给隐藏层,计算隐藏层的激活项,然后继续向前传播,并计算输出层的激活项,这个依次计算激活项,从输入层到隐藏层,再到输出层的过程叫向前传播,下面是过程的向量化实现
机器学习随记【day15-day18】_第6张图片
神经网络可以看作一个多层逻辑回归,上层逻辑回归的结果当作特征进行下层逻辑回归
机器学习随记【day15-day18】_第7张图片
若没有输入特征X来训练逻辑回归,而是自己训练逻辑回归的输入a_2(以图中模型为例),根据为θ_i选的不同参数,有时候可以学习到一些有趣复杂的特征,从而得到一个更好的假设函数。
神经网络架构
架构是指不同神经元之的连接方式

例子与直观理解

逻辑函数
可改变参数大小实现不同的逻辑函数
与函数
机器学习随记【day15-day18】_第8张图片
或函数
机器学习随记【day15-day18】_第9张图片
非函数
机器学习随记【day15-day18】_第10张图片
同或
机器学习随记【day15-day18】_第11张图片
多元分类
手写数字
机器学习随记【day15-day18】_第12张图片
机器学习随记【day15-day18】_第13张图片
处理过程
机器学习随记【day15-day18】_第14张图片

代价函数

神经网络分类有二元分类与多元分类,主要区别在输出层的单元数
机器学习随记【day15-day18】_第15张图片
在神经网络中使用的代价函数是逻辑回归中使用代价函数的一般形式
机器学习随记【day15-day18】_第16张图片k求和项是求k个输出单元之和

反向传播法

机器学习随记【day15-day18】_第17张图片
机器学习随记【day15-day18】_第18张图片

总结
机器学习随记【day15-day18】_第19张图片
Δ用来累加前面写好的偏导数项
D项算出来对应代价函数关于每个参数的偏导数,然后可用于梯度下降和其他高级优化算法

机器学习随记【day15-day18】_第20张图片

cost函数扮演一个类似方差的角色,可以近似当成神经网络输出值与实际值的方差
机器学习随记【day15-day18】_第21张图片
展开参数
机器学习随记【day15-day18】_第22张图片

机器学习随记【day15-day18】_第23张图片

梯度检测

θ为实数
机器学习随记【day15-day18】_第24张图片

通常用双侧差分,能得到更准确的结果
θ为向量
机器学习随记【day15-day18】_第25张图片
机器学习随记【day15-day18】_第26张图片
反向传播算法比梯度检验快很多,所以一旦验证前者是对的,应该在训练前关闭后者

初始随机化

机器学习随记【day15-day18】_第27张图片
全置0,则之后的隐藏层的特征会出现冗余计算的现象,因此要随机化,如下
机器学习随记【day15-day18】_第28张图片
这里的 ε 和梯度检测的 ε 没有任何关系

总结

选择网络结构
机器学习随记【day15-day18】_第29张图片
训练神经网络
机器学习随记【day15-day18】_第30张图片
机器学习随记【day15-day18】_第31张图片
机器学习随记【day15-day18】_第32张图片

你可能感兴趣的:(机器学习,神经网络)