神经网络学习笔记

目录

一、卷积神经网络

1、卷积（食物与消化）

2、卷积神经网络

3. 卷积层

二、感知机

二、图像分割

---

一、卷积神经网络

不稳定输入，不稳定输出，求系统存量

周围像素点如何产生影响

过滤器，一个像素点的试探

1、卷积（食物与消化）

（1） 将进食在此刻的量看作是f，将消化食物在此刻的比例看作是g，卷积结果就是此刻胃内食物的余量。

（2） f系统不稳定的输入，g系统稳定的输出，卷积结果就是系统存量。（卷积的物理意义）

一边吃一边消化，严格来说g是消化的比例，f*g就是剩下的食物分量

2、卷积神经网络

图像的卷积操作：图像f和卷积核g先相乘再相加

卷积再理解（蝴蝶与飓风）

（1） 飓风在某时刻t发生了，在t时刻之前，有很多蝴蝶煽动翅膀，它们煽动翅膀这件事情，会对飓风的发生产生影响。蝴蝶煽动翅膀的影响看作f，这个影响是会随着时间的变化而变化的，使用g函数来描述影响的衰减。那么此时卷积处理的就是在飓风发生的时候，蝴蝶煽动翅膀这件事对飓风发生产生的影响。

（2） x时刻发生了一件事会对t时刻产生影响，具体的影响会随着t-x这段时间进行变化，g函数规定了这段时间的变化：之前发生的一些事情，随着时间影响力的变化。

（3） 对于图像的卷积来说，可以得到很多像素点怎么对一个像素点产生影响的。卷积核就是规定了周围一圈（3*3）（两圈就是5*5）的像素点是如何对当前的像素点产生影响的。

飓风g受到蝴蝶f影响发生 -> 其他像素点对某个像素点产生的影响

卷积核

 kernel = 1/9 * ones(3) ，平滑卷积。相当于求平均值，使图像更平滑更朦胧

g函数旋转180°后就变成了卷积核

3. 卷积层

（1） 利用图像卷积提取局部特征。

（2） 过滤器：像素点通过卷积核对其周围像素点进行试探，如果不想考虑进去的因素，就把对应因素的值设为0，保留了周围有用的特征。

（3） 像素点通过卷积核，可以将它周围有用的（指定的）特征保留下来。那么卷积的结果其实就是局部特征匹配的情况！！！！就可以得到特征信息啦，利用这些特征信息就可以进行图像识别。

其他卷积核，如垂直边界过滤器vertiacl filter，挑出垂直边界

二、感知机

明斯基：感知机不能处理异或，但可以实现与、或、非

感知机，分类工具，用数据进行训练，随机梯度下降法

分界线，并有能力去判断是非

线性划分，二分

多对一，符合函数定义，但如果用函数来，分段函数难以用一个统一的表达式

确定模板：线性函数+激活函数（判断）

体现分治思想，将复杂问题变成简单+简单

流程图（蓝色+绿色+求和 -> 线性函数；符号函数 -> 激活函数）

公式

方框内如果是二维就是直线一般式ax+by+c=0，引申为多维

• 对于线性规划来说，aX+bY+c>0，表示点（X,Y）在直线上方，用自变量做激活函数即可

同时，将参数b也写入向量，就可以变成简洁的矩阵

至于说省纸的，em....确实有这个原因，但是我怎么觉得是为了更简单的矩阵运算呢，包括在计算机上编程的话用矩阵也方便的很

为什么不能处理异或？答：异或的时候不能用一根直线分开黄绿点

推荐视频：BV1Tt411s7fK

如何解决？答1：用多层感知机实现

另外，如果第一层输入（0,0）或者（1,1），第一层输出都是（0,0），也就是说，第二层的输入只有三种情况（0,0）（1,0）（0,1），不是四种

相当于把右上角的点，合并到了左下角，从而实现了线性可分

如何解决？答2：升维，核（kernel）方法

从二维圈，变成三维的，用平面就可以划分了

二、图像分割

 

  

  

 

 

 

50层 

三、ResNet