1.基础神经网络：
输入向量ｘ，权重向量w， 偏置标量b， 激活函数sigmoid（增加非线性度）
优化手段： 梯度下降优化， BP向后传播（链式规则）
梯度下降优化：
1. 使用得目标函数是交叉熵 c = 1/nΣΣ[yj*lnaj^2 + (1-yj)*ln(1-aj^2)] yj表示得是样本标签， aj表示的是输出值
2.批量梯度下降：每次迭代一部分样本，进行参数跟新。
3. 随机梯度下降：每次迭代只选择单个样本
4. 梯度更新的方向：选择动量算法（momentum），思想是指数加权平均
2. 卷积神经网络（CNN）
CNN的基本层：
卷积层 - 卷积层和激活层
池化层 - （平均池化， 最大化池化）
全连接层（Fully - Connected layer）
批归一化层
CNN卷积层：
3D滤波器卷积核：
以扫描窗的方式对图像做卷积
每层含有多个核，每个核对应输出通道
提取局部特征
权重参数自学习
参数共享： 指的是这些参数用一个神经元来扫描一张图
(output number) 滤波器， 卷积核数量
核尺寸 (kernel size)
步长(stride)
零填充(zero padding)
卷积后的尺寸计算(W, H, D)
W = (W - size + 2*padding)/stride + 1
H = (H - size + 2*padding)/stride + 1
D = output number
对于输入的卷积，我们通常使用权值相加，即每个输出层与卷积核分别点乘。
卷积层中的非线性激活函数：
sigmoid， Relu
sigmoid : б（z）= 1 / (1+e^-z)
Relu : б（z）= max(0, x)， 分段线性函数， 无饱和问题，明显减轻了梯度消失得问题，一定程度上可以提高通道得深度
CNN池化层
作用：特征融合，降维
特点： 无参数需要学习
超参数： 尺寸， 步长
计算类别： 最大化池化， 平均池化
CNN全连接层
作用： 推理器， 分类器
普通神经网络
全局感受野， 去除空间信息。
需要学习参数
等效于全局卷积
CNN-softmax: 指数归一化函数,将一个实数值向量压缩到(0, 1)，使得所有元素和为1
б（Z） = e^zj / (Σe^zj)
最后一层是全连接层，为了得到1000类标签的概率
loss =Σ -yi * log(ai) ai表示的是预测的结果, yi表示的是当前的标签
图像像素中心化
(R,G,B)减去各自通道的均值
防过拟合，提高泛化能力
1.数据增强*10 （数据量增强）
256*256 提取中心和边缘，使得图片的维度变成224*224， 图片的数目*5
水平翻转 图片的数目*２
2. droupout
训练过程中，随机让一些神经元的输出设为0
3. weight decay 权重衰减（L2正则）
C = C0 + λ/2n * ΣW^2 λ表示衰减系数， n表示参数个数，ΣW^2表示参数的平均加和
3. AlexNet
五个卷积层 + 三个全连接层
进行了一次分组计算
新技术：
Relu非线性激活
MaxPooling 池化
Dropout regulation (dropout正则化）
局部相应归一化： 在某个位置上实现跨通道的归一化
输入图片 224*224*3， 第一层卷积的尺寸，11*11*3 *96 第二层卷积尺寸，256*5*5*48， 第三层卷积尺寸， 384*3*3*256，第四层卷积尺寸， 384*3*3*192， 第五层卷积，256*3*3*192
4.NIN
提出了1*1卷积的思想，一般有增加通道数的作用，也可用来降低，以此来使数据的特征更加的紧凑
提高CNN的局部感知区域
卷积层 -> 1*1卷积层 -> Max池化层,
5. VGG网络
思想是一个大卷积分解成多个小卷积核的过程
核分解：7*7 - 3个3*3的卷积核，每次卷积以后由relu连接
参数数量 49C2 - > 27C2
减少了参数,降低计算，增加深度，VGG的深度是16， alexNEt的深度为8