cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第1张图片

激活函数

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第2张图片

sigmoid函数的缺点

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第3张图片

tanh

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第4张图片

Relu优点

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第5张图片

Leaky Relu

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第6张图片

ELU

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第7张图片

Maxout

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第8张图片

激活函数使用意见

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第9张图片

数据预处理

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第10张图片

PCA和白话

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第11张图片

图片数据的使用意见:通常只做中心化处理,不做标准化方差和PCA、白化

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第12张图片

权值初始化:具有零均值和1E-2标准偏差的高斯分布

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第13张图片

批量归一化

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第14张图片

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第15张图片

超参数优化

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第16张图片

总结

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第17张图片

优化算法的拓展

加入动量项,不易陷入鞍点

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第18张图片

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第19张图片

cs231n----训练神经网络(激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习)_第20张图片

 

 

你可能感兴趣的:(CS231n计算机视觉)