机器学习

• 分类

  
  
  

• 训练数据集

  
  
  

• 检验

  
  
  

• 如何检测行人在哪里

  
  
  

• 检测问题转化为分类问题

  
  
  

• 逻辑回归分类器

  
  
  
  
  
  

• Softmax函数

  
  
  

• 数值大小对Softmax函数预测结果的影响

  
  
  

• 一位有效编码

  
  
  

• 交叉熵方法计算预测值与实际值的距离

  
  
  

• Logistic多项式回归法

  
  
  

• 如何确定W，b：使正确分类距离小，错误分类距离大

  
  
  

• 罚函数

  
  
  

• 将机器学习问题转化为数值优化问题

  
  
  

• 梯度下降法

  
  
  

• 寻找最优解方法的好坏

  
  
  

• 标准化处理图片像素的基础数据

  
  
  

• 寻找好的初始化值：均值为0，标准差为sigma的高斯分布中随机抽样，sigma决定了初始点输出的数量级，sigma越大越武断，越小越谨慎，训练时先小后大比较合适

  
  
  

• 训练分类器的方法

  
  
  

• 不断使损失函数越来越小

  
  
  

• 随机梯度下降

  
  
  

• 保存梯度的移动平均，代替一批数据的方向

  
  
  

• 学习率衰减（接近目标的时候，步子要足够小）

  
  
  

• 模型的训练速度越快，并不一定越好

  
  
  

• 线性模型需要训练的参数过多

  
  
  

• 线性模型的局限性

  
  
  

• 线性模型的定义

  
  
  

• 线性模型的运算非常稳定

  
  
  

• 线性函数的导数为常量

  
  
  

• 无论你神经网络有多少层，输出都是输入的线性组合，与只有一个隐藏层效果相当，如何得到非线性函数

  
  
  

• 修正线性单元ReLU

  
  
  

• 简单的神经网络

  
  
  

• 反向传播法，比起正向传播，要花费2倍的运算与存储空间

  
  
  

• 为模型增加更深的层次，使得模型效果更好

  
  
  

• 通过让网络变深的方式，可以让模型参数变少，表现变好

  
  
  

• 更深的模型，往往会出现层次化的结构

  
  
  

• 防止过拟合的方法：早停

  
  
  

• 防止过拟合的方法：正则化

  
  
  

• L2正则化：核心：在罚函数中加入额外一项，削减大权重的影响，但这样就不可避免的引入了新参数需要调试

  
  
  

• 丢弃法