Udacity深度学习(google)笔记(1)——notmnist

  • Softmax函数是将k维实数向量映射成k维(0,1)之间的实数向量(求指数后再除以指数的总和)。如果将原来的实数向量都乘以10倍,则会使得映射后的向量取值更为“极端”,即此时的学习器特别自信!
  • One-Hot 编码
  • 交叉熵:不对称
  • Multinomial Logistic Regression:Udacity深度学习(google)笔记(1)——notmnist_第1张图片

  • 最小化交叉熵:梯度下降
  • python 3.6 中range取代了xrange的作用,另外下述代码结果不是1(为什么?见https://www.zhihu.com/question/25457573):
  • x = 1000000000
    ox = x
    y = 0.000001
    z = 1000000
    for i in range(0,z):
        x = x + y
    x - ox
  • 所以要避免数字之间差太多,要进行标准化

  • notmnist这个例子包含很多对目录、文件和图片的操作:os.listdir() 
  • http://blog.csdn.net/u013698770/article/details/54645326
  • http://www.cnblogs.com/wdsunny/p/6582698.html
  • 验证集的大小: Rule of '30'  >30000 >0.1%,即当性能提升0.1%时被影响到的验证样本达到了30个。没有这么多样本的话可以采用交叉验证的办法
  • 随机梯度下降:降低运算量。与零均值同方差输入的关系,与使用较小方差的随机权重矩阵的关系
  • 动量法与学习率下降
  • AdaGrad
  • shuffle
  • sanitize (如测试集和训练集可能有重复样本),hash

你可能感兴趣的:(深度学习与机器学习)