TensorFlow学习笔记(二)

《深度学习:一起玩转Tensorlayer》学习补充笔记

主要笔记在CNKI E-Study中,此文档作为补充说明

名词解释

  • PCA (principle component analysis):主成分分析法
  • 距离与范式
    • 曼哈顿距离(L1)
    • 欧氏距离(L2)
    • 马氏距离(L3)
  • MSE (mean squared error):均方误差
  • KLD (KL Divergence):KL散度,相对熵,量化两种概率分布P和Q之间差异的方式。
  • 公式一:稀疏性
  • Binomial Distribution:二项式分布
  • Entropy:熵,一般用H表示
    • TensorFlow学习笔记(二)_第1张图片
  • VAEs (Variational Autoencoders):变分自编码器
  • Variational Bayesian Methods:变分贝叶斯法
  • cross-entropy:交叉熵,编码方案不一定完美时(由于对概率分布的估计不一定正确),平均编码长度。是神经网络常用的损失函数。
    • 为什么在神经网络中使用交叉熵损失函数,而不是K-L散度?

      K-L散度=交叉熵-熵,即 DKL( p||q )=H(p,q)−H§。在神经网络所涉及到的范围内,H§不变,则DKL( p||q )等价H(p,q)。

  • CNN (Convolutional Neural Networks):卷积神经网络
  • Stride:步长
  • Zero-padding:外围补零
  • R-CNN:区域卷积神经网络
  • SVM(Support Vector Machine):支持向量机
  • ROI:Region Of Interest
  • RPN:Region Proposal Networks
  • YOLO(You Only Look Once):CNN负责特征提取,全连接层负责分类识别
  • FC:全连接
  • VGGNet内存问题:VGGNet参数大约520MB,训练时,如果要保存反向传播梯度值,将占用1GB内存(一张图片),在GPU上采用mini batch训练的方法,需要注意显卡内存是否足够(呵,不够)。
  • GoogLeNet:(利用1×1卷积核进行降维)
  • ResNet
  • 数据增强:通过对图像的变换,创造出更多的图像

一个DL名词解释汇总

你可能感兴趣的:(TensorFlow,tensorlayer,笔记,深度学习)