TensorFlow 实战Ｇoogle 深度学习框架 郑泽宇

研究ｓｓｄ网络的层结构，该怎样修改，能提升准确度，怎样看结果，各个ｌｏｓｓ代表的意义，
ａｌｐｈａｇｏ原理：
ａｉ+教育
ａｉ+媒体
ａｉ+医学
ａｉ+配送
ａｉ+农业
ｃａｉｃｌｏｕｄ.io
tensorboard 可视化，ｔｅｎｓｏｒｆｌｏｗ高层封装，带ｇｐｕ的分布式ｔｅｎｓｏｒｆｌｏｗ使用方法，ｔｅｎｓｏｒｆｌｏｗ输入数据处理流程，

ｃｖ,nlp,ｓｒ,人机博弈
ｐｒｏｔｏｃｏｌ buffer 处理结构化数据的工具
结构化的数据序列化，序列化之后的数据流还原出结构化数据
bazel 自动化构建工具 ，编译工具，安装ｂａｚｅｌ首先需要安装ｊｄｋ8,;
安装ＪＤＫ8的方法
sudo apt-get install software-properties-common
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
然后安装ｂａｚｅｌ的其他依赖工具包
ｓｕｄｏ apt-get install pkg-config zip g++ zliblg-dev unzip
接着在ｇｉｔｈｕｂ发布页面下载安装包 https://github.com/bazelbuild/bazel/releases/tag/0.5.4
以下安装ｂａｚｅｌ
chmod +x bazel-0.5.5-jdk7-installer-linux-x86_64.sh
./bazel-0.5.4-jdk7-installer-linux-x86_64.sh -user
export PATH="$PATH:$HOME/bin"
具体参考ｉｎｓｔａｌｌｉｎｇ ｂａｚｅｌ
ｂａｚｅｌ安装完成后还需要安装ｔｅｎｓｏｒｆｌｏｗ的依赖工具包
sudo apt-get install python-numpy python-dev python-pip python-wheel
sudo apt-get install python3-numpy python3-dev python3-pip python3-wheel

 

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
ｃｕｄａ toolkit 安装完成后需要将环境变量加入到～/.bash_profile之中
export CUDA_HOME=/usr/local/cuda
export DYLD_LIBRARY_PATH="$DYLD_LIBRARY_PATH:$CUDA_HOME/lib"
export PATH="$CUDA_HOME/bin:$PATH"

第二章 ｔｅｎｓｏｒｆｌｏｗ环境搭建
docker 支持ｇｐｕ的ｄｏｃｋｅｒ镜像，需要安装ｎｖｉｄｉａｄｏｃｋｅｒ,
ｎｖｉｄｉａ-docker run -it tensorflow/tensorflow:1.5.0-gpu
pip ：安装管理ｐｙｔｈｏｎ软件包的工具，
ｕｂｕｎｔｕ/linux 64-bit 环境下安装
ｓｕｄｏ apt-get install python-pip python-dev

source wheel 文件

第三章ｔｅｎｓｏｒｆｌｏｗ入门
3.1 ｔｅｎｓｏｒｆｌｏｗ计算模型 －计算图
tf.get_default_graph() 得到当前默认的计算图
ａ.graph 可以查看张量所属的计算图
ｔｆ.Graph 生成新的计算图
ｔｆ.get_variable
tf.global_variables_initializer().run()
tf.Graph.device函数运行计算的设备

3.2 ｔｅｎｓｏｒｆｌｏｗ数据模型 －张量
零阶张量表示标量（ｓｃａｌar）,第一阶张量为向量（ｖｅｃｔｏｒ）,一维数组
3.3 ｔｅｎｓｏｒｆｌｏｗ运行模型 －会话
创建一个会话
ｓｅｓｓ=tf.Session()
sess.run()
sess.close()
#################
with tf.Session() as sess:
 sess.run()
 ####################
 configproto配置会话的方法
 ｃｏｎｆｉｇ=tf.ConfigProto(allow_sofgt_placement=True,log_device_placement=True)
 sess1=tf.InteractiveSession(config=config)
 sess2=tf.Session(config=config)
 
3.4 ｔｅｎｓｏｒｆｌｏｗ实现神经网络
http://playground.tensorflow.org 通过网页浏览器就可以训练的简单神经网络并实现可视化训练过程的工具。

tf.matmul实现矩阵乘法
tf.random_normal([2,3],stddev=2)
生成２＊３矩阵，均值为０，标准差为２的随机数。
tf.random_normal 正态分布
tf.truncated_normal 正态分布，如果随机出来的值偏离平均值超过２个标准差，那么这个数就会重新随机
tf.random_uniform 均匀分布
tf.random_gamma  形状参数ａｌｐｈａ、尺度参数ｂｅｔａ、取值类型
tf.zeros([2,3],int32)->[[0,0,0],[0,0,0]]
tf.ones([2,3],int32)->[[1,1,1],[1,1,1]]
tf.fill([2,3],9)->[[9,9,9],[9,9,9]]
tf.constant([1,2,3])->[1,2,3]
tf.global_variables_initializer() 给所有变量赋值
tf.assign() 初始化变量

 

backpropagation
tf.placeholder 存放输入数据
cross_entropy=-tf.reduce_mean
常用的优化方法：tf.train.GradientDescentOptimizer,tf.train.AdamOptimizer,tf.train.MomentumOptimizer
###################################################
第四章 深层神经网络
４、１1线性模型的局限
线性不可分问题
４、１2激活函数实现去线性
非线性激活函数，tf.nn.relu,tf.sigmod,tf.tanh
4、１３多层网络解决异或问题
Perceptrons:An Introduction to Computational Geometry 感知机无法模拟异或运算

４．２１经典损失函数
tensorflow 中softmax参数被去掉了，它只是一个额外的处理层，将神经网络的输出变成一个概率分布。交叉熵刻画的是两个概率分布的距离，
正确答案（１，０，０）预测（０．５，０．４，０．１）
预测与正确答案之间的交叉熵为
Ｈ((1,0,0),(0.5,0.4,0.1))=-(1*log0.5+0*log0.4+0*log0.1)=0.3
tf.clip_by_value限制张量中的数值在一个范围
ｖ=tf.constant([[1.0,2.0,3.0],[4.0,5.0,6.0]])
print(tf.clip_by_value(v,2.5,4.5).eval())
小于２．５都被替换成２．５，大于４．５都被替换成４．５
cross_entropy=tf.nn.softmax_cross_entropy_with_logits(labels=y_,logits=y) 得到ｓｏｆｔｍａｘ回归后的交叉熵
房价预测，销量预测都是回归问题
回归问题最常用的损失函数是均方误差（ＭＳＥ,mean squared error）
tf.where
tf.greater判断两个张量中的每一个元素的大小

４．３１神经网络的优化算法
梯度的方向：
梯度的反方向总损失最小
反向传播算法具体的实现方法和数学证明 ｌｅａｒｎｉｎｇ representations by back-propagating errors

４．４１学习率设置
tf.train.exponential_decay 指数衰减学习率，可以使用较大的学习率来快速得到一个比较优的解，然后迭代逐步减小学习率。
４．４２过拟合问题
ｒegularization
l1正则化 让数据变的更稀疏，计算公式不可导
ｌ2正则化 不会让数据变的更稀疏，计算公式可导
通过限制权重的大小，使得模型不能任意拟合噪声
tf.contrib.layers.l2_regularizer(lambda)(w)计算ｌ2正则化项的值

４．４３滑动平均模型
tf.train.ExponentialMovingAverage
第五章 ＭＩＮＩＳＴ数字识别问题
５．１数据处理
http://yann.lecun.com/exdb/mnist 对ｍｎｉｓｔ数据集做出了详细介绍。
５．２使用验证数据集判断模型效果
自己编写验证集判断模型效果
validate_acc=sess.run(accuracy,feed_dict=validate_feed)

５．２．３不同模型效果比较
正则化损失变大是什么原因？
不同模型：使用滑动平均，使用正则化，使用指数衰减学习率，使用隐藏层，使用激活函数
５．３变量
ｔｅｎｓｏｒｆｌｏｗ提供了创建变量的机制，
ｖ=tf.get_variable("v",shape=[1],initializer=tf.constant_initializer(1.0))
v=tf.Variable(tf.constant(1.0,shape=[1]),name="v")
ｔｅｎｓｏｒｆｌｏｗ中的变量初始化函数
tf.constant_initializer  变量初始化为给定常量
tf.random_normal_initializer 正态分布的随机值
tf.truncated_normal_initializer 超过２个标准差，这个数将重新随机
tf.random_uniform_initializer 平均分布的随机值
tf.uniform_unit_scaling_initializer 满足平均分布但不影响输出数量级的随机值
tf.zeros_initializer
tf.ones_initializer
tf.variable_scope  reuse=True直接获取已经创建的变量

５．４持久化代码实现 原理及数据结构
saver=tf.train.Saver()
with tf.Session() as sess:
   ....
   saver.save(sess,"/path/to/model/model.ckpt")
   
model.ckpt.meta 保存计算图的结构
model.ckpt 保存了每一个变量的取值
checkpoint 保存了一个目录下所有的模型文件列表。
＃＃＃＃＃＃＃＃＃＃＃＃＃
加载这个已经保存的模型
saver=tf.train.Saver()
with tf.Session() as sess:
  saver.restore(sess,"/path/to/model/model.ckpt")
 
  加载模型中没有变量的初始化
 
  ＃＃＃＃＃＃＃＃＃
  如果不希望重复定义图上的运算，可以直接加载已经持久化的图
  saver=tf.train.import_meta_graph("/path/to/model/model.ckpt/model.ckpt.meta")
 

第六章 图像识别与卷积神经网络
６．１图像识别问题及经典数据集
cifar yhttps://www.cs.toronto.edu/~kriz/cifar.html 提供不同格式的cifar数据集下载，
mnist是黑白的
cifar是彩色的 cifar-10 10类６００００张图片，人工标注正确率９４％，
ｍｎｉｓｔ和ｃｉｆａｒ存在问题：现实中的图片分辨率远高与３２＊３２，而且图片的分辨率也不会固定；二：现实中物体类别很多，一张图片不只出现一种物体
李飞飞带头整理的ＩmageNet 很大程度上解决了这个问题，１５００ｗ图片，被关联到ｗｏｒｄnet的大约２０００个名称同义词集上。
ｔｏｐ-5是指图像识别算法给出前ｎ个答案中有一个正确的概率
６．２卷积神经网络结构
卷积神经网络和全连接神经网络的区别是神经网络中相邻两层的连接方式
卷积神经网络的组成：
输入层：
卷积层： 节点矩阵为什么深度会增加？
池化层：改变矩阵的大小，
全连接层：
ｓｏｆｔｍａｘ层：

６．３ｌｅｎｅｔ模型
ｉｎｃｅｐｔｉｏｎ-v3模型
过滤器的尺寸：
过滤器的深度：
卷积层的参数个数只和过滤器的尺寸、深度以及当前层节点矩阵的深度有关，
filter_weight=tf.get_variable('weights',[5,5,3,16],initializer=tf.truncated_normal_initializer(stddev=0.1))
biases=tf.get_variable('biases',[16],initializer=tf.constant_initializer(0.1))
conv=tf.nn.conv2d(input,filter_weight,strides=[1,1,1,1],padding='SAME')
第三个参数为不同维度上的步长，卷积层的步长只对矩阵的长和宽有效。
最大池化层 ｍａｘ pooling
平均池化层 average pooling
卷积层使用的过滤器是横跨整个深度的，池化层使用的过滤器只影响一个深度上的节点。池化层的过滤除了在长和宽的维度上移动，还需要在深度的维度上移动
pool=tf.nn.max_pool(actived_conv,ksize=[1,3,3,1],strides=[1,2,2,1],padding='SAME')
lenet-5 模型 是Yann LeCun 在Ｇｒａｄｉｅｎｔ-based learning applied to document recognition中提出。
ｌｅｎｅｔ-5总共有７层，
Very Deep Convolutional Networks for Large-Scale Image Recognition
参考论文：Ｒethinking the Inception Architecture for Computer Vision
Inception-v3 共４６层，
ｔｅｎｓｏｒｆｌｏｗ-slim实现卷积层
net=slim.conv2d(input,32,[3,3])
第一个参数为输入节点矩阵，第二个参数为当前层过滤器的深度，第三个参数是过滤器的尺寸，

６．４迁移学习
DeCAF:A Deep Convolutional Activation Feature for Generic Visual Recognition 中的结论，可以保留ｉｎｃｅｐｔｉｏｎ-v3模型中的所有卷基层的参数，只是替代最后一层全连接层，
ｔｅｎｓｏｒｆｌｏｗ-slim可以提高编程效率
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
摄像头的重要参数：
分辨率，色彩还原，白平衡以及灰度测试
坏点测试，均匀性测试，
ｉｓｅｅｔｅｓｔ摄像头性能测试软件。

第七章 图像数据处理
７．１ＴＦＲｅｃｏｒｄ输入数据格式
数据处理（将MNIST转为TFRecord）
７．２图像数据处理

７．３多线程输入数据处理框架
randomshufflequeue
tf.Coordinator 和tf.QueueRunner

第八章 循环神经网络
８．１ ｌｓｔｍ
８．２ 循环神经网络的变种

第九章自然语言处理
９．１神经语言模型
９．２神经网络机器翻译
第十章ｔｅｎｓｏｒｆｌｏｗ高层封装
１０．１ｋｅｒａｓ介绍
１０．２ｅｓｔｉｍａｔｏｒ介绍
第十一章ｔｅｎｓｏｒｂｏａｒｄ可视化
１１．１ｔｅｎｓｏｒｆｌｏｗ计算图可视化
第十二章 ｔｅｎｓｏｒｆｌｏｗ计算加速
１２．１使用ｇｐｕ
１２．２深度学习训练并行模式
１２．３多ｇｐｕ并行
１２．４分布式ｔｅｎｓｏｒｆｌｏｗ

 

 在tensorflow中，一个像素点的颜色顺序是R，G，B。
# 在opencv中，一个像素点的颜色顺序是B，G，R。