Day6 #100DaysofMLCoding#

2018-08-11
tensorflow keras
torch pyTorch
caffe caffe2

今日计划

1. 学习CS231n 8-9课
2. 完成吴恩达DeepLearning 5-2
3. 完成吴恩达DeepLearning code4

知识点

1. CPU与GPU

gpu cores多，并行计算，适于矩阵计算

GPU并行计算

numpy 只可运行cpu，所有array数据存在ram中，与cpu有关
用gpu计算时，array数据需要从cpu运到gpu（gpu有显存、存储空间），算完再返回。IO可能是瓶颈

2. tensorflow gpu技巧

如果用gpu，这样tf的变量就存储在gpu显存中，大大减少IO时间

等式坐标代表操作的名称，调用名称、执行操作

调用tf.group，节点打包，计算时会返回None，但会计算其依赖的节点（小技巧，当我们只想计算存在gpu的变量而不想读取（因为cpu与gpu的IO瓶颈）时可以用tf.group打包）

Optimizer一键优化

损失函数api

自动建立层

各类tensorflow高阶API

3. base64

Base64就是一种基于64个可打印字符来表示二进制数据的方法。
每3个字节->4个字符
用记事本打开exe、jpg、pdf这些文件时，我们都会看到一大堆乱码，因为二进制文件包含很多无法显示和打印的字符
Base64一般用于在HTTP协议下传输二进制数据，由于HTTP协议是文本协议，所以在HTTP协议下传输二进制数据需要将二进制数据转换为字符数据。
Base64用\x00字节在末尾补足后，再在编码的末尾加上1个或2个=号，表示补了多少字节，解码的时候，会自动去掉。

4. map

5. Keras

提前训练好的模型

6. pytorch

更多详情

7. 静态图 动态图

tensorflow静态图 pytorch动态图
静态图 创建完图后系统自动优化；可以保存并导出图数据

tensorflow实现动态变化图

动态图 结构更多样（根据情况图可自动变化） 容易loops操作

tensorflow

经典神经网络

1x1卷积 降低channel减少计算成本 bottleneck

中间插入输出层，便于训练时更快降低梯度

残差网络

学习残差

其他启发式网络

复习Udacity RNN