《python深度学习》学习笔记与代码实现（第一，二章）

《python深度学习》学习笔记与代码实现（一）

记录学习笔记，希望和大家一起交流学习，包括知识点的记录，自己的理解和相关代码。如有错误，欢迎指出
书本中代码均在jupyter notebook编辑，由于我不习惯用，所以我写的代码在ide中。

第一章:深度学习基础
介绍机器学习与深度学习相关背景知识，不过多赘述。

第二章：神经网络数据表示
1.初始神经网络–手写数字分类
用一个简单事例来初步了解神经网络

#使用Python的Keras库来学习手写数字分类
from keras.datasets import mnist
(train_images,train_labels),(test_images,test_labels) = mnist.load_data()
# print(train_images.shape)
# print(len(train_labels))
# print(train_labels)

from keras import models
from keras import layers
network = models.Sequential()
# 增加了两个全连接层
network.add(layers.Dense(512,activation = 'relu',input_shape = (28*28,)))
network.add(layers.Dense(10,activation = 'softmax'))
#设置网络参数
network.compile(optimizer = 'rmsprop',loss = 'categorical_crossentropy',metrics = ['accuracy'])

# 将灰度值的取值区间0到255变成0到1
train_images = train_images.reshape((60000,28*28))train_images = train_images.astype('float')/255
test_images = test_images.reshape((10000,28*28))test_images = test_images.astype('float')/255

# 对标签进行分类编码（第三章会详细介绍）
from keras.utils import to_categoricaltrain_labels = to_categorical(train_labels)test_labels = to_categorical(test_labels)

#训练模型
network.fit(train_images,train_labels,epochs = 5,batch_size= 128)
# 保存模型
from keras.models import load_model
# network.save(r'D:\study\Python\Deeplearning\ch2\network.h5')
# 载入模型
network = load_model(r'D:\study\Python\Deeplearning\ch2\network.h5')
test_loss,test_acc = network.evaluate(test_images,test_labels)
print('test_acc',test_acc)

#训练完成后，测试集的结果
10000/10000 [==============================] - 5s 473us/step
test_acc 0.9788

2.神经网络的数据表示
2.1 张量
张量就是按照任意维排列的一堆数字的推广，他是一个数据容器。
关于向量，标量，张量的详细介绍，可以参考
[https://blog.csdn.net/u010995990/article/details/80093252]
2.2 张量的关键属性
轴的个数（阶）：例如，3D张量有3个轴，矩阵有两个轴
形状：通俗的讲，就是每个轴上的维度的组合，就是形状。例如，一个3维的张量，每个轴的维度分别为60000，28，28，那么它的形状就是600002828
数据类型：float32，uint8，float64，极少数情况下是char类型

2.3 数据批量的概念
例如，上边手写数字的例子，一共有60000张图片，每张图片28*2
8，则他为3D张量，在深度学习中，所有数据张量的第一个轴（0轴），都是杨本轴，也叫做批量轴或批量维度

2.4 张量举例，现实世界中的数据张量
1）向量数据：2D张量，形状为 (samples, features)。
2）时间序列数据或序列数据：3D张量，形状为 (samples, timesteps, features)。
3）图像：4D张量，形状为 (samples, height, width, channels) 或 (samples, channels, height, width)。
4）视频5D张量，形状为 (samples, frames, height, width, channels) 或 (samples, frames, channels, height, width)。

2.5 张量运算
1.逐元素运算
2.广播：张量维度不匹配时，自动把小的变成多的，采用重复的方法
3.点积：类型与矩阵乘法
例：张量的阶数较高时，（a,b,c,d）. (d,) = (a,b,c)
(a,b,c,d) . (d,e) = (a,b,c,e)
以上字母代表张量的不同的轴上的维度
4.张量变形：类似于矩阵转置，或者改变矩阵的大小
例：（23）的矩阵变为（16）的矩阵

3，神经网络的引擎：基于梯度的优化
3.1 梯度下降法
前向传播计算预测值，反向传播计算损失函数以及其偏导数，用来更新参数

真随机梯度下降：每次只取一个样本进行训练，来优化参数
小批量随机梯度下降：每次在所有样本中抽取一小部分进行训练，优化参数
批量随机梯度下降：每次都使用所有样本进行训练，来优化参数

3.2 链式求导：反向传播算法
反向求导更新参数会自动计算，不用太在意