tensorflow2.0学习笔记
1、Tensor 张量=多维数组
2、常量 tf.constant(12,(tf.float32))
3、常用的精度类型有 tf.int16、tf.int32、tf.int64、tf.float16、tf.float32、 tf.float64,bool 等
4、读取精度： a.dtype()
5、类型转换 ：tf.cast(a,tf.float32)
6、待优化张量(变量）：aa=tf.Variable(a,(name="aa")), name，trainable 等属性
7、创建全 0 或全 1 张量：tf.zeros([5]),tf.ones([])
8、通过 tf.zeros_like, tf.ones_like 可以方便地新建与某个张量 shape 一致，且内容为全 0 或
全 1 的张量。
9、通过 tf.fill(shape, value)可以创建全为自定义数值 value 的张量，形状由 shape 参数指
定。:b=tf.fill([2,3],-1)
10、创建已知分布的张量：b=tf.random.normal([2,3],(mean=1,stddev=2)) #正态
b=tf.random.uniform([2,3],maxval=100) #均匀
b=tf.range(10,delta=2) 0~10 步长2
11、切片：x[start: end: step],start默认0，可随意省略x[::],x[0,::]==x[0]，::可简写为:，[8:0:-1]
12、改变视图：x=tf.reshape(x,[2,4,4,3]) ， shape=(2, 4, 4, 3)
改变视图操作的默认前提是存储不需要改变，否则改变视图操作就是非法的
13、 x.ndim,x.shape # 获取张量的维度数和形状列表
14、插入删除维度tf.expand_dims(x, axis)可在指定的 axis 轴前可以插入一个新的维度， x = tf.squeeze(x, axis=0) # 删除图片数量维度，只能变维度为1的
15、 tf.tile(b, multiples=[2,1])即可在 axis=0 维度复制 1 次，在 axis=1 维度不复制标量
16、Broadcasting 称为广播机制(或自动扩展机制)，它是一种轻量级的张量复制手段，在逻辑上扩展张量数据的形状： 直接将 shape 为[2,3]与[3]的矩阵相加也是合法，因为它自动调用tf.broadcast_to(x, new_shape)，将两者 shape 扩张为相同的[2,3]
17、数学运算：+,-,*,/,//,%,**(乘方、开方分数),也可平方 tf.square(x)开平tf.sqrt(x)
，e^x=tf.exp(x)，lnx=tf.math.log(x)，其他底用换底公式，矩阵相乘@或 tf.matmul(a, b)
18、拼接：tf.concat([a,b],axis=0)，非合并维度的长度必须一致
19、产生新维度：tf.stack([a,b],axis=0)，需要所有待合并的张量 shape 完全一致
20、分割： tf.split(x, num_or_size_splits=10, axis=0)
tf.split(x, num_or_size_splits=[4,2,2,2] ,axis=0)
21、均方差误差函数：loss=tf.keras.losses.mse(y,b)，
22、向量范数：L0 范数‖x‖0 定义为xi中非零元素的个数
L1 范数：对值之和 ‖x‖1 = ∑|xi |
L2 范数:平方和，再开根号: ‖x‖2 =√ ∑|xi |^2
∞ −范数: 绝对值的最大值: ‖x‖∞ = max(|xi|)
矩阵和张量的范数等价于将矩阵和张量打平成向量后计算。 tf.norm(x, ord)
ord 指定为 1、2 时计算 L1、L2 范数，指定为 np.inf 时计算∞−范数
23、最值、均值、和：tf.reduce_max、tf.reduce_min、tf.reduce_mean、tf.reduce_sum，
例：x = shape([4,10]) ，tf.reduce_max(x,axis=1) # 第二维度上的最大值
tf.argmax(x, axis)和 tf.argmin(x, axis)求在 axis 轴上，x 的最大值、最小值所在的索引号。
24、张量比较：
tf.equal(a, b)可以比较这 2 个张量是否相等，返回布尔类型的张量比较结果
tf.math.greater a > b
tf.math.less a < b
tf.math.greater_equal a ≥ b
tf.math.less_equal a ≤b
tf.math.not_equal a ≠b
tf.math.is_nan a = nan
25、填充: tf.pad(x, paddings),paddings=[[0,0],[2,1]]表示第一个维度不填充，第二个
维度左边(起始处)填充两个单元，右边(结束处)填充一个单元
26、数据限幅: tf.maximum(x, a)下限幅，即x∈ [a,+∞)；tf.minimum(x, a)上限幅
relu(x): tf.maximum(x,0.), tf.clip_by_value(2,7) 上下限幅为2-7
27、高级操作：tf.gather(x,[2,4],axis=2) # 收集第 3，5 科目的成绩
tf.gather_nd(x,[[1,1],[2,2],[3,3]]) #多维坐标采样多个点
tf.boolean_mask(x,mask=[True, False,False,True],axis=0)#掩码采样第1,4号
tf.where(cond, a, b)=cond==True? a:b tf.where(x>0)#所有正数的索引
tf.scatter_nd(indices, updates, shape)函数可以高效地刷新张量的部分数据
tf.meshgrid 函数可以方便地生成二维网格的采样点坐标，方便可视化等应用场合，z=sin(x^2+y^2)/(x^2+y^2)
27、经典数据集：Boston Housing，波士顿房价趋势数据集，用于回归模型训练与测试。
❑ CIFAR10/100，真实图片数据集，用于图片分类任务。
❑ MNIST/Fashion_MNIST，手写数字图片数据集，用于图片分类任务。
❑ IMDB，情感分类任务数据集，用于文本分类任务。
通过 datasets.xxx.load_data()函数即可实现经典数据集的自动加载
(x, y), (x_test, y_test) = datasets.mnist.load_data()
tf.data.Dataset.from_tensor_slices((x, y)) # 构建 Dataset 对象才好利用
28、随机打散：Dataset.shuffle(buffer_size)设置 Dataset 对象随机打散数据之间的顺序
buffer_size 参数指定缓冲池的大小，一般设置为一个较大的常数即可,
例：db=train_db.shuffle(10000)，db=db.step1().step2().step3.()遍历
29、批训练：为了利用显卡的并行计算能力，train_db = train_db.batch(128) # 设置批训练，batch size 为 128
30、预处理：从 keras.datasets 中加载的数据集的格式大部分情况都不能直接满足模型的输入要求，因此需要根据用户的逻辑自行实现预处理步骤。例如：
train_db = train_db.map(preprocess)# 预处理函数实现在 preprocess 中，传入函数名即可
def preprocess(x, y): # 自定义的预处理函数
# 调用此函数时会自动传入 x,y 对象，shape 为[b, 28, 28], [b]
# 标准化到 0~1
x = tf.cast(x, dtype=tf.float32) / 255.
x = tf.reshape(x, [-1, 28*28]) # 打平
y = tf.cast(y, dtype=tf.int32) # 转成整型张量
y = tf.one_hot(y, depth=10) # one-hot 编码
# 返回的 x,y 将替换传入的 x,y 参数，从而实现数据的预处理功能
return x,y
31、循环训练：for step, (x,y) in enumerate(train_db): # 迭代数据集对象，带 step 参数
或for x,y in train_db: # 迭代数据集对象，
每次返回的 x 和 y 对象即为批量样本和标签，通过多个 step 来完成整个训练集的一次迭代，叫做一个 Epoch。在实际训练时，通常需要对数据集迭代多个 Epoch 才能取得较好地训练效果。例：train_db = train_db.repeat(20) # 数据集迭代 20 遍才终止
或：for epoch in range(20): # 训练 Epoch 数
for step, (x,y) in enumerate(train_db): # 迭代 Step 数
# training...
with tf.GradientTape() as tape: # 梯度记录器， gradient()方法自动求解参数的梯度
32、网络层：σ(x@w+b)或 layers.Dense(units, activation) ，units输出数，输入数自动赋
例：from tensorflow.keras import layers # 导入层模块
fc = layers.Dense(512, activation=tf.nn.relu) # 创建全连接层，指定输出节点数和激活函数
h1 = fc(x)
fc.kernel # 获取 Dense 类的权值矩阵
fc.bias # 获取 Dense 类的偏置向量
fc.trainable_variables # 返回待优化参数列表（包含上两个），fc.non_trainable_variables
fc.variables # 返回所有参数列表
33、层方式实现：通过 Sequential 容器
from tensorflow.keras import layers,Sequential # 导入 Sequential 容器
model = Sequential([ # 通过 Sequential 容器封装为一个网络类
layers.Dense(256, activation=tf.nn.relu) , # 创建隐藏层 1
layers.Dense(128, activation=tf.nn.relu) , # 创建隐藏层 2
layers.Dense(64, activation=tf.nn.relu) , # 创建隐藏层 3
layers.Dense(10, activation=None) , # 创建输出层
])
out = model(x) # 前向计算得到输出
34、激活函数：Sigmoid 函数(Logistic)：Sigmoid(x)=1/(1+exp(-x)) ,tf.nn.sigmoid(x)
ReLU(REctified Linear Unit，修正线性单元), max(0,x),tf.nn.relu(x)
LeakyReLU:克服x<0时梯度弥散现象
p=alpha为用户自行设置的某较小数值的超参数，如 0.02 等，tf.nn.leaky_relu(x, alpha=0.1)
Tanh 函数能够将x“压缩”到(−1,1)
35、输出层设计：常见的几种输出类型包括：实数空间，[0,1],[-1,1]等
普通实数空间：输出层可不加激活函数，误差可采用均方差误差函数 MSE等
[0,1]区间：激活函数Sigmoid 等
[0,1] 区间且和为1：
Softmax 函数不仅可以将输出值映射到[0,1]区 间，还满足所有的输出值之和为 1 的特性，tf.nn.softmax(z)。Softmax 函数也可以作为网络层类使用，layers.Softmax(axis=-1)可添加 Softmax 层，其中 axis 指定需要进行计算的维度。
为解决数值溢出稳定性问题，可将 Softmax 与交叉熵损失函数同时实现，tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits=False)，其中 y_true 代表了
One-hot 编码后的真实标签，y_pred 表示网络的预测值，当 from_logits 设置为 True 时，
y_pred 表示须为未经过 Softmax 函数的变量 z，一般都选True
例：loss = keras.losses.categorical_crossentropy(y_onehot,z,from_logits=True)
loss = tf.reduce_mean(loss) # 计算平均交叉熵损失
或：criteon = keras.losses.CategoricalCrossentropy(from_logits=True)
loss = criteon(y_onehot,z) # 计算损失
36、误差计算：均方差、交叉熵、KL 散度、Hinge Loss 函数等，均方差回归，交叉熵分类
均方差(Mean Squared Error，简称 MSE)
例：loss = keras.losses.MSE(y_onehot, o) # 计算均方差
loss = tf.reduce_mean(loss) # 计算 batch 均方差
或：criteon = keras.losses.MeanSquaredError()
loss = criteon(y_onehot,o) # 计算 batch 均方差
交叉熵：熵越大，代表不确定性越大
也可用其他底数log计算
交叉熵
KL 散度
，交叉熵可以很好地衡量 2 个分布之间的“距离”
p采用 One-hot 编码时：
只与真实的类别上概率有关
37、模型装配、训练与测试：在训练网络时，一般的流程是通过前向计算获得网络的输出值，再通过损失函数计算网络误差，然后通过自动求导工具计算梯度并更新，同时间隔性地测试网络的性能。
37.1、模型装配： keras.layers.Layer 类，定义了网络层的一些常见功能，如添加权值、管理权值列表等，keras.Model，除了具有 Layer 类的功能，还添加了保存模型、加载模型、训练与测试模型等便捷功能。Sequential 也是 Model 的子类
# 创建 5 层的全连接网络
network = Sequential([layers.Dense(256, activation='relu'),
layers.Dense(128, activation='relu'),
layers.Dense(64, activation='relu'),
layers.Dense(32, activation='relu'),
layers.Dense(10)])
network.build(input_shape=(4, 28*28))
network.summary()
from tensorflow.keras import optimizers,losses # 导入优化器，损失函数模块
# 采用 Adam 优化器，学习率为 0.01;采用交叉熵损失函数，包含 Softmax
network.compile(optimizer=optimizers.Adam(lr=0.01),
loss=losses.CategoricalCrossentropy(from_logits=True),
metrics=['accuracy'] # 设置测量指标为准确率
)
37.2模型训练：fit()函数， train_db 为 tf.data.Dataset 对象
# 训练集train_db，验证集val_db,训练 5个epochs，每2个epoch 验证一次
# 返回训练轨迹信息保存在 history 对象中
history = network.fit(train_db, epochs=5, validation_data=val_db,validation_freq=2)
history.history # 打印训练记录，字典对象，包含了训练过程中的 loss、测量指标等
37.3模型测试：通过 Model.predict(x)方法即可完成模型的预测
x,y = next(iter(db_test)) # 加载一个 batch 的测试数据
print('predict x:', x.shape) # 打印当前 batch 的形状
out = network.predict(x) # 模型预测，预测结果保存在 out 中
print(out)
或：network.evaluate(db_test) # 只可模型测试，测试在 db_test 上的性能表现
38、模型保存与加载：
（1）张量方式：network.save_weights('weights.ckpt') # 保存模型的所有张量数据
network.load_weights('weights.ckpt') # 从参数文件中读取数据并写入当前网络
- 网络方式：network.save('model.h5') # 保存模型结构与模型参数到文件
network = keras.models.load_model('model.h5') # 从文件恢复网络结构与网络参数
- SavedModel方式：将模型部署到移动端和网页端等其他平台时，有平台无关性
tf.saved_model.save(network, 'model-savedmodel') # 保存模型结构与模型参数到文件
network = tf.saved_model.load('model-savedmodel') # 从文件恢复网络结构与网络参数
# 准确率计量器
acc_meter = metrics.CategoricalAccuracy()
for x,y in ds_val: # 遍历测试集
pred = network(x) # 前向计算
acc_meter.update_state(y_true=y, y_pred=pred) # 更新准确率统计
print("Test Accuracy:%f" % acc_meter.result()) # 打印准确率
39、新建测量器：在 keras.metrics 模块中，提供了如平均值Mean 类，统
计准确率的 Accuracy 类，统计余弦相似度的 CosineSimilarity 类等。
loss_meter = metrics.Mean() # 新建平均测量器，适合 Loss 数据
# 记录采样的数据，通过 float()函数将张量转换为普通数值
loss_meter.update_state(float(loss)) #放置在每个 Batch 运算结束后
print(step, 'loss:', loss_meter.result()) # 打印统计期间的平均 loss
loss_meter.reset_states() # 打印完后清零测量器，由于测量器会统计所有历史记录数据
准确率实例：acc_meter = metrics.Accuracy() # 创建准确率测量器
# [b, 784] => [b, 10]，网络输出值
out = network(x)
# [b, 10] => [b]，经过 argmax 后计算预测值
pred = tf.argmax(out, axis=1)
pred = tf.cast(pred, dtype=tf.int32)
# 根据预测值与真实值写入测量器
acc_meter.update_state(y, pred)
# 读取统计结果
print(step, 'Evaluate Acc:', acc_meter.result().numpy())
acc_meter.reset_states() # 清零测量器
40、可视化：TensorBoard
# 创建监控类，监控数据将写入 log_dir 目录
summary_writer = tf.summary.create_file_writer(log_dir)
#监控误差数据和可视化图片数据
with summary_writer.as_default(): # 写入环境
tf.summary.scalar('test-acc', float(total_correct/total),step=step)# 写入测试准确率
# 可视化测试用的图片，设置最多可视化 9 张图片
tf.summary.image("val-onebyone-images:", val_images,max_outputs=9, step=step)
#查看张量数据的直方图分布，以及通过 tf.summary.text 打印文本信息
with summary_writer.as_default():
# 当前时间戳 step 上的数据为 loss，写入到 ID 位 train-loss 对象中
tf.summary.scalar('train-loss', float(loss), step=step)
# 可视化真实标签的直方图分布
tf.summary.histogram('y-hist',y, step=step)
# 查看文本信息
tf.summary.text('loss-text',str(float(loss)))
41、过拟合：41.1提前停止：数据集分为训练集、验证集和测试集，验证集连续n次下降
41.2模型设计：减少层数、阶数等减少容量
41.3正则化惩罚项、加权范数
41.4Dropout： tf.nn.dropout(x, rate)，model.add(layers.Dropout(rate=0.5))
41.5数据增强：缩放：x = tf.image.resize(x, [244, 244])
旋转：x = tf.image.rot90(x,k) #按逆时针方式旋转 k 个 90 度
翻转： x = tf.image.random_flip_left_right(x) # 随机水平翻转
x = tf.image.random_flip_up_down(x) # 随机竖直翻转
裁剪：x = tf.image.random_crop(x, [224,224,3]) #稍放大后裁剪
生成数据、添加高斯噪声、变换视角、 随机擦除等
42、卷积大小关系：
卷积核的大小k，步长s，上下填充数量pℎ相同，
输入X的高宽ℎ，向下取整。通过设置padding='SAME'、strides=1 可以直接得到输入、输出同大小的卷积层，当s> 时，padding='SAME'将使得输出高、宽将成1/s倍地减少
out = tf.nn.conv2d(x,w,strides=3,padding='SAME')
43、卷积层类： #创建了4个3×3大小的卷积核的卷积层，步长为1，padding方案为'SAME'
layer = layers.Conv2D(4,kernel_size=3,strides=1,padding='SAME')
#卷积核高宽、步长行列方向不等，kernel_size参数为tuple格式(kh,kw)，#strides参数为(Sh,Sw)
layer = layers.Conv2D(4,kernel_size=(3,4),strides=(2,1),padding='SAME')
例：layer = layers.Conv2D(4,kernel_size=3,strides=1,padding='SAME')
out = layer(x) # 前向计算
out.shape # 输出张量的 shape
layer.trainable_variables # 返回所有待优化张量列表
44、转置卷积运算：xx = tf.nn.conv2d_transpose(out, w, strides=2,padding='VALID',
output_shape=[1,5,5,1])
转置卷积矩阵角度：tf.nn.conv2d_transpose(out, w, strides=1, padding='VALID',
output_shape=[1,4,4,1])
在使用 tf.nn.conv2d_transpose 进行转置卷积运算时，需要额外手动设置输出的高宽。
tf.nn.conv2d_transpose 并不支持自定义 padding 设置，只能设置为 VALID 或者 SAME 。
当设置 padding=’VALID’时，输出大小表达为： o = (i−1)s +k
当设置 padding=’SAME’时，输出大小表达为：o =i*s
# 创建转置卷积类
layer = layers.Conv2DTranspose(1,kernel_size=3,strides=1,padding='VALID')
迁移学习模型性能
