tf.where()
条件语句真返回A，条件语句假返回B
tf.where(条件语句，真返回A，假返回B)
a=tf.constant([1,2,3,1,1])
b=tf.constant([0,1,3,4,5])
c=tf.where(tf.greater(a,b), a, b) # 若a>b，返回a对应位置的元素，否则返回b对应位置的元素
print("c:",c)
运行结果：
c： tf.Tensor([1 2 3 4 5], shape=(5,), dtype=int32)
np.random.RandomState.rand()
返回一个[0,1)之间的随机数
np.random.RandomState.rand(维度)
import numpy as np
rdm=np.random.RandomState(seed=1) #seed=常数每次生成随机数相同
a=rdm.rand() # 返回一个随机标量
b=rdm.rand(2,3) # 返回维度为2行3列随机数矩阵
print("a:",a)
print("b:",b)
运行结果：
a: 0.417022004702574
b: [[7.20324493e-01 1.14374817e-04 3.02332573e-01]
[1.46755891e-01 9.23385948e-02 1.86260211e-01]]
np.vstack()
将两个数组按垂直方向叠加
np.vstack(数组1，数组2)
import numpy as np
a = np.array([1,2,3])
b = np.array([4,5,6])
c = np.vstack((a,b))
print("c:\n",c)
运行结果：
c:
[[1 2 3]
[4 5 6]]
np.mgrid[ ] .ravel( ) np.c_[ ]
np.mgrid[ ] 返回间隔数值点，可同时返回多组， [起始值 结束值)
np.mgrid[ 起始值 : 结束值 : 步长 ，起始值 : 结束值 : 步长 , … ]
** x.ravel( ) 将x变为一维数组，'把 . 前变量拉直 **
np.c_[ ] 使返回的间隔数值点配对
**np.c_[ 数组1，数组2， … ] **
import numpy as np
x, y = np.mgrid [1:3:1, 2:4:0.5]
grid = np.c_[x.ravel(), y.ravel()]
print("x:",x)
print("y:",y)
print('grid:\n', grid)
运行结果：
x = [[1. 1. 1. 1.]
[2. 2. 2. 2.]]
y = [[2. 2.5 3. 3.5]
[2. 2.5 3. 3.5]]
源码：p7_mgrid.py
np.mgrid[ ] 返回间隔数值点，可同时返回多组， [起始值 结束值)
np.mgrid[ 起始值 : 结束值 : 步长 ，起始值 : 结束值 : 步长 , … ]
x.ravel( ) 将x变为一维数组，“把 . 前变量拉直”
np.c_[ ] 使返回的间隔数值点配对
np.c_[ 数组1，数组2， … ]
grid:
[[1. 2. ]
[1. 2.5]
[1. 3. ]
[1. 3.5]
[2. 2. ]
[2. 2.5]
[2. 3. ]
[2. 3.5]]
神经网络（NN）复杂度
指数衰减学习率
可以先用较大的学习率，快速得到较优解，然后逐步减小学习率，使模型在训练后期稳定。
指数衰减学习率 = 初始学习率 * 学习率衰减率（ 当前轮数 / 多少轮衰减一次 ）
激活函数
优秀的激活函数：
• 非线性： 激活函数非线性时，多层神经网络可逼近所有函数
• 可微性： 优化器大多用梯度下降更新参数
• 单调性： 当激活函数是单调的，能保证单层网络的损失函数是凸函数
• 近似恒等性： f(x)≈x当参数初始化为随机小值时，神经网络更稳定
激活函数输出值的范围：
• 激活函数输出为有限值时，基于梯度的优化方法更稳定 （权重对特征影响更加显著）
• 激活函数输出为无限值时，建议调小学习率
激活函数
对于初学者的建议：
首选relu激活函数；
学习率设置较小值；
输入特征标准化，即让输入特征满足以0为均值，1为标准差的正态分布；
初始参数中心化，即让随机生成的参数满足以0为均值， 当前层输入特征个数为标准差的正态分布。
损失函数（loss）：预测值（y）与已知答案（y_）的差距
自定义损失函数：
交叉熵损失函数CE (Cross Entropy)：表征两个概率分布之间的距离
loss_ce1=tf.losses.categorical_crossentropy([1,0],[0.6,0.4])
loss_ce2=tf.losses.categorical_crossentropy([1,0],[0.8,0.2])
print("loss_ce1:", loss_ce1)
print("loss_ce2:", loss_ce2)
运行结果：
loss_ce1: tf.Tensor(0.5108256, shape=(), dtype=float32)
loss_ce2: tf.Tensor(0.22314353, shape=(), dtype=float32)
softmax与交叉熵结合
输出先过softmax函数，再计算y与y_的交叉熵损失函数。
tf.nn.softmax_cross_entropy_with_logits(y_，y)
y_ = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 0, 0], [0, 1, 0]])
y = np.array([[12, 3, 2], [3, 10, 1], [1, 2, 5], [4, 6.5, 1.2], [3, 6, 1]])
y_pro = tf.nn.softmax(y)
loss_ce1 = tf.losses.categorical_crossentropy(y_, y_pro)
loss_ce2 = tf.nn.softmax_cross_entropy_with_logits(y_, y)
print('分步计算的结果:\n', loss_ce1)
print('结合计算的结果:\n', loss_ce2)
运行结果：
分步计算的结果:
tf.Tensor(
[1.68795487e-04 1.03475622e-03 6.58839038e-02 2.58349207e+00
5.49852354e-02], shape=(5,), dtype=float64)
结合计算的结果:
tf.Tensor(
[1.68795487e-04 1.03475622e-03 6.58839038e-02 2.58349207e+00
5.49852354e-02], shape=(5,), dtype=float64)
欠拟合与过拟合
欠拟合的解决方法：
增加输入特征项
增加网络参数
减少正则化参数
过拟合的解决方法：
数据清洗
增大训练集
采用正则化
增大正则化参数
正则化缓解过拟合
正则化的选择
L1正则化大概率会使很多参数变为零，因此该方法可通过稀疏参数，即减少参数的数量，降低复杂度。
L2正则化会使参数很接近零但不为零，因此该方法可通过减小参数值的大小降低复杂度。
神经网络参数优化器
待优化参数 ，损失函数oss，学习率r，每次迭代一个batch，t表示当前batch迭代的总次数：