【神经网络入门】损失函数与mini-batch学习

损失函数

交叉熵误差（cross entropy error）如下式：
$$E=-\sum _k{t}_k{\log }_{}{y}_k$$
$y_k$是神经网络的输出，$t_k$是正确解标签，该式计算了正确解标签输出的自然对数，也就是说，交叉熵误差的值是由正确解标签所对应的输出结果决定的。
用代码实现：

def cross_entropy_error(y, t):
    delta = 1e-7
    return -np.sum(t * np.log(y + delta))

参数$y$和$t$是NumPy数组。
加上微小值$delta$，防止np.log(0)变为负无限大导致后续计算无法进行。
求所有训练数据的损失函数的总和，可写成下式：
$$E=-\frac{1}{N}\sum _n\sum _k{t}_{nk}{\log }_{}{y}_{nk}$$
通过平均，可以获得和训练数据的数量无关的统一指标。

mini-batch学习

有时候以全部数据为对象计算损失函数是不现实的，因此可以从全部数据中选出一部分，作为全部数据的”近似“。
神经网络的学习也是从训练数据中选出一批数据（称为mini-batch，小批量），然后对每个mini-batch进行学习。

神经网络的学习步骤

步骤1（mini-batch）
从训练数据中随机选出一部分数据，我们的目标是减小mini-batch的损失函数的值；
步骤2（计算梯度）
为了减少mini-batch的损失函数的值，需要求出各个权重参数的梯度；
梯度表示损失函数的值减小最多的方向。
步骤3（更新参数）
将权重参数沿梯度方向进行微小更新。
步骤4（重复）
重复步骤1、步骤2、步骤3。

这种方法叫做随机梯度下降法（stochastic gradient descent），即为对随机选择的数据进行的梯度下降法（随机选择的mini-batch数据）。