损失函数、python实现均方误差、交叉熵误差函数、mini-batch的损失函数

损失函数

    • what is 损失函数
    • 均方误差
    • 交叉熵误差
    • 计算mini-batch学习的损失函数
    • why 损失函数

what is 损失函数

神经网络学习目标是找到各层合适的权重参数w和偏置b,使得最终的输出结果能够与实际结果更加接近。那神经网络的这些权重参数是如何得到的:靠损失函数这个指标来进行一步步训练优化得到。

通过使损失函数最小,来寻找最优权重参数。学习的目的就是以该损失函数为基准,找出能使它的值达到最小的权重参数。

均方误差

损失函数、python实现均方误差、交叉熵误差函数、mini-batch的损失函数_第1张图片

yk是神经网络的输出, tk是监督数据, k是数据的维数。

用python实现均方误差函数:

def mean_squared_error(y, t

你可能感兴趣的:(学习笔记,机器学习,python,batch)