基于随机梯度下降法的手写数字识别、epoch是什么、python实现

基于随机梯度下降法的手写数字识别、epoch是什么、python实现

    • 一、普通的随机梯度下降法的手写数字识别
      • 1.1 学习流程
      • 1.2 二层神经网络类
      • 1.3 使用MNIST数据集进行学习
      • 注:关于什么是epoch
    • 二、基于误差反向传播算法求梯度的手写数字识别
      • 2.1 学习流程
      • 2.2 实现与结果分析

一、普通的随机梯度下降法的手写数字识别

1.1 学习流程

1.从训练数据中随机选择一部分数据

2.计算损失函数关于各个权重参数的梯度

这里面用数值微分方法求梯度

3.将权重参数沿梯度方向进行微小的更新

4.重复前三个步骤

1.2 二层神经网络类

params:保存神经网络参数的字典型变量

grads:保存梯度的字典型变量

def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01):

input_size:输入层神经元个数

h

你可能感兴趣的:(学习笔记,机器学习,epoch,手写数字识别)