机器学习04

一、神经网络

单个神经元模型

 多个神经元组合起来的神经网络模型

注释：

• ，表示第j层第i个神经元的激活项，激活项是指一个具体的神经元计算并输出的值 
• ，表示从第j层到第j+1层的映射的参数矩阵，一般该矩阵维度为

 前向传播

 

反向传播

 

梯度检测：可以保证前向和后向传播结果正确 

 随机初始化

总结：

1.确实输入x的个数，输出y的个数（例如：几分类问题，y=几），注意y向量用one-hot编码形式

2.确定隐藏层，默认为一层，多层默认神经元个数相同，神经元个数一般与x维度相同或2倍等等

3.神经网络步骤：

        1.初始化随机矩阵

        2.前向传播，对x向量得到h（x），也就是输出值y向量

        3.计算损失函数J（θ）

        4.反向传播计算偏导数项J（θ）对θ求偏导

        5.梯度检测，上步得到的偏导数项与数值方法在J（θ）得到的导数对比

        6.使用梯度下降算法或其他优化算法来减少J（θ）