神经网络算法开篇——逻辑回归

准备做一系列神经网络算法，适合初学入门，是一种笔记的形式，由浅入深，参考吴恩达老师视频。

1 神经网络算法与大脑神经元的关系

图片来源网络 

说起神经网络算法，你可能都听过，很神秘，甚至会和大脑神经元联系在一起，但我想说的是他们之间不能说没有联系，只能说毫无关联。

当前这都是一些玩笑话，神经网络算法初期受到大脑神经元的启发，但发展到现在没有谁能清楚明白的说明大脑是怎样工作的，所以强说他们之间的关系是毫无根据的，特别是初学者强行要把神经网络算法与大脑神经元联系在一起，除了增加一层神秘感，还有的就是增加学习难度。

如果你想学习神经网络算法，大可不必去了解神经元的任何知识，首要学习的是简单的逻辑回归。

2 逻辑回归

logistic回归又称logistic回归分析，是一种广义的线性回归分析模型。

图1 

 这是一个浅层的2层神经网络，图中每一个圆圈代表一个计算单元，具体如下： 

图2 

[x1 x2 x3]从上一层输入经过加权求和、函数激活输出，公式如下： 

其中激活函数σ常用有sigmoid函数，tanh函数，ReLU函数。

图1中每个计算单位从左到右依次经过图2一遍计算过程为一次前向传播。

3  常用激活函数

常用有sigmoid函数，tanh函数，ReLU函数。

3.1 sigmoid

公式

图形

 求导

3.2 tanh

公式

图形

求导

3.3 ReLU

公式

图形

求导

3.4 ReLU改进

公式

 

图形

导数