【学习5】深度学习神经网络

up and downs of deep learning

1958：perception（linear model）->1980multi-layer perception->2006RBM initialization->2009GPU

Fully connect Feedforward Network前馈网络

此处的激活函数是sigmoid函数，深度学习的网络可以用数学表达为如下的矩阵算数：

 

 

 

 

 

 建立反向的nn，首先要计算output layer的才能算前面的：

 

 

 

 

 

 因为之前由一次方程y=b+wx做出来的预测在x较小或者较大的时候预测的不是很准确（平均错误31%）；所以这里引入二次方程y=b+w1x+w2x^2，这时候平均错误就下降到18.1%；再引入三次方项，平均错误15%。 再增大的时候会出现过拟合。

 当数据集增大的时候 ，同一个x的情况下，就会出现存在多个y值的情况。为什么会出现这种情况呢？原因是数据集存在不同的种类，我们可以对数据分别进行建立模型，如下。

 

 当我们综合考虑很多种因素的时候，虽然在训练的时候error非常小（1.8%），但是我们的预测达到了100%+，这是很不好的预测。我们可以通过regularization来优化。

 当我们调整入的值的时候，我们可以得到一个在测试结果上表现的好的方程。

 

Classification分类问题

如果使用上面的regression的方法做分类的时候，就会惩罚“太正确”的数据，得到的结果反而不太好。

 有以下的分类例子，我们可以把他分为两类。