机器学习笔记------神经网络

【写在前面】：

1、涉及的概念：

• 输出层具有计算能力，也可称为计算层。
• 把拥有一个计算层的网络称为“单层神经网络”。

2、神经网络

• 训练的目的：就是让权重的值调整到最佳，以使得这个网络的预测效果最好。
• 神经网络学习的过程就是根据训练数据来调整神经元之间的“连接权(connection weight)”以及每个功能神经元的阈值——神经网络“学”到的东西，蕴涵在连接权与阈值中。

3、神经网络的类别

一、神经网络介绍

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。

在机器学习中谈论神经网络时指的是“神经网络学习”，或者说，是机器学习与神经网络这两个学科领域的交叉部分。

二、神经元

2.1、神经元介绍

• 一个神经元具有多个树突，主要作用是接受传入的信息。
• 一个神经元具有各个轴突，末端有多个神经末梢。
• 神经末梢的作用是与其他神经元产生连接并传递信号。
• 细胞核具有“计算”的功能。

1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP。

在这个模型中，神经元接收到来来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数（activation function）”处理以产生神经元的输出。神经元结构的详细讲解可参考：https://www.cnblogs.com/subconscious/p/5058741.html 第二部分：2.结构。

---

1、提出问题：权重和阈值的作用（参考连接：http://www.ruanyifeng.com/blog/2017/07/neural-network.html）

城里正在举办一年一度的游戏动漫展览，小明拿不定主意，周末要不要去参观。
他决定考虑三个因素。

1. 天气：周末是否晴天？
2. 同伴：能否找到人一起去？
3. 价格：门票是否可承受？
   看到这里，你肯定会问：如果某些因素成立，另一些因素不成立，输出是什么？比如，周末是好天气，门票也不贵，但是小明找不到同伴，他还要不要去参观呢？

现实中，各种因素很少具有同等重要性：某些因素是决定性因素，另一些因素是次要因素。因此，可以给这些因素指定权重（weight），代表它们不同的重要性。

天气：权重为8
同伴：权重为4
价格：权重为4

上面的权重表示，天气是决定性因素，同伴和价格都是次要因素。

如果三个因素都为1，它们乘以权重的总和就是 8 + 4 + 4 = 16。如果天气和价格因素为1，同伴因素为0，总和就变为 8 + 0 + 4 = 12。

这时，还需要指定一个阈值（threshold）。如果总和大于阈值，感知器输出1，否则输出0。假定阈值为8，那么 12 > 8，小明决定去参观。阈值的高低代表了意愿的强烈，阈值越低就表示越想去，越高就越不想去。

2、提出问题：什么是激活函数、为什么要使用激活函数。（参考连接：https://www.jianshu.com/p/22d9720dbf1a）

（1）、什么是激活函数

如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。

（2）、为什么要使用激活函数

如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。

如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

---

三、感知机

3.1、介绍

感知机（Perceptron）由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。

• 输入层里的“输入单元”只负责传输数据，不做计算。
• 输出层里的“输出单元”则需要对前面一层的输入进行计算。

3.2、效果

（1） 与神经元模型不同，感知机中的权值是通过训练得到的。因此，根据以前的知识我们知道，感知机类似一个逻辑回归模型，可以做线性分类任务。

我们可以用决策分界来形象的表达分类的效果。决策分界就是在二维的数据平面中划出一条直线，当数据的维度是3维的时候，就是划出一个平面，当数据的维度是n维时，就是划出一个n-1维的超平面。

（2） 感知机不能解决非线性可分问题。

四、多层网络

两层神经网络不仅可以解决异或问题，而且具有非常好的非线性分类效果——简单的两层感知机就能解决异或问题。

输入层与输入层之间的一层神经元，被称为隐层（hidden layer）或隐含层，隐含层和输出层神经元都是拥有激活函数的功能神经元。

参考连接：

【神经网络浅讲：从神经元到深度学习】：https://www.cnblogs.com/subconscious/p/5058741.html
【神经网络入门】：http://www.ruanyifeng.com/blog/2017/07/neural-network.html
【Activation Function】：https://blog.csdn.net/cyh_24/article/details/50593400
【常用激活函数比较】：https://www.jianshu.com/p/22d9720dbf1a