面向机器学习的神经网络

第一周：面向机器学习的神经网络

---

前言

自学Hinton的课程，由于是英语视频，总结的并不详细。

一、机器学习的重要性

机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。机器学习相较于传统程序设计可通过其自动化、快速、精确性和规模的特点为复杂问题提供解决方案。

二、神经元网络

1.什么是神经元网络

人工神经元网络是由大量类似于神经元的结构相互联结，试图完成人脑相同的信息处理功能，属于非线性复杂网络系统。但是其与真正大脑的工作方式还是存在很大差别，他只是简单的模拟真正神经元网络的工作方式，通过数学计算来加强计算机的处理能力。

2.简单的神经元模型

（1）线性神经元

输出y的函数是偏置b加上所有线性输入x乘以权值w的总和。

（2）二进制阈值神经元

简单的，如果得到的z值大于阈值，则输出y为1，否则输出y为0。

（3）ReLu激活神经元
ReLu结合了前两种神经元，首先计算的是输入的线性加权，但输出的是非线性的加权。

（4）Sigmoid神经元
此类神经元为最常用的神经元，它的输出是实数值，对于总输入有光滑和约束作用。
当总的输入为一个很大的值时，输出为1，当总输入为一个很特别小的负值时，输出接近于0。

（4）随机二进制神经元
这个的实数值是尖峰的概率，它做的是一个概率决定，输出的是把概率p转化生成1的概率，而不是一个实数值。线性激活神经元决定了其生成速率，内在随机性决定了它的生成时间。

三.ANN的MNIST学习范例

首先考虑如何进行可视化权值的更新，把权值放在输入和输出单元的连线上看起来好像很自然，但我们这么做永远看不到接下来会发生什么，我们需要一个能看到数以千计权值的价值的陈列方式。因此，我们为每一个输入单元构造一个映射。在这个命令里我们要展示出每个小邻域的输入像素，对应的连接权的强度，每个输入像素之间联系的优点。因为最开始的权值只是一些小的、随机的权值，所以我们要做的是给这些网络展示一些资料，然后让它学习权值，这样会比初始权值更好。
当我们展示一张图像时，我们需要提高图片中指向正确分类的权值，但是如果只做上述处理，权值就会一直上升，导致无论输入什么图片，都会无差别的得到一种结果。所以我们需要做的是缩减那些指向网络自身趋向的分类结果的活跃像素区域对应的权值，需要做的是正确的事而不是有趋势要做的事。当训练了很多例子后可以得到差不多最终权值。

他为每一个形状建立一个小型模板然后根据哪个形状的模板与油墨重叠部分最多来选出胜者。
手写数字中的权值变化太复杂，因此不能被简单的形状的模板匹配，所以需要建立一个可允许的数字变化典型，提取特点后注意特点的排序。

四.机器学习算法的三大类

1.监督学习

监督学习包含两种形式，在回归中，目标输出是一个实数或是实数的完整向量，目标是尽可能地接近正确的实数。在分类中，目标输出是一个类别标签，最简单的例子就是在0和1或正负案例中做出选择。监督学习的运行需要最先选取一个模型类别（只是映像的一种方法），调整数值参数使这个函数映射很好地拟合输入数据。通过对已知数据的不断迭代从而找到最佳参数的过程就是监督学习。

2.强化学习

在强化学习中，输出是一个实际的动作序列，你必须选定足以触发奖赏的动作，在选择每个行为的目标是使预期望的奖赏总和最大化。

3.无监督学习

无监督学习的一个主要目的是获得输入的内部表征，这对于随后的监督学习和增强学习是有帮助的。其他目标是提供输入的压缩的低维表示，像图像这样的高维输入，一般来说在出现手写数字的情况下，分布在低维流形或是低维流形的附近或者许多这样的流形上。另一个目的是依据特征学习为输出，提供经济的表示。再一个目的是找到输入里的聚类，可以将聚类视为一个完全稀疏编码，意思是每一个聚类都有一个特征，我们坚持除了一之外所有的特征都是零，那唯一的特征有一的价值，因此聚类只是稀疏特征的一个极端示例。