图解神经网络发展——TensorFlow学习笔记三

神经网络的发展历史（三起两落）

第一次兴起： 1958 年，人们把两层神经元首尾相接，组成单层神经网络，称做感 知机。感知机成了首个可以学习的人工神经网络。引发了神经网络研究的 第一 次兴起。
第一次寒冬： 1969 年，这个领域的权威学者 Minsky 用数学公式证明了只有单 层神经网络的感知机无法对异或逻辑进行分类，Minsky 还指出要想解决异或可 分问题，需要把单层神经网络扩展到两层或者以上。然而在那个年代计算机的运 算能力，是无法支撑这种运算量的。只有一层计算单元的感知机，暴露出他的天 然缺陷，使得神经网络研究进入了第一个寒冬。
第二次兴起： 1986 年，Hinton 等人提出了反向传播方法，有效解决了两层神经 网络的算力问题。引发了神经网络研究的第二次兴起。
第二次寒冬： 1995 年，支持向量机诞生。支持向量机可以免去神经网络需要调节 参数的不足，还避免了神经网络中局部最优的问题。一举击败神经网络，成为当 时人工智能领域的主流算法，使得神经网络进入了他的第二个冬季。
第三次兴起： 2006 年，深层次神经网络出现，2012 年，卷积神经网络在图像识 别领域中的惊人表现，又引发了神经网络研究的再一次兴起。

机器学习的典型应用

1、应用领域： 计算机视觉、语音识别、自然语言处理
2、主流应用：
（1） 预测（对连续数据进行预测） 如，预测某小区 100 平米的房价卖多少钱。 根据以往数据（红色●），拟合出一条线，让它“穿过”所有的点，并且与各个点 的距离尽可能的小。

我们发现，模型不一定全是直线，也可以是曲线；我们还发现，随着数据的增多， 模型一般会更准确。
（2） 分类（对离散数据进行分类） 如，根据肿瘤患者的年龄和肿瘤大小判断良性、恶性。 红色样本为恶性，蓝色样本为良性，绿色分为哪类？

假如让计算机判断肿瘤是良性还是恶性，先要把历史数据输入到神经网络进行建 模，调节模型的参数，得到一条线把良性肿瘤和恶性肿瘤分开。比如输入患者的 年龄、肿瘤的大小 还有对应的良性肿瘤还是恶性肿瘤，使用神经网络训练模型 调整参数，再输入新的患者年龄和肿瘤大小时，计算机会直接告诉你肿瘤是良性 还是恶性。比如上图的绿色三角就属于良性肿瘤。

小结；

1、机器学习，就是在任务 T 上，随经验 E 的增加，效果 P 随之增加。
2、机器学习的过程是通过大量数据的输入，生成一个模型，再利用这个生成的 模型，实现对结果的预测。
3、庞大的神经网络是基于神经元结构的，是输入乘以权重，再求和，再过非线 性函数的过程。