深度学习、神经网络、机器学习区分【初入科研的释疑】

机器学习(ML)

 机器学习(ML)：企图从大量历史数据中挖掘出其中隐含的规律，并用于预测或者分类，更具体的说，机器学习可以看作是寻找一个函数，输入是样本数据，输出是期望的结果，只是这个函数过于复杂，以至于不太方便形式化表达。需要注意的是，机器学习的目标是使学到的函数很好地适用于“新样本”，而不仅仅是在训练样本上表现很好。学到的函数适用于新样本的能力，称为泛化（Generalization）能力。

 它的发展基本上有3个阶段:

• 80年代，连接主义较为流行，代表性方法有感知机（Perceptron）和神经网络（Neural Network）。
• 90年代，统计学习方法开始占据主流舞台，代表性方法有支持向量机（Support Vector Machine）。
• 进入21世纪，深度神经网络被提出，连接主义卷土从来，随着数据量和计算能力的不断提升，以深度学习（Deep
  Learning）为基础的诸多AI应用逐渐成熟。

 机器学习常见算法：
决策树算法、朴素贝叶斯算法、支持向量机算法、随机森林算法、人工神经网络算法、Boosting与Bagging算法、关联规则算法、EM（期望最大化）算法

神经网络

神经网络：是所谓深度学习的一个基础，也是必备的知识点，他是以人脑中的神经网络作为启发，最著名的算法就是backpropagation算法。

深度学习(DL)

   深度学习(DL)：是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。深度学习从大类上可以归入神经网络，不过在具体实现上有许多变化。深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。深度学习是一个框架，包含多个重要算法，如近几年比较火的卷积神经网络（CNN）。

引用其他博客通俗解释：
  神经网络一般有输入层->隐藏层->输出层，一般来说隐藏层大于2的神经网络就叫做深度神经网络，深度学习就是采用像深度神经网络这种深层架构的一种机器学习方法。
—————————————————————————————————————————————————
关于深层网络和浅层网络有什么优势？——深层网络的表达能力更强，更能省资源。
  神经网络在我看来是拟合一个函数的过程，一个仅有一个隐藏层的神经网络就能拟合一个函数，但是它可能需要很多很多的神经元。而深层网络可以用少得多的神经元去拟合同样的函数。

神经网络与遗传算法

 神经网络是用来处理非线性关系的，输入和输出之间的关系可以确定（存在非线性关系），可以利用神经网络的自我学习（需要训练数据集用明确的输入和输出），训练后权值确定，就可以测试新的输入了。
 遗传算法是用来解决最值问题的，生物进化、优胜略汰。更灵活没有限制，唯一的难处就是编码染色体和评价函数的选择。

 两者的结合可以从两个方面确定：
第一种：辅助结合方式：用GA对数据进行预处理，然后用NN解决问题，例如模式识别用GA进行特征提取，再用nn进行分类。
第二种：合作，GA和NN共同处理问题，在NN固定的网络拓扑下，利用GA确定链接权重，或者直接利用GA优选网络结构再用bp训练网络。

总结：深度学习<神经网络<机器学习