机器学习简介

 机器学习简介主要从以下几个方面介绍深度学习：

目录

1.一个例子说明机器学习  西瓜的好坏评选

2. 什么是机器学习 ？

3. 机器学习有哪些类型   

4. 机器学习组成三要素是什么  

5.如何选择和评估机器学习的模型

6.常见的机器学习方法简介

7.机器学习的应用

8.机器学习和人工智能及深度学习的关系

9.个人总结

---

在开始机器学习之前，有几个问题，什么是机器学习，机器学习有哪些类型，机器学习的组成是什么，如何去评估和选择机器学习的模型，常用的机器学习方法有那些，以及深度学习和机器学习及人工智能之间的关系是什么？

1.一个例子说明机器学习  西瓜的好坏评选

   在日常生活中我们都有买西瓜的经历，我们是如何判断西瓜的好坏的呢？基于日常生活的经验来判断，根据西瓜的根蒂，敲打声，颜色等综合判断，西瓜的好坏，这些经验是基于我们对于日常生活中买西瓜的经历所总结出来的，那么对于机器而言，如何来判断西瓜的好坏呢？这就需要机器学习。机器学习是这样一门学科，致力于研究如何通过计算的手段，利用经验来改变自身的性能。当我们获取到一系列西瓜根底，色泽，敲声的数据，如下图：

                                                                 

那么，如何根据这三个数据特征来判断西瓜的好坏呢？我们用布尔表达式来描述西瓜的好坏：

好瓜<----->(根底=？）^(色泽=？)^(敲声=？)，

那么，我们对于上述表格中的西瓜数据集做一个假设空间：                               

                                                   

基于以上假设空间的判断，我们就可以得出好瓜应该具有什么样的特征，进一步根据好瓜特征来判断新数据集中瓜的好坏。

机器学习方法是计算机利用已有的数据(经验)，得出了某种模型(迟到的规律)，并利用此模型预测未来(是否迟到)的一种方法。

通过上面的分析，可以看出机器学习与人类思考的经验过程是类似的，不过它能考虑更多的情况，执行更加复杂的计算。事实上，机器学习的一个主要目的就是把人类思考归纳经验的过程转化为计算机通过对数据的处理计算得出模型的过程。经过计算机得出的模型能够以近似于人的方式解决很多灵活复杂的问题。

2. 什么是机器学习 ？

    机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。举一个例子，

                                                   

　现在有一套房子，房子的面积是100平方米，价格是100万，120万，还是140万？我希望获得房价与面积的某种规律。那么我该如何获得这个规律？调查了周边与我房型类似的一些房子，获得一组数据。这组数据中包含了大大小小房子的面积与价格，如果我能从这组数据中找出面积与价格的规律，那么我就可以得出房子的价格。对规律的寻找很简单，拟合出一条直线，让它“穿过”所有的点，并且与各个点的距离尽可能的小。

房价 = 面积 * a + b

　　通过这条直线，我获得了一个能够最佳反映房价与面积规律的规律。 

　　上述中的a、b都是直线的参数。获得这些参数以后，我就可以计算出房子的价格。

　　假设a = 0.75,b = 50，则房价 = 100 * 0.75 + 50 = 125万。由于这条直线综合考虑了大部分的情况，因此从“统计”意义上来说，这是一个最合理的预测。

      从上面的分析可以看出，根据房子的价格和面积的数据关系，我们能够预测新的面积下的房子价格。拟合直线的过程，就是机器学习的过程：

     首先，我们需要在计算机中存储历史的数据。接着，我们将这些 数据通过机器学习算法进行处理，这个过程在机器学习中叫做“训练”，处理的结果可以被我们用来对新的数据进行预测，这个结果一般称之为“模型”。对新数据 的预测过程在机器学习中叫做“预测”。“训练”与“预测”是机器学习的两个过程，“模型”则是过程的中间输出结果，“训练”产生“模型”，“模型”指导 “预测”。

                                        

    学习， 是指如果一个系统，能够执行某个过程，来改进它的性能。机器学习是指关于计算机基于数据结构来构建概率模型并用模型来对数据进行预测和分析的一门学科，更加具体的描述就是，假设P来评估计算机程序在某个任务T上的性能，若一个程序通过利用经验E在任务类T中获得了性能改善，那么，我们就可以说关于T和P，程序对E进行了改善。机器学习的主要特点在于以数据为研究对象，通过统计学习方法构建模型。目的在于对模型进行预测和分析，其难点在于学习什么样的模型和如何学习模型，以使得模型能够对数据进行准确的预测和分析。通常而言，统计学习方法有三要素：模型，策略，算法。

实现统计学习方法的步骤如下：

1. 得到一个有限的训练数据集集合
2. 确保包含所有可能的模型的假设空间，即学习模型的集合
3. 确保模型选择的准则，即学习的策略
4. 实现求解最优模型的算法，即学习的算法
5. 通过学习方法选择最优模型
6. 利用最优模型对于新数据进行预测和分析

机器学习的步骤如下图，选择合适的模型，判断函数的好坏，找到合适的函数。

                           

花书中机器学习的基础框架为：

              

机器学习的发展历程：

3. 机器学习有哪些类型   

通常而言，机器学习分为监督学习和非监督学习，监督学习分为回归和分类两类问题，非监督学习分为聚类和降维。

                                 

（1）监督学习

           监督学习是指从标注数据中学习预测模型的机器学习方法，标注数据表示对应输入输出的对应关系，预测模型对于给定的输入产生指定的输出，监督学习的本质在于学习输入到输出的映射的统计规律。常见的监督学习有，感知机模型，K近邻法，朴素贝叶斯法，决策树，逻辑回归，支持向量机，提升方法，EM算法，隐马尔科夫模型，条件随机场。

                                                                          

通常监督学习分为学习和预测两个过程，在学习的过程中，学习系统对于给定的数据集，通过学习得到一个模型，表示为条件概率分布P(Y|X),或者决策函数Y=F(X),条件概率或决策函数表示输入和输出之间的映射关系，在预测的过程中，预测系统对于给定的数据集输入X(N+1)利用模型得到相应的输出Y(N+1).

在学习过程中，学习系统（也就是学习算法）试图通过训练数据集中的样本(xi，yi)带 来的信息学习模型。具体地说，对输入xi，一个具体的模型y＝f(x)可以产生一个输出 f(xi)，而训练数据集中对应的输出是yi，如果这个模型有很好的预测能力，训练样本输出yi 和模型输出f(xi)之间的差就应该足够小。学习系统通过不断的尝试，选取最好的模型，以 便对训练数据集有足够好的预测，同时对未知的测试数据集的预测也有尽可能好的推广。

监督学习的实现过程：

(2)非监督学习

         非监督学习是指从无标注的数据中学习模型的机器学习问题，无标注数据指的是自然得到的数据，预测模型表述数据的类别，转换或概率，无监督学习的本质在于学习数据中的潜在结构或统计规律。常见的非监督学习有聚类方法，奇异值分解，主成分分析，潜在语义分析，概率潜在语义分析，马尔科夫链蒙特卡洛法，潜在迪利克雷分配，PageRank算法。

                                                                                  

 

         在学习过程中，学习系统利用给定的训练数据集，通过学习（或训练）得到一个模 型，表示为条件概率分布 (Y|X)或决策函数Y＝ (X)。条件概率分布 (Y|X)或决策函数Y＝ (X)描述输入与输出随机变量之间的映射关系。 在预测过程中，预测系统对于给定的测试样本集中的输入xN+1，由模型 或yN+1＝ (xN+1)给出相应的输出yN+1,进行聚类或降维，或有模型P(X|Z)对于输入的概率P(Xn+1|Zn+1)进行概率评估。

4. 机器学习组成三要素是什么  

       方法=模型+策略+算法

   （1）模型

       统计学习首先考虑的问题在于学习什么样的模型，在监督学习过程中，模型指的是学习的条件概率分布或分布函数，模型的假设空间包括所有可能的条件概率分布或决策函数，决策函数模型为：

                                                                     

  条件概率模型为：

                                                               

注：   X和Y是定义在输入空间x和输出空间 上的变量，参数向量 取值于n维欧氏空间R n，称为参数空间

（2）策略

    有了模型的假设空间，其次要考虑的是按照什么样的准则来学习或选择最优的模型，统计学习的目标在于从假设空间中选取最优的模型。评价模型的好坏，用损失函数和风险函数来度量，损失函数度量一次预测的好坏，风险函数能够度量在平均意义下模型预测的好坏。

  1>损失函数和风险函数

   监督学习问题是在假设空间中选取模型f作为决策函数，对于给定的输入X，由f(X) 给出相应的输出Y，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损失函数或代价函数来度量预测错误的程度。损失函数是 f(X)和Y的非负实值函数，记作L(Y,f(X))。损失函数值越小，模型就越好。

                                                              

由于模型的输入、输出（X,Y）是随机变量，遵循联 合分布P(X,Y)，所以损失函数的期望是

                                              

期望风险Rexp(f)是模型关于联合分布的期望损失，经验风险Remp(f)是模型关于训练样 本集的平均损失。

                                                    

学习的目标就是选择期望风险最小的模型。

2>经验风险最小化和结构风险最小化

   经验风险最小化（empirical risk minimization，ERM）的策略认为，经验风险最 小的模型是最优的模型。

                                                           

当样本容量足够大时，经验风险最小化能保证有很好的学习效果，在现实中被广泛采用。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。

当样本容量很小时，经验风险最小化学习的效果就未必很好，会产生过拟合现象。 结构风险最小化（SRM）是为了防止过拟合而提出来的 策略。结构风险最小化等价于正则化（regularization）。结构风险在经验风险上加上表示 模型复杂度的正则化项（regularizer）或罚项（penalty term）。在假设空间、损失函数以 及训练数据集确定的情况下，结构风险的定义是

                                                                     

结构风险小需要经验风险与模型复杂度同时小。结构风险小的模型往往对训练数据以及未知的测试数据都有较好的预测。

                                                             

(3)算法

      算法是指学习模型的具体计算方法。统计学习基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后需要考虑用什么样的计算方法求解最优模型。

5.如何选择和评估机器学习的模型

                                                                    

 

（1）模型评估

统计学习的目的是使学到的模型对已知数据和未知数据都能有很好的预测能 力。不同的学习方法会给出不同的模型。当损失函数给定时，基于损失函数的模型的训练误差（training error）和模型的测试误差（test error）就自然成为学习方法评估的标准。   

                                                          

        训练误差的大小，对判断给定的问题是不是一个容易学习的问题是有意义的，测试误差反映了学习方法对未知的测试数据集的预测能力，通常将学习方法对未知数据的预测能力称为泛化能力。

所选择的模型要与真模型的参数个数相同，所选择的模型的参数向量与真模型的参数向量相近。欠拟合是由于学习能力不足造成的，过拟合是指学习时选择的模型所包含的参数过 多，以致于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象。可以 说模型选择旨在避免过拟合并提高模型的预测能力。

 过拟合欠拟合和拟合的比较：

                                                        

               

               

                

M次多项式的过拟合比较

                                                              

                                                           

下图描述了训练误差和测试误差与模型的复杂度之间的关系。当模型的复杂度增大 时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。

                                                                           

因此，当数据复杂度比较高时，会出现过拟合的情况，在选择默写模型时要注意防止过拟合，选择复杂度适当的模型，以达到使测试误差最小的学习目的。

（2）模型选择

      两种常用的模型选择方法：正则化与交叉验证。

（1）正则化

     正则化是结构风险最小化策略的实 现，是在经验风险上加一个正则化项（regularizer）或罚项(penalty term)。正则化项一般 是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。

                                                      

（2）交叉验证

       如果给定的样本数据充足，进行模型选择的一种简单方法是随机地将数据集切分成三 部分，分别为训练集（training set）、验证集（validation set）和测试集（test set）。训练 集用来训练模型，验证集用于模型的选择，而测试集用于最终对学习方法的评估。

交叉验证的基本想法是重复地使用数据；把给定的数据进行切分，将切分的数据集组 合为训练集与测试集，在此基础上反复地进行训练、测试以及模型选择。

1. 简单交叉验证 简单交叉验证方法是：首先随机地将已给数据分为两部分，一部分作为训练集，另一 部分作为测试集（例如，70%的数据为训练集，30%的数据为测试集）；然后用训练集在 各种条件下（例如，不同的参数个数）训练模型，从而得到不同的模型；在测试集上评价 各个模型的测试误差，选出测试误差最小的模型。
2. S折交叉验证应用最多的是S折交叉验证（S-fold cross validation），方法如下：首先随机地将已给 数据切分为S个互不相交的大小相同的子集；然后利用S-1个子集的数据训练模型，利用余 下的子集测试模型；将这一过程对可能的S种选择重复进行；最后选出S次评测中平均测 试误差最小的模型。
3. 留一交叉验证 S折交叉验证的特殊情形是S＝N，称为留一交叉验证（leave-one-out cross validation），往往在数据缺乏的情况下使用。这里，N是给定数据集的容量。

                         

（3）性能度量

性能度量是指衡量模型泛化能力的评价标准，其反映了对应不同的任务需求，在对比不同模型的能力时，使用不同的性能度量往往会有不同的结果。即什么样的任务是好的，取决于算法和数据，还取决于任务需求。

                                                         

在分类任务中常见的性能度量有：错误率和精度，查准率，查全率和F1，ROC和AUC,代价敏感错误率和代价曲线，

                           

 

                              

（4）泛化能力

         学习方法的泛化能力（generalization ability）是指由该方法学习到的模型对未知数据 的预测能力，通过比较两种学习方法的泛化误差 上界的大小来比较它们的优劣。泛化误差上界通常具有以下性质：它是样本容量的函数， 当样本容量增加时，泛化上界趋于0；它是假设空间容量（capacity）的函数，假设空间容 量越大，模型就越难学，泛化误差上界就越大。

如果学到的模型是 ，那么用这个模型对未知数据预测的 误差即为泛化误差（generalization error）

泛化误差反映了学习方法的泛化能力，如果一种方法学习的模型比另一种方法学习的模型 具有更小的泛化误差，那么这种方法就更有效。事实上，泛化误差就是所学习到的模型的 期望风险。

（5）生成模型和判别模型

监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。 这个模型的一般形式为决策函数： Y＝f(X) 或者条件概率分布： P(Y|X) 监督学习方法又可以分为生成方法和判别方法。所学到的模型分别称为生成模型和判别模型 。典型的生成模型有：朴素贝叶斯法和隐马尔可夫模型，

                                                      

判别方法由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测的模型，即 判别模型。判别方法关心的是对给定的输入X，应该预测什么样的输出Y。型包括：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提 升方法和条件随机场等。

6.常见的机器学习方法简介

常见的机器学习的方法有：感知机模型，K近邻法，朴素贝叶斯法，决策树，逻辑回归，支持向量机，提升方法，EM算法，隐马尔科夫模型，条件随机场。聚类方法，奇异值分解，主成分分析，潜在语义分析，概率潜在语义分析，马尔科夫链蒙特卡洛法，潜在迪利克雷分配，PageRank算法等。

下面详细介绍机器学习中常见的算法机器思想，回归算法，神经网络，SVM。

1>回归算法

在大部分机器学习课程中，首先介绍回归算法，原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石， 回归算法有两个重要的子类：即线性回归和逻辑回归。

线性回归就是我们前面说过的房价求解问题。如何拟合出一条直线最佳匹配我所有的数据？一般使用“最小二乘法”来求解。“最小二乘法”的思想是这样的。对函数f(x)=ax+b，通过代入已有数据(x,y)，找到最合适的参数a和b，使函数最能表达已有数据输入和输出之间的映射关系，从而预测未来输入对应的输出。

                                                  

线性回归处理的是数值问题，也就是最后预测出的结果是数字，例如房价。而逻辑回归属于分类算法，也就是说，逻辑回归预测结果是离散的分类，例如判断这封邮件是否是垃圾邮件，以及用户是否会点击此广告等等。逻辑回归模型其实只是在上述的线性回归的基础上，套用了一个逻辑函数，将线性回归的输出通过逻辑函数转化成0到1之间的数值，便于表示属于某一类的概率。

                                                                 

实现方面的话，逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数，将数值结果转化为了0到1之间的概率，接着我们根据这个概率可以做预测，例如概率大于0.5，则这封邮件就是垃圾邮件，或者肿瘤是否是恶性的等等。从直观上来说，逻辑回归是画出了一条分类线，见下图：

                                                                             

假设我们有一组肿瘤患者的数据，这些患者的肿瘤中有些是良性的(图中的蓝色点)，有些是恶性的(图中的红色点)。这里肿瘤的红蓝色可以被称作数据的“标签”。同时每个数据包括两个“特征”：患者的年龄与肿瘤的大小。

                                

当我有一个绿色的点时，我该判断这个肿瘤是恶性的还是良性的呢？根据红蓝点我们训练出了一个逻辑回归模型，也就是图中的分类线。这时，根据绿点出现在分类线的左侧，因此我们判断它的标签应该是红色，也就是说属于恶性肿瘤。

逻辑回归算法划出的分类线基本都是线性的(也有划出非线性分类线的逻辑回归，不过那样的模型在处理数据量较大的时候效率会很低)，这意味着当两类之间的界线不是线性时，逻辑回归的表达能力就不足。

2>神经网络

神经网络的学习机理是什么？简单来说，就是分解与整合。一个简单的神经网络的逻辑架构分成输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层中的一个圆代表一个处理单元，可以认为是模拟了一个神经元，若干个处理单元组成了一个层，若干个层再组成了一个网络，也就是"神经网络"。

                                                               

　　在神经网络中，每个处理单元事实上就是一个逻辑回归模型，逻辑回归模型接收上层的输入，把模型的预测结果作为输出传输到下一个层次。通过这样的过程，神经网络可以完成非常复杂的非线性分类。

常见的神经网络有循环神经网络和卷积神经网络。

卷积神经网络：全连接的神经网络由于中间隐含层多，导致参数数量膨胀，并且全连接方式没有利用到局部模式（例如图片里面临近的像素是有关联的，可构成像眼睛这样更抽象的特征），所以出现了卷积神经网络。卷积神经网络限制了参数个数并且挖掘了局部结构这个特点，特别适用于图像识别。

                                              

循环神经网络：循环神经网络可以看成一个在时间上传递的神经网络，它的深度是时间的长度，神经元的输出可以作用于下一个样本的处理。普通的全连接神经网络和卷积神经网络对样本的处理是独立的，而循环神经网络则可以应对需要学习有时间顺序的样本的任务，比如像自然语言处理和语言识别等。

                                               

下图会演示神经网络在图像识别领域的一个著名应用，这个程序叫做LeNet，是一个基于多个隐层构建的神经网络。通过LeNet可以识别多种手写数字，并且达到很高的识别精度与拥有较好的鲁棒性。

                                                                                                                                   

    右下方的方形中显示的是输入计算机的图像，方形上方的红色字样“answer”后面显示的是计算机的输出。左边的三条竖直的图像列显示的是神经网络中三个隐藏层的输出，可以看出，随着层次的不断深入，越深的层次处理的细节越低，例如层3基本处理的都已经是线的细节了。

3>SVM(支持向量机)

　支持向量机算法从某种意义上来说是逻辑回归算法的强化：通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类界线。通过跟高斯“核”的结合，支持向量机可以表达出非常复杂的分类界线，从而达成很好的的分类效果。“核”事实上就是一种特殊的函数，最典型的特征就是可以将低维的空间映射到高维的空间。

例如下图所示：

                                                                                                                                                    

我们如何在二维平面划分出一个圆形的分类界线？在二维平面可能会很困难，但是通过“核”可以将二维空间映射到三维空间，然后使用一个线性平面就可以达成类似效果。也就是说，二维平面划分出的非线性分类界线可以等价于三维平面的线性分类界线。于是，我们可以通过在三维空间中进行简单的线性划分就可以达到在二维平面中的非线性划分效果。

                                                                                   

7.机器学习的应用

机器学习的应用包括模式识别，计算机视觉，数据挖掘，语音识别，语音识别，自然语言处理等方面。

监督学习的应用·主要分类问题，回归问题，和标注问题。

（1）分类问题

在监督学习中，当输出变量Y取有限个离散值时， 预测问题便成为分类问题。这时，输入变量X可以是离散的，也可以是连续的。监督学习 从数据中学习一个分类模型或分类决策函数，称为分类器（classifier）。分类器对新的输 入进行输出的预测（prediction），称为分类（classification）。可能的输出称为类。

分类问题包括学习和分类两个过程。在学习过程中，根据已知的训练数据集利用有效 的学习方法学习一个分类器；在分类过程中，利用学习的分类器对新的输入实例进行分 类。学习系统由 训练数据学习一个分类器P(Y|X)或Y＝f(X)；分类系统通过学到的分类器P(Y|X)或Y=f(X) 对于新的输入实例xN+1进行分类，即预测其输出的类标记yN+1。

                                                      

分类问题的评价指标为分类准确率。

                                                     

（2）标注问题

标注问题的输入 是一个观测序列，输出是一个标记序列或状态序列。标注问题的目标在于学习一个模型， 使它能够对观测序列给出标记序列作为预测。

                                                        

标注问题的具体模型：

                                           

（3）回归问题

    回归用于预测输入变量（自变 量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量的 值随之发生的变化。回归模型正是表示从输入变量到输出变量之间映射的函数。回归问题 的学习等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。

                            

                                         

 

8.机器学习和人工智能及深度学习的关系

　人工智能是机器学习的父类。深度学习则是机器学习的子类。

                                                          

深度学习，机器学习，知识库等不同的 AI 学科之间的关系

                     

编程设计，机器学习，深度学习的比较：

                                                                   

 

9.个人总结

  机器学习是我们通过一系列的数据得到数据模型，然后对模型训练优化，最后使得模型能够对新数据预测的过程，机器学习有很多的分类，通常将其分为监督学习和非监督学习，监督学习包括回归和分类，非监督学习包括聚类和降维。机器学习三要素为模型，策略和算法，选择机器学习的方法通常以正则化和交叉验证两种方法，对于所选模型的评估方法有训练误差，测试误差·和拟合程度等，机器学习常用的方法有回归算法，支持向量机，神经网络等，机器学习的应用有很多，比如说语音识别，图像处理，数据挖掘等方面，而监督学习的应用为标注，分类，回归，机器学习的父类为AL(人工智能),其子类为深度学习。

参考资料：
   西瓜书  第一章，第二章
   统计学习方法  第一章
   深度学习 第五章
    从机器学习谈起[https://www.cnblogs.com/subconscious/p/4107357.html] 
    机器学习算法介绍[https://www.cnblogs.com/sdlypyzq/p/machine_learning_introduct.html]()