机器学习概述

所谓 “ 深度 ” 是指原始数据进行非线性特征转 换的次数． 如果把一个表示学习系统看作一个有向图结构 ， 深度也可以看作从输 入节点到输出节点所经过的最长路径的长度． 这样我们就需要一种学习方法可以从数据中学习一个“ 深度模型 ”， 这就是 深度学习 （ Deep Learning ， DL ）． 深度学习是机器学习的一个子问题 ， 其主要目的是从数据中自动学习到有效的特征表示。

一、机器学习概述

• 通俗地讲 ， 机器学习 （ Machine Learning ， ML ） 就是 让计算机从数据中进
  行自动学习 ， 得到某种知识 （ 或规律 ） ． 作为一门学科 ， 机器学习通常指一类问题
  以及解决这类问题的方法 ， 即如何从观测数据 （ 样本 ） 中寻找规律 ， 并利用学习
  到的规律 （ 模型 ） 对未知或无法观测的数据进行预测 。

一、基本概念

• 样本、特征（属性）、标签、数据集、训练集（训练样本）、测试集（测试样本）、模型、学习算法、特征向量

先举个例子：

        我们从市场上随机选取一些芒果，列出每个芒果的特征（Feature），包括颜色、大小、形状、产地、品牌；以及我们需要预测的标签（Label）。标签可以是连续值（比如关于芒果的甜度、水分以及成熟度的综合打分），也可以是离散值（比如“好”“坏”两类标签）。

        以将一个标记好特征以及标签的芒果看作一个样本。

        数据集：一组样本构成的集合。一般分为两部分训练集和测试集，训练集用来训练模型，测试集用来检验模型的好坏。

        特征向量（并不是所有特征都是数值型的）：

        机器学习关键：让计算机通过训练集找出从特征向量 和 标签y之间的真实映射关系函数，通过这个函数可以用特征向量来预测其标签值或标签的条件概率。

        比如，通过芒果的特征（颜色、大小）之类的，来预测其甜度。

准确率ACC：

二、机器学习的基本流程

 二、机器学习的三个基本要素

• 模型、学习准则、优化算法
• 学习准则是计算损失函数，通过学习这次训练的模型损失函数，可以继续用来优化模型。
• 优化算法来优化模型中的可学习参数，相当于是一个不断更新参数的过程。

一、模型

输入空间 默认为 样本的特征空间。

假设空间：所有函数（模型）的集合

二、学习准则

损失函数 

• 损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。

1. 0-1损失函数
2. 平方损失函数
3. 交叉熵损失函数（负数似然函数）：
4. Hinge损失函数：
5. 等

风险最小化准则

三、优化算法

• 

比如卷积层的卷积核大小就是超参数。

可学习参数θ的优化算法：

1. 梯度下降法
2. 提前停止
3. 随机梯度下降法
4. 小批量梯度下降法
5. Adam优化器
6. 等

三、机器学习算法的类型

• 监督学习
• 
• 无监督学习
• 强化学习
•