《数据挖掘与大数据分析》课堂学习笔记-9 第四章 分类器--初识支持向量机 人工神经网络

4.4 支持向量机 SVM

即为support vector machine

1.SVM的优势

• 解决小样本
• 非线性
• 高模式识别

2.SVM特点

• 是建立在统计学习理论的 VC维理论 和 结构风险最小 原理基础上的
• 根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中
• 为了获得最好的推广（泛化）能力

3.线性可分与不可分问题

啥是线性函数呢？

出现一个疑问：

4.支持向量机间隔最大化的思想：

函数间隔：

几何距离：

几何间隔：

几何间隔最大化：

5.线性分类器

6.SVM分类器

输入——特征空间上的训练集~

输出——线性可分超平面（分开样本的线性函数）和决策函数
步骤：

线性可分超平面——

7.拉格朗日对偶算法

带约束的最优化问题——

拉格朗日对偶算法步骤——

7’.对偶问题的求解

第一步：

得到：

继续进行推导：


第二步：

第三步：

8.线性不可分

现实数据：
线性不可分
解决方案：
核函数

9.核函数

常见核函数：高斯核 多项式核 径向集核等

3.人工神经网络

重要的概念

3.1 神经网络的历史

3.2 人工智能三大流派

今天要讲的是 连接派——神经网络 深度学习
模拟人大脑的结构

3.3 神经网络基本概念

它是理论化的人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立起来的一种信息处理系统。

神经元模型

激活函数

阶跃函数

3.4 神经网络结构

神经网络是通过一系列“权重” 将输入数据变成我们所需的输出。

输入层：（Input layer）
众多神经元（Neuron）接受大量非线形输入消息。

隐藏层：（Hidden layer）
简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。

输出层：（Output layer）
消息在神经元链接中传输、分析、权衡，形成输出结果。

隐藏层各个参数

W：权重矩阵
b：偏置量
隐藏层共有16个参数

输出层各个参数

输出层共有10个参数

啊这 这么多参数 咋求啊

直接求线性方程？感觉求不出来啊 有的参数有无穷多个解啊…

例如下面这个例子中的 sigmoid函数 RELU函数的影响

来看看怎么估计

使用代价函数来学习参数w和b

3.5 网络学习

使用代价函数来学习参数w和b

代价函数 & 其中参数简介

梯度下降算法

梯度可以理解成山坡上某一点上升最快的方向，它的反方向就是下降最快的方向。
所以~想要以最快的方式下山，就沿着梯度的反方向走。

梯度下降

随机梯度下降

基本的梯度下降算法遵循的思想——梯度的相反方向指向较低的区域。所以它在梯度的相反方向迭代，对于每个参数theta 做如下操作：

有几个w需要学习 就要迭代几次

链式法则

求e=(a+b)*（b+1）的偏导——

反向传播

很重要的概念！


又是熟悉的w参数

ANN优缺点

那么人工神经网络有什么优缺点呢？
优点

缺点

4.本章小结

本章的几个重要概念

监督与非监督学习，过拟合，泛化能力，结构风险，经验风险

分类算法

• 决策树 KNN（掌握）
• SVM， Naive Bayes， ANN（理解）偏向概念多一些

分类评估

这部分内容主要是理解