人工智能导论知识归纳五

人工智能导论知识归纳五

Neural Networks

1.本章所含词汇归纳整理

Words	翻译	Words	翻译
Linear Classifiers	线性分类器	overfitting	过度拟合
Automatic Differentiation	自动微分	hypothesis	假设
Regularization	正则化	entropy	熵
Information Gain	信息增益	Overfitting	过度拟合
Kernels	核心	Clustering	聚类
Parametric	参数化	Non-Linear	非线性
Supervised	有监督的	gibberish	无用数据
iterative	迭代	non-deterministic	不确定的

2.线性分类器

（1）Inputs are feature values

（2）Each feature has a weight（very positive，可能性接近1，very negative，可能性接近0）

（3）Sum is the activation【启动】（positive，输出+1;negative，输出-1）

3.【考点\综合题】将分数转换为可能性的办法

 

4.常见的激活函数：S型函数，H型函数，R型函数

5.神经网络

• Theorem：Universal Function Approximators【通用函数逼近器】
• A two-layer neural network with a sufficient【充足的】 number of neurons can approximate【逼近】 any continuous function【连续函数】 to any desired accuracy【精度要求】
• 需要注意的是大量的神经可能造成过度拟合，因此需要及早停止
• 应用：adversary game playing【对抗性游戏】，计算机视觉，自然语言进程，语音识别

6.常见的自动微分软件：Theano, TensorFlow, PyTorch, Chainer

 

7.实现简明性的方法

（1）减少假设空间   （2）正则化

8.【考点\简答题\综合题】计算熵的方法

1. 熵：期望值需要在最佳最短编码下对s中随机抽取的成员的类（+或-）进行编码
2. 信息理论：最佳长度编码分配比特给信息的可能性为p
3. 计算公式：
4. 说明：S为一系列样本，P+为positive比例，P-为negative比例

综合题目中求解熵的方法

根据（3）中所给出的公式计算总体熵 对每个样例中的positive和negative样例进行统计【为了更为直观可以采用简易思维导图形式进行统计】计算其熵 根据9（2）中信息增益公式计算信息增益率

9.【考点\简答题\综合题】信息增益相关内容

• 信息增益：划分之前的熵减去划分之后的熵
• 计算公式：  IG(X)=H(Y)-H(Y|X)
• 注意：在决策树中在划分之后可能不止有一个熵，选择第一个划分属性是看信息增益最大
• ID3：最大信息增益，ID3尝试去划分更多的节点在更多的值上
• C4.5：最大化信息增益率

10. 【考点\简答题】过度拟合

• 过度拟合的概念：在样本数据中停止建立模式，并且建立不该有的干扰
• 避免过度拟合的
• 当数据划分不在统计重要时停止增长
• 生成完整的树之后进行剪枝
• 获取最好的树的方法 
• 测量样本数据表现
• 在单独的验证数据集上测量性能
• MDL:最小化
• 控制过度拟合的方法
• 对假设空间进行限制
• 正则化假设选择

 

11. 参数化与非参数化

参数化	非参数化
固定的一系列参数 更多的数据意味着更好的设置	随着数据的增加分类器的复杂性增加 在极限下更好，在非极限下往往更糟
注意：K-NN是一种无参数化模型！！！

12.非线性分隔符的总体思路：许多最初的特征空间可以被映射更高维度的特征空间，样例是可被分离的

13.分类系统和聚类系统比较

分类系统	聚类系统
有监督的学习 进行预测给出证据 可使用多个方法 当有标记数据时是有用的	无监督的学习 在未标记的数据中检测模式 当无目的时是有用的 提供数据但是并不标记 会得到无用数据
聚类的思想：将相同的源分组在一起

14.【考点/简答题/综合题】K-Means（一种迭代的聚类算法）相关内容

• 概念：一种算法去进行分类或者将物体根据属性或特征将其分成K组。K是一个positive整数，分组的根据在于最小化数据到聚类质心之间的和。
• 目的：对数据进行分类
• 算法思想：随机选取K个点作为聚类的中心，分配数据给最近的中心，当每一个分配点都不再变化时停止
• 性质：不确定的/最佳的
• 阻止不确定性的方法：
• variance-based split / merge【基于方差的拆分/合并】
• initialization heuristics【初始化启发式】
• 算法思想：
• 首先应明确输入的是K以及大小n，输出是最小值E
• 为每一个聚类选择一个节点作为最初的中心
• 更具距离分配节点匹配聚类
• 选择每一个聚类的样本均值作为心的中心
• 重复前两个步骤直到样本均值在每一个聚类中不再改变
• 获得最终的K聚类

综合题目中进行K-mean的方法

根据题目选取聚类中心（如果题目给出了该步骤省略） 分别计算其它点到聚类中心的距离（欧几里得距离：斜边/曼哈顿距离：直角边/切比雪夫距离：最大值） 比较距离，离哪个点距离最近就选择归类到哪个点中 分别计算每一个集合中每一个点到聚类中心距离之和 选取新的聚类点（求均值） 分别计算每一个集合中每一个点到聚类中心距离之和

15.【考点/简答题/综合题】Agglomerative Clustering【层次/合并聚类】

• 思想：首先合并相同实例，递增的建造出更大的聚类
• 算法：
• 保持一系列聚类
• 每个实例在它自己最初的聚类
• 重复捡起最近的两个进行聚类，将它们合并为一个心得聚类，当只剩下一个聚类时停止
• 注意：不同得想法会产生不同的聚类行为

综合题目中进行合并聚类的方法

选取距离最短的两个实例首先进行合并（若剩下的还有单独的实例可以将其合并） 根据距离对剩下的实例进行聚类