人工智能导论知识归纳五

人工智能导论知识归纳五

Neural Networks

1.本章所含词汇归纳整理

Words

翻译

Words

翻译

Linear Classifiers

线性分类器

overfitting

过度拟合

Automatic Differentiation

自动微分

hypothesis

假设

Regularization

正则化

entropy

Information Gain

信息增益

Overfitting

过度拟合

Kernels

核心

Clustering

聚类

Parametric

参数化

Non-Linear

非线性

Supervised

有监督的

gibberish

无用数据

iterative

迭代

non-deterministic

不确定的

2.线性分类器

(1)Inputs are feature values

(2)Each feature has a weight(very positive,可能性接近1,very negative,可能性接近0)

(3)Sum is the activation【启动】(positive,输出+1;negative,输出-1)

3.【考点\综合题】将分数转换为可能性的办法

 

4.常见的激活函数:S型函数,H型函数,R型函数

5.神经网络

  • Theorem:Universal Function Approximators【通用函数逼近器】
  • A two-layer neural network with a sufficient【充足的】 number of neurons can approximate【逼近】 any continuous function【连续函数】 to any desired accuracy【精度要求】
  • 需要注意的是大量的神经可能造成过度拟合,因此需要及早停止
  • 应用:adversary game playing【对抗性游戏】,计算机视觉,自然语言进程,语音识别

6.常见的自动微分软件:Theano, TensorFlow, PyTorch, Chainer

 

7.实现简明性的方法

(1)减少假设空间   (2)正则化

8.【考点\简答题\综合题】计算熵的方法

  1. 熵:期望值需要在最佳最短编码下对s中随机抽取的成员的类(+或-)进行编码
  2. 信息理论:最佳长度编码分配比特给信息的可能性为p
  3. 计算公式:
  4. 说明:S为一系列样本,P+为positive比例,P-为negative比例

综合题目中求解熵的方法

  1. 根据(3)中所给出的公式计算总体熵
  2. 对每个样例中的positive和negative样例进行统计【为了更为直观可以采用简易思维导图形式进行统计】计算其熵
  3. 根据9(2)中信息增益公式计算信息增益率

9.【考点\简答题\综合题】信息增益相关内容

  • 信息增益:划分之前的熵减去划分之后的熵
  • 计算公式:  IG(X)=H(Y)-H(Y|X)
  • 注意:在决策树中在划分之后可能不止有一个熵,选择第一个划分属性是看信息增益最大
  • ID3:最大信息增益,ID3尝试去划分更多的节点在更多的值上
  • C4.5:最大化信息增益率

10. 【考点\简答题】过度拟合

  • 过度拟合的概念:在样本数据中停止建立模式,并且建立不该有的干扰
  • 避免过度拟合的
  • 当数据划分不在统计重要时停止增长
  • 生成完整的树之后进行剪枝
  • 获取最好的树的方法 
  • 测量样本数据表现
  • 在单独的验证数据集上测量性能
  • MDL:最小化
  • 控制过度拟合的方法
  • 对假设空间进行限制
  • 正则化假设选择

 

11. 参数化与非参数化

参数化

非参数化

  1. 固定的一系列参数
  2. 更多的数据意味着更好的设置
  1. 随着数据的增加分类器的复杂性增加
  2. 在极限下更好,在非极限下往往更糟

注意:K-NN是一种无参数化模型!!!

12.非线性分隔符的总体思路:许多最初的特征空间可以被映射更高维度的特征空间,样例是可被分离的

13.分类系统和聚类系统比较

分类系统

聚类系统

  1. 有监督的学习
  2. 进行预测给出证据
  3. 可使用多个方法
  4. 当有标记数据时是有用的
  1. 无监督的学习
  2. 在未标记的数据中检测模式
  3. 当无目的时是有用的
  4. 提供数据但是并不标记
  5. 会得到无用数据

聚类的思想:将相同的源分组在一起

14.【考点/简答题/综合题】K-Means(一种迭代的聚类算法)相关内容

  • 概念:一种算法去进行分类或者将物体根据属性或特征将其分成K组。K是一个positive整数,分组的根据在于最小化数据到聚类质心之间的和。
  • 目的:对数据进行分类
  • 算法思想:随机选取K个点作为聚类的中心,分配数据给最近的中心,当每一个分配点都不再变化时停止
  • 性质:不确定的/最佳的
  • 阻止不确定性的方法:
  • variance-based split / merge【基于方差的拆分/合并】
  • initialization heuristics【初始化启发式】
  • 算法思想:
  • 首先应明确输入的是K以及大小n,输出是最小值E
  • 为每一个聚类选择一个节点作为最初的中心
  • 更具距离分配节点匹配聚类
  • 选择每一个聚类的样本均值作为心的中心
  • 重复前两个步骤直到样本均值在每一个聚类中不再改变
  • 获得最终的K聚类

综合题目中进行K-mean的方法

  1. 根据题目选取聚类中心(如果题目给出了该步骤省略)
  2. 分别计算其它点到聚类中心的距离(欧几里得距离:斜边/曼哈顿距离:直角边/切比雪夫距离:最大值)
  3. 比较距离,离哪个点距离最近就选择归类到哪个点中
  4. 分别计算每一个集合中每一个点到聚类中心距离之和
  5. 选取新的聚类点(求均值)
  6. 分别计算每一个集合中每一个点到聚类中心距离之和

15.【考点/简答题/综合题】Agglomerative Clustering【层次/合并聚类】

  • 思想:首先合并相同实例,递增的建造出更大的聚类
  • 算法:
  • 保持一系列聚类
  • 每个实例在它自己最初的聚类
  • 重复捡起最近的两个进行聚类,将它们合并为一个心得聚类,当只剩下一个聚类时停止
  • 注意:不同得想法会产生不同的聚类行为

综合题目中进行合并聚类的方法

  1. 选取距离最短的两个实例首先进行合并(若剩下的还有单独的实例可以将其合并)
  2. 根据距离对剩下的实例进行聚类

 

你可能感兴趣的:(计算机,人工智能)