【机器学习】【期末复习】有关机器学习的计算题可供期末复习参考（带本人手写解答与思考）
本文为学校课程《机器学习》的期末复习材料，主要是关于一些机器学习模型的计算题的解答过程。
题目
- 构造平衡 KD 树
- ID3 与 C4.5 算法构建决策树模型
- 朴素贝叶斯
- SVM求最大间隔分离超平面和分类决策函数
- EM算法
- K-means聚类
- adaboost计算
- 概率图模型
- 反向传播
构造平衡 KD 树
给定一个二维空间的数据集: T={(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)}，请构造一个平衡 KD 树。
拓展：
k近邻-如何构造平衡kd树？
构建KD树
ID3 与 C4.5 算法构建决策树模型
利用 ID3 与 C4.5 算法构建决策树模型，要求写出计算过程并画出并决策树。
关于决策树的构建这方面的文章很多可以找一个看就行
朴素贝叶斯
根据下表中的训练数据学习一个朴素贝叶斯分类器并确定x=(2,S)的类标记 y。表中X((1))，X((2))为特征，取值的集合分别为 A={1, 2, 3}，A2{S, M, L}, Y 为类标记,Y={1,‐1}。
拓展
拓展1
拓展2
SVM求最大间隔分离超平面和分类决策函数
已知正样本 x1=(1,2), x2=(2,3), x3=(3,3)，负样本 x4=(2,1), x5 =(3,2)。试求最大间隔分离超平面和分类决策函数，并在图上画出分离超平面、间隔边界及支持向量。
建议看统计学习方法课本上面的SVM求解步骤
拓展
统计学习方法第七章答案
支持向量机（SVM）前戏-手动求解超平面方程
SVM求硬间隔最大超平面
EM算法
假设现在有两枚硬币 1 和硬币 2，随机抛掷后正面朝上概率分别为 P1，P2. 为了估计这两个概率，做实验，每轮取一枚硬币，连掷 5 下，共计掷五轮，记录下结果，如下表中所示。请应用 EM 算法估算出 P1 与 P2
拓展
实例理解EM算法
K-means聚类
假设数据集含有 9 个数据对象（用 2 维空间的点表示）：A1(3,1), A2(3,9), A3(8,6), B1(2,5), B2(2,4), B3(3,6), C1(2,6), C2(2,6), C3(2,2) 采用 k‐Means 方法进行聚类，距离函数采用曼哈顿距离，取k=3，假设三个簇的初始分别为 A1, B1,和 C1，求第一次循环结束时的三个簇的质心，要求写出计算过程。
拓展
K-means聚类的实现以及案例讲解
adaboost计算
假设使用如下样本训练adaboost分类器，请计算第二轮迭代后样本的权重。
拓展
Adaboost 算法实例解析
AdaBoost例题
概率图模型
给定如下有向概率图模型，请写出p(x)的条件概率连乘形式
反向传播
以下图所示的单层神经网络为例，假设激活函数使用Sigmoid函数，损失函数采用交叉熵，请推导连接权重参数w与偏置b的偏导数。
