机器学习算法知识点

决策树。
**决策树是目前数据挖掘和机器学习中最流行的分类算法之一。本教程可以用作数据挖掘的风格和术语的独立介绍，而无需查看许多统计或概率先决条件。如果你是数据挖掘的新手，你会喜欢它，但是你的眉毛将会变得简单！在定义分类工作之后，我们解释信息增益（下一个Andrew教程）如何用于查找预测输入属性。我们展示了递归地应用这个过程如何构建决策树来预测未来事件。然后，我们仔细研究一个如此重要的问题，它是所有统计学和机器学习理论的基础：你如何在适合数据的复杂模型之间进行选择，以及一个简洁但不适合拟合数据的“奥卡姆剃刀”模型（这个主题将在稍后的安德鲁讲座中重新讨论，包括“交叉验证”和“ VC维”）。我们还讨论了基本决策树理念的改进和调整的广泛世界。
信息增益
本教程通过信息理论中的思路进行了介绍，最终导致信息获取成为当前数据挖掘中最常用的关联度指标之一。我们一路访问熵和条件熵的思想。在连续概率密度函数的情况下，请参考关于高斯的讨论关于熵的讲座。
数据挖掘者的可能性
本教程评论概率从地面开始。毫无疑问，在投资数据挖掘，机器学习或应用统计数据的高级算法之前，对于概率完全满意是一种有用的投资。除了为整个剩下的教程重复使用技术设置舞台外，本教程还介绍了密度估计作为一项重要操作的概念，然后介绍了贝叶斯分类器，如过度拟合的联合密度贝叶斯分类器，和过度贴合的朴素贝叶斯分类器。
概率密度函数
回顾以前可能遇到的世界：实值随机变量，概率密度函数，以及如何处理多元（即高维）概率密度。这里可以查看诸如期望，协方差矩阵，独立性，边际分布和条件分布之类的东西。一旦你对这些东西感到满意，你就不会成为一名数据挖掘者，但你将拥有很快成为一名工具的工具。
高斯（Gaussians）
高斯（Gaussians），既有友善的单变量类型，又有微不足道的但很好的多变类型，在统计数据挖掘的许多方面都非常有用，其中包括许多数据挖掘模型，其中基础数据假设是高度非高斯的。你需要成为多元高斯的朋友。
最大似然估计
MLE是学习数据挖掘模型参数的可靠工具。这是一种尝试做两件事的方法。首先，当你想从数据中学习某种模型时，确定你应该做什么计算是一个相当好的原则性方法。其次，它通常在计算上易于处理。无论如何，重要的是为了理解诸如多项式回归，神经网络，混合模型，隐马尔可夫模型等许多事情，如果您对MLE感到满意，它将会非常有帮助。
高斯贝叶斯分类器。
一旦与高斯人成为朋友，可以很容易地将它们用作贝叶斯分类器的子组件。本教程向您展示了如何。
交叉验证
交叉验证是评估您刚刚从一些培训数据中学到的模型将在未来尚未看到的数据上执行情况的几种方法之一。我们将回顾测试集验证，留下一个一个交叉验证（LOOCV）和k-fold交叉验证，并且我们将讨论可以使用这些技术的各种各样的地方。我们还将讨论过度拟合…… CV应该出现的可怕现象。最后，当我们意识到即使使用简历时，你仍然可以任意地粗暴地套装，因此我们的头发会坚持下去。
神经网络
我们首先谈论线性回归……神经网络的祖先。我们看看线性回归如何使用简单的矩阵操作来从数据中学习。当我们明白为什么一个初始假设不可避免地导致尝试最小化总和平方误差的决定时，我们高兴地g g不安。然后我们探索另一种计算线性参数 - 梯度下降的方法。然后我们利用梯度下降法来允许除了回归器之外的分类器，并最终允许高度非线性的模型 - 全部神经网络的所有荣耀。
基于实例的学习（又名基于案例的或基于记忆的或非参数的）
这种形式的数据挖掘在一百多年前仍然被统计学家和机器学习者非常密切地使用。我们探索最近邻居学习，k-最近邻居，核方法和局部加权多项式回归。本教程中的算法的软件和数据可从 http://www.cs.cmu.edu/~~awm/vizier获得。本幻灯片中的示例图是使用相同的软件和数据创建的。
八种回归算法
您必须等待才能找出Andrew的订单，但基于您迄今为止所涉及的所有基础，我们将很快能够贯穿始终：回归树，级联关联，组方法数据处理（GMDH），多元自适应回归样条（MARS），多线性插值，径向基函数，鲁棒回归，级联相关+投影追踪
预测实值输出：回归的介绍
本讲座完全由神经网络讲座开始的材料和“最喜欢的回归算法”讲座中的一部分主题组成。我们讨论线性回归，然后讨论这些话题：变化噪声，非线性回归（非常简单），多项式回归，径向基函数，稳健回归，回归树，多线性插值和MARS。
贝叶斯网络。
本教程首先回顾了概率的基本原理（但要做到这一点，请参阅之前关于数据挖掘概率的Andrew讲座）。然后讨论使用联合分布来表示和推理不确定的知识。在讨论了联合分布作为一个普遍工具的显而易见的缺点（维度诅咒）后，我们访问了涉及独立性和条件独立性的巧妙技巧的世界，使我们能够更简洁地表达我们不确定的知识。然后我们高兴地发现，我们意识到我们已经掌握了大部分我们需要了解和欣赏贝叶斯网络的知识。
贝叶斯网络推理（Scott Davies和Andrew Moore）
这些幻灯片的大部分都是由Scott Davies构思和创建的（scottd @ cs.cmu，edu）。一旦掌握了贝叶斯网络，仍然存在着如何推断它的问题。推论是这样的操作，其中属性的一些子集以已知值给予我们，并且我们必须使用贝叶斯网络来估计一个或多个剩余属性的概率分布。推论的典型用法是“我有101的体温，我是37岁的男性，我的舌头有点滑稽，但我没有头痛。我有什么机会得到腺鼠疫？“。
学习贝叶斯网络
这个简短而简单的教程概述了从数据学习贝叶斯网络的问题以及使用的方法。这是包括安德鲁和他的学生在内的许多研究小组的积极研究领域（详情请参阅Auton Lab网站）。
朴素贝叶斯分类器的简短介绍
我推荐使用概率数据挖掘来更深入地介绍密度估计和贝叶斯分类器的一般用法，其中使用朴素贝叶斯分类器作为特例。但是，如果您只是希望执行摘要底线关于在分类属性上学习和使用朴素贝叶斯分类器，那么这些就是您的幻灯片。
贝叶斯网络简要介绍
这是一篇关于贝叶斯网络背后的直觉和洞察力的非常短的5分钟“执行概述”。阅读完整的Bayes Net教程以获取更多信息。
高斯混合模型。
高斯混合模型（GMM）是聚类中最成熟的最成熟方法之一（尽管它们也用于密度估计）。在本教程中，我们介绍聚类的概念，并且看看如何通过首先选择多元高斯集中的一个，然后从它们采样来生成单个数据点的一种形式的聚类…可以是明确定义的计算操作。然后我们看到如何从数据中学习这样的东西，并且我们发现在以前的任何Andrew教程中都没有使用的优化方法在这里可以起到很大的帮助。这种优化方法称为期望最大化（EM）。我们将花一些时间对EM进行一些高层次的解释和演示，这对于除高斯混合模型以外的许多其他算法都是有价值的（我们将在稍后的关于隐马尔可夫模型的Andrew教程中再次见到EM）。文中提到的wild’n’crazy代数可以找到（手写） 下载教程幻灯片（PDF格式）。
K-means和Hierarchical Clustering
K-means是最着名的聚类算法。在本教程中，我们回顾了聚类试图实现的目标，并且我们展示了k-means方法巧妙地优化一些非常有意义的内容的详细原因。哦，是的，我们会告诉你（并告诉你）k-means算法实际上做了什么。您还将了解另一个着名的聚类器：分层方法（在生命科学领域非常受人喜爱）。像“分层凝聚聚类”和“单联动聚类”这样的词汇将会大行其道。
隐马尔可夫模型。
在本教程中，我们将首先回顾马尔可夫模型（又名马可夫链），然后…我们将它们隐藏起来！这模拟了一个非常普遍的现象……根据简单而不确定的动力学，有一些潜在的动态系统运行，但我们看不到它。我们只能看到底层系统产生的一些噪音信号。从那些嘈杂的观察结果中，我们想要做的事情就像预测最可能的基础系统状态，或者状态的时间历史，或者下一次观察的可能性。这在故障诊断，机器人定位，计算生物学，语音理解和许多其他领域中都有应用。在本教程中，我们将介绍如何愉快地使用关于HMM的最无害的数学，以及如何使用一个温暖的，易于实现的，称为动态编程（DP）的方法可以有效地执行大部分您可能想要执行的HMM计算。这些操作包括状态估计，估计潜在状态的最可能路径，以及从数据中学习HMM的盛大（和EM填充）结局。
VC尺寸
本教程涉及一个着名的机器学习理论。如果您一方面掌握了学习算法，另一方面掌握了数据集，那么您可以在多大程度上决定学习算法是否有过度拟合或欠适合的危险？如果你想对如何过度拟合的迷人问题进行一些正式的分析，那么这是你的教程。除了更好地理解过度拟合现象之外，最终还将提供一种方法，用于估计算法将对未来数据执行的效果如何，这些数据完全基于其训练集错误以及学习算法的属性（VC维） 。因此，VC维为交叉验证提供了一种替代方法，称为结构风险最小化（SRM），用于选择分类器。我们’ 我会讨论这个。我们还将简要比较CV和SRM与另外两种模型选择方法：AIC和BIC。
支持向量机。
我们回顾分类器边缘的概念，以及为什么这可能是衡量分类器合意性的好标准。然后我们考虑寻找最大余量线性分类器的计算问题。在这一点上，我们尴尬地看着我们的脚趾，并注意到我们只做了适用于无噪声数据的工作。但是，我们振作起来，展示如何创建一个抗噪声分类器，然后是一个非线性分类器。然后，我们在显微镜下观察SVMs所着称的两件事 - 计算能力，以便将数据投影到万亿个维度，以及统计能力能够在一见钟情时看起来像经典的过度拟合陷阱。
PAC学习
PAC代表“可能近似正确”，并且涉及一个很好的形式，用于决定需要收集多少数据以便给定的分类器在给定的未来测试分数上达到给定的正确预测概率数据。由此产生的估计有些保守，但仍然代表了一个有趣的途径，计算机科学试图通过这个途径深入了解您通常会在统计部门找到的那种分析问题。
马尔科夫决策过程。
如果你的行为结果不确定，你如何有效计划？有一些非常好的消息，以及一些重大的计算困难。我们首先讨论马尔科夫系统（没有行动）和马尔科夫系统与奖励的概念。然后我们激励并解释无限未来奖励的想法。然后，我们看看两种相互竞争的方法来处理以下计算问题：给予奖励马尔科夫系统，计算预期的长期折扣奖励。这两种方法通常坐在​​环的相对角上，彼此缠绕，是直线代数和动态规划。然后，我们马上进入马尔科夫决策过程，并发现我们’
除了这些幻灯片之外，关于钢筋学习的调查，请参阅本文 或Sutton和Barto的书。
Rohit Kelkar和Vivek Mehta的马尔可夫决策过程和增强学习算法的视觉模拟。
强化学习
在冒险进入强化学习之前，您需要对马可夫决策过程（之前的安德鲁教程）感到满意。它涉及一个令人着迷的问题，即你是否可以训练一名管理人员在一个可能需要吸取一些短期惩罚以获得长期奖励的世界中以最佳方式履行职责。我们将讨论确定性等价RL，时间差分（TD）学习，以及最终的Q学习。维度的诅咒将会不断地在我们的肩膀上学习，流口水和咯咯笑。
除了这些幻灯片之外，关于钢筋学习的调查，请参阅本文 或Sutton和Barto的书。
Rohit Kelkar和Vivek Mehta的马尔可夫决策过程和增强学习算法的视觉模拟。
生物监测：一个例子
我们回顾了其他生物监测幻灯片中描述的方法适用于2000年Walkerton Cryptosporidium爆发的住院数据。这是作为ECADS项目一部分执行的工作。
初等概率和朴素贝叶斯分类器
本幻灯片重复了安德鲁系列教程中主要概率幻灯片的大部分内容，但本幻灯片集中关注疾病监测示例，并包含非专家的非常详细的描述在实践中如何使用贝叶斯规则，关于贝叶斯分类器，以及如何从数据中学习朴素贝叶斯分类器。
空间监测
本教程讨论扫描统计，这是一种着名的流行病学方法，用于发现疾病病例的过度密度。
时间序列方法
本教程回顾了一些基本的单变量时间序列方法，重点在于当一系列观测开始出现奇怪行为时，使用时间序列进行提示。
游戏树搜索算法，包括Alpha-Beta搜索。
计算机游戏的算法介绍。我们描述关于完美信息的双人零和离散有限决定论博弈的假设。我们也练习一口气说这个名词短语。在恢复团队完成他们的工作后，我们讨论用minimax和alpha-beta搜索来解决这些游戏。我们还讨论了动态编程方法，最常用于端游戏。我们还讨论了游戏中启发式评估函数的理论和实践。
零和博弈理论
想知道如何以及为什么在扑克中虚张声势？如何将游戏编译成矩阵形式？关于隐藏信息游戏基础的一般性讨论？然后这些是你的幻灯片。它可以帮助你从阅读游戏树搜索幻灯片开始。
非零和博弈论。
拍卖和电子谈判是一个引人入胜的话题。这些幻灯片带您了解非零和博弈理论背后的大部分基本假设，形式主义和数学背景。它可以帮助您从阅读游戏树搜索幻灯片和 隐藏信息的零和博弈理论开始 可从这套相同的教程中获得。在本教程中，我们介绍了多人非零和游戏的定义，策略的统治，纳什均衡。我们处理离散游戏，以及策略包含实际数字的游戏，例如您在双人双拍卖协商中的出价。我们涵盖了囚徒困境，公地悲剧，双重拍卖以及第一次价格密封拍卖和第二次价格拍卖等多人拍卖。双倍拍卖分析的数学可以在 下载教程幻灯片（PDF格式）中找到。
基于时间序列的异常检测算法简介
这个简单的教程概述了一些检测生物监测时间序列异常的方法。幻灯片不完整：演示文稿中的口头评论尚未被列入解释性文本框。请让我（[email protected]）知道您是否有兴趣了解这些幻灯片的更多细节和/或访问实现和绘制各种单变量方法的软件。如果我收到足够的请求，我会尽量使上述两个可用。
人工智能课程介绍
非常快速的非正式讨论不同类型的人工智能研究动机
搜索算法。
什么是搜索算法？它做什么工作，它在哪里可以应用？我们介绍各种各样的广度优先搜索和深度优先搜索，然后研究替代方案和改进，其中包括迭代深化和双向搜索。然后，我们用一个名为Best First Search的想法看着皱眉。这将是我们的第一个可以利用启发式功能的搜索算法。
A-star启发式搜索。
给定可接受启发式的经典算法，用于查找最短路径。我们将处理可接受性的概念（摘要：可接受=乐观）。我们展示如何证明A 的属性。我们还将简要讨论IDA （迭代深化A *）。
约束满足算法，在计算机视觉和调度中的应用
本教程教授关于约束满足的AI文献中的概念。伴随动画在 http://www.cs.cmu.edu/~~awm/animations/constraint。这是一个不知情的搜索的特例，我们希望找到满足一组约束的一组变量的解决方案配置。示例问题包括图形着色，8皇后，幻方，华尔兹算法解释线条图，多种调度和最重要的是扫雷阶段。我们要看的算法包括回溯搜索，前向检查搜索和约束传播搜索。我们还将查看通用启发式方法以实现更多搜索加速。
机器人运动规划
我们回顾一些巧妙的路径规划算法，一旦我们到达实值连续空间，而不是迄今为止我们一直庇护的安全和温暖的离散空间。我们着眼于配置空间，可见性图，细胞分解，基于voronoi的规划和潜在的字段方法。不幸的是，PDF版本中缺少一些数字。
HillClimbing，模拟退火和遗传算法
一些非常有用的算法，仅在紧急情况下使用。