机器学习提高班---优化和实战（week 1）

优化篇

主讲人：廖云坤，微电子，大三，上海交通大学
文档链接：文档下载地址
详细细节：
廖云坤同学向大家介绍了凸优化问题的基本概念，包括凸集，凸函数，凸问题，之后又以支持向量机为例子讲了凸优化与机器学习的紧密联系。
在讲解凸集时，他从实例出发，循序渐进，依次讲解了n维实向量空间，超平面，半空间，多面体，范数球，仿射空间，对称半正定矩阵集。针对每个实例，他依次给出了代数和二维平面上的几何解释，在讲到超平面和范数球时，引起的到场成员的热烈讨论。之后又介绍了凸集的分离超平面定理和支撑超平面定理，并提出了自己对SVM模型构造思想与分离超平面定理关系的一些思考。之后介绍了两类保凸运算：交集与仿射变换，并以如何证明多面体是凸集为例说明了“凸集的交集仍是凸集”。
在讲凸函数时，仍以实例阐述概念的思路介绍了基本的凸函数：仿射函数，示性函数，二次函数，范数。接着介绍了判断一个函数是否为凸函数的一阶，二阶条件，并在二维平面上形象地解释了这两个条件。然后依次介绍了Jensen不等式在二项，n项以及无穷项的形式。
在介绍完凸集和凸函数后，他切入主题，介绍了凸优化问题的基本形式，然后介绍了局部最优解和全局最优解的概念，最后引出了凸优化问题的重要性质：局部最优解一定是全局最优解。随后又以SVM优化问题的转化为例子，介绍了凸优化思想在机器学习问题的运用。

机器学习实战篇

主讲人：邹唯艺，数学，研究生，上海交通大学
文档链接：文档下载地址

邵唯艺同学介绍了机器学习的实例——利用决策树法预测NBA获胜球队。
在开始讲解时，她先介绍了决策树的相关概念：包括决策树的概念、应用、建立方法等。决策树方法是一种基础的机器学习方法，决策树方法使用一个树状图表示出来人们思考、预测、决策的全过程，常用于分类和回归问题。决策树模型利用信息熵和信息增益来选择特征，然后对数据进行划分，再对这个过程进行重复迭代，从而建立一棵决策树。

在讲解实例模型时，她介绍了数据来源，数据初步处理、特征建立，调用函数等几个过程。数据来自NBA官方2013与2014赛季的统计数据，抽取2013赛季排名和2014赛季的对战数据，从而预测2014赛季每场对战的结果。主要抽取主客场球队上一场比赛是否获胜、主客场球队去年排名、上场两队对决结果、两队队名的编码等四个特征进行决策并统计预测准确率。最后，对所调用的函数与参数进行了展示。
讲解的最后一个部分为决策树函数内部代码进行了探讨，展示了决策树从经验熵、信息增益的计算到特征选择、数据划分、决策树构建与存储相关模块的内部代码。一些问题引发了大家的积极讨论，加深了大家对决策树算法的认识与理解。