《统计学习方法（第二版）》李航 读书笔记 （4）第一章习题手写解答 伯努利模型的极大似然估计和贝叶斯估计；通过经验风险最小化推导极大似然估计

《统计学习方法（第二版）》李航 读书笔记 （4）

第一章习题手写解答 伯努利模型的极大似然估计和贝叶斯估计；通过经验风险最小化推导极大似然估计

监督学习方法又可以分为生成方法（generative approach）和判别方法（discriminative approach），所学到的模型也就是生成模型和判别模型

生成方法：由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型

典型的生成模型包括朴素贝叶斯法和隐马尔科夫模型

判别方法由数据直接学习决策函数f（X）或者条件概率分布P(Y|X)作为预测的模型，即判别模型。判别模型包括：k近邻法，感知机，决策树，逻辑斯蒂回归模型，最大熵模型，支持向量机，提升方法，条件随机场。

监督学习的应用方面：分类问题、标注问题、回归问题

分类也包括学习和分类两个过程

学习：根据已知的训练数据集利用有效的学习方法学习一个分类器

分类：利用学习的分类器对心得输入实例进行分类

对于二分类问题常用的评价指标是精确率（precision）和召回率（recall）

以关注的类为正类，其他类为负类，测试集上的测试结果正确或不正确

分为四个情况

• • TP    true positive ：将正类预测为正类数
  • FN   false negative ：将正类预测为负类数
  • FP    false positive ：将负类预测为正类数
  • TN   true negative ：将负类预测为负类数
• 精确率
• 召回率
• F1值   

标注问题

是分类问题的推广，同时是更复杂的结构预测问题的简单形式

输入是一个观测序列，输出是一个标记序列或状态序列。标注常用的统计学习方法有：隐马尔可夫模型，条件随机场。主要应用领域是信息抽取、自然语言处理等。

回归问题

用于预测输入变量（自变量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量值随之发生的变化。

回归学习最常用的损失函数是平方损失函数，这种时候可以用著名的最小二乘法进行求解。应用的领域包括市场趋势预测、产品质量管理、客户满意度调查、投资风险分析等

 

习题1