《机器学习》 周志华学习笔记第三章 线性模型（课后习题）python 实现

线性模型

一、内容

1.基本形式

2.线性回归：均方误差是回归任务中最常用的性能度量

3.对数几率回归：对数几率函数（logistic function）对率函数是任意阶可导的凸函数，这是非常重要的性质。

4.线性判别分析（LDA 是一种降维的方法）

5.多分类学习：

5.1基于一些基本策略，利用二分类学习器来解决多分类问题，拆分策略：一对一（OvO）一对其余（OvR）多对多(MvM):MvM的一种常用技术，纠错输出码（Error Correcting Output Codes,ECOC）

6.类别不平衡问题：1.欠采样2.过采样3.阈值移动

二、习题

1.试分析在什么情况下，在以下式子中不比考虑偏置项b。

在线性回归中，所有参数的确定都是为了让残差项的均值为0且残差项的平方和最小。在所有其他参数项确定后，偏置项b（或者说是常数项）的变化体现出来的就是拟合曲线的上下整体浮动，可以看做是其他各个解释变量留下的bias的线性修正。因此在线性拟合过程中是需要考虑偏置项的。

但是参考其他人答案，可以对训练集每个yangben都减去第一个yangben，然后对新的yangben做线性回归，这样就消除了b,只需要用模型y=wt。

2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。

3.https://github.com/makang101/MachineLearning/tree/master/chapter3linearmodel

4.未完成

5.https://github.com/makang101/MachineLearning/tree/master/chapter3linearmodel

6.在当前的维度如果不可分，选择选择适当的映射方法，使其在更高维度上线性可分。

参考https://blog.csdn.net/icefire_tyh/article/details/52069025

http://www.cnblogs.com/zhusleep/p/5621932.html

转载于:https://my.oschina.net/u/3870452/blog/1829519