机器学习之西瓜书-第3章 线性模型

hello~
跟着小编学完第二章还好吗 ~
反正小编我是已经累得够呛，一天看了两章书，外加1.5遍“致敬大神”的B站视频~
为什么是1.5遍呢？因为第一遍是自学时看的，后面的0.5遍是在写笔记时，跳着看，重新梳理了下思路~
以便检视有没有漏掉的重点哟~

整体评价

感觉hin简单~ 一会不要自己打脸噢~

知识点

3.1- 线性模型linear model的优点

• 形式简单、易于建模
  
  可简写为
  
• comprehensibility：较好的可解释性
• 许多功能强大的nonlinear model非线性模型，是在线性模型上，引入层次结构或高维映射而得

3.2.1- 线性回归

简写

• least square method：最小二乘法，
  1.通过最小二乘法，找到一条线，使所有样本到直线上的Euclidean distance欧氏距离之和最小
  2.也即均方误差/平方损失square loss最小化
  3.误差平方和对wi和b分别求导，一阶导数为0，解出i+1个值
• 一元线性回归和多元线性回归
• 对于多元线性回归，w公式为
  
  最终多元模型为
  
  其中，X非一般的X，而是包含了b的，即
  
• python实现

import numpy as np
#rand:随机样本位于[0, 1)
X = 2 * np.random.rand(100,1)
#randn:随机样本位于[0, 1)标准正态分布
Y = 4 + 3 * X + np.random.randn(100,1)
#add x0 = 1 to each instance,np.c_用于连接两个矩阵
X_b = np.c_[np.ones((100,1)),X]
#矩阵求逆inv,矩阵乘法的dot
theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(Y)
theta_best

3.2.2- log-linear regression：对数线性回归
将线性回归的y衍生为ln(y)，用线性关系拟合出非线性关系


3.2.3- generalized linear model：广义线性模型
更一般地，单调可微函数g(y)

3.3- 对数几率回归/逻辑回归—重点

• 对于分类任务适用，广义线性模型的一种
• 优点：
  1.直接对分类可能性进行建模
  2.无需事先假设数据分布，避免了假设分布不准确所带来的问题
  3.不只是预测出类别，而是得到近似概率预测，对许多需要利用概率辅助决策的任务很有帮助
  4.任意阶可导的凸函数，有很好的数学性质
  5.现有的许多数值优化算法都可直接用于求取最优解
• 需要将实值
  
  转为0/1值，借助logistic function/sigmoid函数
  
  解得
  左边y/(1-y)是几率(odds)，取对数ln(y/(1-y))是对数几率(log odds，也称为logit)

3.4- 线性判别分析-了解

• Linear Discriminant Analysis/LDA/Fisher判别分析
  

3.5- 多分类学习-了解
3.6- 类别不平衡问题

• 当正反例差别很大时，会对学习效果产生影响，如2个正例、998个反例
• 一般情况，
  
• 类别不平衡class-imbalance时，
  
  即通过“再缩放rescaling/再平衡rebalance”调整为
  
• “再缩放”的实际操作方法
  1.欠采样undersampling：去除反例
  2.过采样oversampling：增加正例
  3.阈值移动threshold-moving：将上述y/(1-y)的阈值，从1移动到m+/m-

3.n- 梯度下降法——视频补充

• 思想：先随意给参数赋一个值，让参数在左右范围内移动并重新赋值，直到损失函数(如loss=y-y^)的绝对值足够小
  
• 批量梯度下降Batch Gradient Descent
  多个维度同时求偏导，计算量会大些，也会慢（允许斜着走，但朝哪个方向斜需要花时间算）
  
• 随机梯度下降
  每次随机选择一个维度求偏导，会快些（每次只能选择一个方向移动，不能斜着）
  
• 学习率learning rate的取值
  太小的时候始终拟合不到真实值，太大了也不行
  
  解决方法（一般用方法二）：
  
• 局部最优和全局最优，视频里讲，只要局部最优已足够优，是不是全局最优不那么重要