机器学习100天-5-逻辑回归探究

LR

logistic回归,是一种广义的线性回归分析模型

常用与数据挖掘 疾病自动诊断 经济预测

优点

  • 计算地阿基啊相对较低
  • 思路清晰易于理解和实现

缺点

  • 线性分类器 容易欠拟合
  • 分类精度不高

逻辑回归简介

名为回归 实质为分类
机器学习100天-5-逻辑回归探究_第1张图片
ps:默认为列向量 转置为行向量

过程

在这里插入图片描述
特征向量

线性变换
在这里插入图片描述
Sigmoid
机器学习100天-5-逻辑回归探究_第2张图片
预测结果

逻辑回归模型

在这里插入图片描述
性质

  • 线性分类器 无特殊处理 无法解决非线性问题

建模过程

  • 通过训练数据集 计算出"最合适"的系数向量
  • “最合适” 可以理解为出错的概率最低

应用

  • 分类建模效果的Baseline之一



极大自然估计

Maximum

利用已知结果反推最有可能导致这样结果的参数值
机器学习100天-5-逻辑回归探究_第3张图片

公式推导
机器学习100天-5-逻辑回归探究_第4张图片

例题2.1 设样本服从正态分布,用似然估计参数

机器学习100天-5-逻辑回归探究_第5张图片
求对数 变为对数似然函数
机器学习100天-5-逻辑回归探究_第6张图片
第二步 求解使似然函数最大的参数,也就是结果

机器学习100天-5-逻辑回归探究_第7张图片

用极大似然建立损失函数

机器学习100天-5-逻辑回归探究_第8张图片
机器学习100天-5-逻辑回归探究_第9张图片
机器学习100天-5-逻辑回归探究_第10张图片
机器学习100天-5-逻辑回归探究_第11张图片
机器学习100天-5-逻辑回归探究_第12张图片

梯度的背景知识

梯度
梯度是一个方向向量
表示某一个函数在某个点沿着该方向(梯度的方向)变化最快
机器学习100天-5-逻辑回归探究_第13张图片

举例
机器学习100天-5-逻辑回归探究_第14张图片
数学定义
机器学习100天-5-逻辑回归探究_第15张图片
机器学习100天-5-逻辑回归探究_第16张图片

用梯度上升法最优化参数求解

机器学习100天-5-逻辑回归探究_第17张图片
通用解法
在这里插入图片描述
机器学习100天-5-逻辑回归探究_第18张图片
机器学习100天-5-逻辑回归探究_第19张图片
机器学习100天-5-逻辑回归探究_第20张图片
机器学习100天-5-逻辑回归探究_第21张图片
在这里插入图片描述

逻辑回归的伪代码

逻辑回归的伪代码

机器学习100天-5-逻辑回归探究_第22张图片

最大熵模型的介绍

机器学习100天-5-逻辑回归探究_第23张图片
例题
机器学习100天-5-逻辑回归探究_第24张图片
机器学习100天-5-逻辑回归探究_第25张图片
最大熵模型的定义
机器学习100天-5-逻辑回归探究_第26张图片

你可能感兴趣的:(机器学习实践指南)