深度学习基础07---非线性回归分析逻辑回归Logistic Regression

首先来看一些基本概念

1.概率:

1.1 定义:概率(P)probability:对一件事情发生的可能性的衡量
1.2 范围:0<=P<=1
1.3 计算方法:
1.3.1 根据个人置信
1.3.2 根据历史数据
1.3.3 根据模拟数据
1.4 条件概率:
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第1张图片

2. Logistic Regression(逻辑回归)

2.1 例子
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第2张图片

如上图所示,假设现在有一些肿瘤数据,单一变量x表示肿瘤大小,另一组变量表示肿瘤是恶性还是良性的,恶性为1,良性为0,收集八个病人肿瘤数据,上图表示上面四个为恶性,下面四个为良性。为了区分这组数据我们以0.5为界限,大于0.5为恶性,小于0.5为良性。看起来我们用线性回归的方式也可以分析这组数据,但是如果再引入一组病人数据呢?
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第3张图片
如上图所示,我们引入了第九个病人的数据,肿瘤尺寸很大,应该是恶性的,现在的情况是调整阈值为0.2比较合理,大于0.2为恶性,小于0.2为良性。
但是我们不能随时调整阈值,所以这种情况下单纯使用线性模型是不合理的。

2.2 基本模型

测试数据为X( x 0 , x 1 , x 2 . . . x n x_0,x_1,x_2...x_n x0,x1,x2...xn)
要学习的参数为:在这里插入图片描述
建立方程式:

向量表示:
在这里插入图片描述
处理二值数据,引入sigmoid函数时曲线平滑化
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第4张图片
现在就形成了我们要讨论的logistic regression方程,函数图像如下:
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第5张图片
预测函数:
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第6张图片
也可以用概率表示:
正例(y=1):
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第7张图片
反例(y=0):
在这里插入图片描述
ok,现在我们可以构造出Cost函数

2.3 Cost函数
首先来回顾一下线性回归:
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第8张图片
如上图所示,有一些散落的点,我们用线性回归的方法对它们进行分类,目标函数:
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第9张图片
将以上式子最小化,来找到最优分界线,上面函数其实就对应于我们之前的函数:
在这里插入图片描述

找到合适的参数使上式最小

Logistic Regression:
Cost函数:
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第10张图片
可以把以上两个方程合并为一个Cost方程:
在这里插入图片描述
目标:找到合适的参数,使上式最小

用对数是因为对数有很多非常友好的性质,比如对数可以把乘积转化为加减法,对数是单调的,我们对对数最大最小化与对原函数最大最小化是一样的,但是对数的运算会比较简单。

2.4 解法:梯度下降(gradient decent)
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第11张图片
这个算法很难,我也没学会,┭┮﹏┭┮,大概就是通过求导数和偏导这些,在第一张图上面找到最低点对应的参数吧,也相当于等高线,对每一个点求导数,通过一定的更新法则不断地找最低点

书面表示法:
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第12张图片
通过一定的运算我们得到如下的更新法则:
深度学习基础07---非线性回归分析逻辑回归Logistic Regression_第13张图片
α:学习率
同时对所有的参数进行更新,重复更新直到收敛

你可能感兴趣的:(深度学习基础,机器学习,python,深度学习,逻辑回归)