深度学习基础07---非线性回归分析逻辑回归Logistic Regression

首先来看一些基本概念

1.概率：

1.1 定义：概率（P）probability：对一件事情发生的可能性的衡量
1.2 范围：0<=P<=1
1.3 计算方法：
1.3.1 根据个人置信
1.3.2 根据历史数据
1.3.3 根据模拟数据
1.4 条件概率：

2. Logistic Regression（逻辑回归）

2.1 例子

如上图所示，假设现在有一些肿瘤数据，单一变量x表示肿瘤大小，另一组变量表示肿瘤是恶性还是良性的，恶性为1，良性为0，收集八个病人肿瘤数据，上图表示上面四个为恶性，下面四个为良性。为了区分这组数据我们以0.5为界限，大于0.5为恶性，小于0.5为良性。看起来我们用线性回归的方式也可以分析这组数据，但是如果再引入一组病人数据呢？

如上图所示，我们引入了第九个病人的数据，肿瘤尺寸很大，应该是恶性的，现在的情况是调整阈值为0.2比较合理，大于0.2为恶性，小于0.2为良性。
但是我们不能随时调整阈值，所以这种情况下单纯使用线性模型是不合理的。

2.2 基本模型

测试数据为X（$x_0,x_1,x_2...x_n$)
要学习的参数为：
建立方程式：

向量表示：

处理二值数据，引入sigmoid函数时曲线平滑化

现在就形成了我们要讨论的logistic regression方程，函数图像如下：

预测函数：

也可以用概率表示：
正例（y=1）：

反例（y=0）：

ok，现在我们可以构造出Cost函数

2.3 Cost函数
首先来回顾一下线性回归：

如上图所示，有一些散落的点，我们用线性回归的方法对它们进行分类，目标函数：

将以上式子最小化，来找到最优分界线，上面函数其实就对应于我们之前的函数：

找到合适的参数使上式最小

Logistic Regression：
Cost函数：

可以把以上两个方程合并为一个Cost方程：

目标：找到合适的参数，使上式最小

用对数是因为对数有很多非常友好的性质，比如对数可以把乘积转化为加减法，对数是单调的，我们对对数最大最小化与对原函数最大最小化是一样的，但是对数的运算会比较简单。

2.4 解法：梯度下降（gradient decent）

这个算法很难，我也没学会，┭┮﹏┭┮，大概就是通过求导数和偏导这些，在第一张图上面找到最低点对应的参数吧，也相当于等高线，对每一个点求导数，通过一定的更新法则不断地找最低点

书面表示法：

通过一定的运算我们得到如下的更新法则：

α：学习率
同时对所有的参数进行更新，重复更新直到收敛