二分类问题

记录下，吴恩达老师课程 Classfication的一个笔记，主要是公式的推导。

笔记主要分为以下内容：
1、分类的用途
2、分类的假设函数选取 h(x)
3、分类的决策边界（使得拟合过程更加具体，直观）
4、代价函数 cost function 的表示 J(teta）
5、迭代取最优的参数

一、分类的用途

相比于回归问题，分类问题得到的 是 离散的值（discrete values）,我们主要讨论二分类问题（binaray）。例如垃圾邮件判断，肿瘤的判断等。

二、假设函数（Model）

在分类问题中，假设函数其实是一个复合函数，内函数是一个 线性回归的函数，外面加一个激活函数（g(Z)）

上面的函数称为 sigmoid function或者 loistic function。
上面的sigmoid function 的图像如下图：

从上图可以看出，g(Z)的值在[0,1]之间，其实输出就可以看成 probability ，可以假设一个阈值，如果

大于该阈值则判断为class 1,否则为class 2。

三、决策边界

决策边界的引入，会让分类问题更加的直观理解。

在上面的阐述中，判断分类可以转换为 g(z)输出的 值和某个阈值的关系，又由g(z)的曲线可以的出z的大致取值。比如说，取阈值为0.5，由曲线可知，
当z=0时，g(z)=0.5,
z<0时，g(z)<0.5;
z>0时，g(z)>0.5
而z又可转换为，theta 转置 * X。即一个线性的问题，如果仅为线性的话，就判断 在平面中，该点在直线的上方还是下方的问题，该条直线就为决策边界。（Decision boundry）。
上面的叙述转化为下图：

在MATLAB中实现如下图;

当theta ’ X取得很复杂的时候，决策边界可能也就变得非线性，此时的决策边界也就变得很复杂了：
具体的例子见下图：

四、代价函数 (cost function)

在分类问题中，cost function 的选择为：

、
下面具体表示下公式的由来：

假设概率的公式如下：

上式也可等价表示为：


为了方便计算，对上式进行求对数运算：

五、最优化的方法

得到最终的结果：

上述的更新公式和最小二乘的规则看起来有点像，，但是它们确是不同的算法：

吴老师还介绍了，在MATLAB库函数中，有一个 fminumc()的库函数，可自动求得无约束函数的最优点，需要输入loss和gradient等配置：

六：多分类的问题