【机器学习笔记】3 逻辑回归

分类问题

分类问题监督学习最主要的类型，主要特征是标签离散，逻辑回归是解决分类问题的常见算法，输入变量可以是离散的也可以是连续的

二分类

先从用蓝色圆形数据定义为类型1，其余数据为类型2；只需要分类1次，步骤：①->②

多分类问题

先定义其中一类为类型1（正类），其余数据为负类（rest）；接下来去掉类型1数据，剩余部分再次进行二分类，分成类型2和负类；如果有类，那就需要分类-1次,步骤：①->②->③->……

Sigmoid函数

Sigmoid函数是二分类问题最常见的激活函数

线性回归的函数 ℎ() = = ^T，范围是(−∞, +∞)。
而分类预测结果需要得到[0,1]的概率值。
在二分类模型中，事件的几率odds：事件发生与事件不发生的概率之比为 /(1−)
称为事件的发生比（the odds of experiencing an event）
其中为随机事件发生的概率，的范围为[0,1]。

逻辑回归求解

为了衡量算法在全部训练样本上的表现如何，需要定义一个算法的代价函数，算法的代价函数是对个样本的损失函数求和然后除以:





通常用L2正则化

逻辑回归的代码实现