Machine-Learning（二）：逻辑回归 Logistic Regression

逻辑回归——模型简介

不同于线性回归，逻辑回归常常用于分类问题，算法的输出值或者说预测值一直介于0和1，因此逻辑回归是一种分类算法（classification y = 0 or 1）。

逻辑回归——算法公式

逻辑回归代价函数：

梯度下降：

逻辑回归——算法目标

给定:

1. 训练集 X ∈R(m*n)
2. 标签 y ∈R(m)
3. 求得使J(θ)最小的 vector θ ∈R(n+1)
   m：训练集样本数
   n：特征数量
   θ：优化参数

逻辑回归——使用简介

逻辑回归通常基于sigmoid函数，主要应用于预测肿瘤，预测点击概率 等相关问题（0-1概率问题）
通常给定：

1. 标签y，训练集X，特征数量为n
2. 对于X，添加基础单元bias，使得Xo = 1 即X = [ones(m, 1) X]; ——为什么？（待解决）
3. 完成costFunction 用于求J(θ) ——costFunction
4. 完成梯度下降算法，求梯度 grad —— costFunction
5. 使用优化算法，如 fminunc ，求得最小化代价值J(θ)，及最优化vector θ。例如：

	options = optimset('GradObj', 'on', 'MaxIter', 400);
	[theta, cost] = ...
		fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);

6. 进行预测

     prob = sigmoid([1 45 85] * theta);