序言（preface)
机器学习(machine learning)一直是我想了解的学科，尤其是在之前做的一个人脸识别的项目后见识到了AI的魅力。前段时间有个诺贝尔经济学奖很鄙视AI说，“人工智能不过是很老套的统计学方法“，作为一个入门者，我当然不敢置喙诺奖得主的观点，但我觉得一个学科的发展总是站在之前学科发展的基础上的。即使现在这个领域很火，但是，上个世纪八九十年代，吴恩达，LeCun等大神还面临着拉不到funding这种尴尬的局面，也正是他们的坚守，带来了21世纪人工智能的爆发。这些文章也都是学习吴恩达在Cousera 上的经典的机器学习入门课程的学习笔记，希望有一天我能亲眼见到吴恩达。最后，我是第一次用markdown语法写文章，所以排版之类的可能会有点乱，我会慢慢改的。
基础知识
机器学习主要分为监督学习(Supervised Learning)和无监督学习(Unsupervised Learning)，现在好像还有半监督学习，对于新手来说，应该也接触不到。监督学习与无监督学习主要区别为训练集是否有标记(Labelled)，比如给定一组房价与面积的训练数据，最后要求给定面积预测房价，则为一种监督学习；无监督学习的经典例子为鸡尾酒问题(Cocktail Party Problem)，在一个人声与背景声混杂的数据集中自动区分出人的声音和背景的声音，由于给定的数据集没有标记那一些属于人的声音，这是一个无监督学习。
机器学习中监督学习解决的问题主要分为回归问题和分类问题。我的理解是回归问题针对的是连续的变量(continuous variable) 的预测是回归问题，比如房价。这里的连续变量不是数学上严格的连续变量，比如说房价，实际上的价格可能无法连续。而分类问题针对的是离散变量，比如说肿瘤是良性还是恶性这种二分类或者多分类问题。无监督学习主要解决的是聚类，概率估计的问题。
李航博士总结的统计学习方法有这样的描述
方法 = 模型 + 策略 + 算法
我之后的不同算法也都从这三部分着手拆解。
线性回归(Linear Regression)
单变量线性回归(uni-variate linear regression)
模型
单变量线性回归的模型我的理解和高中学的最小二乘法很像，两个变量，一个输入变量(feature),一个目标变量(target variable)。找到一条线来拟合他们，以便预测新的输入变量。数学语言如下，其中hθ在机器学习中被称为假设函数(hypothesis)
策略
策略最常用的是代价函数(Cost Function)来衡量假设和真值的差异，主要包括平方损失函数，绝对值损失函数和对数似然损失函数等。线性回归一般采用的是平方损失函数，括号内的两项衡量的是预测函数与真实值的差异。我们的目的就是让代价函数取到局部最小值点，也即预测值与真实值差异最小。现在我们的目标是要求得待定系数θ0,θ1,直观的方法就是分别求偏导数令其等于零就可以了。
算法
算法也就是用来告诉计算机如何计算模型中的未知系数的方法，常用的包括梯度下降法和正规方程法，高阶方法还包括BFGS, L-BFGS等方法。这里主要介绍入门的梯度下降法和正规方程法
-
梯度下降法
梯度下降法有点像成谷老师课上讲的方程求根方法中的牛顿下山法，通过不断迭代θ来逼近θ的值，α被称为学习效率。一个正确的α的值应该保证在可接受的次数内收敛到局部最优解。α过小收敛速度过慢，α过大可能会导致发散而得不到解。选取适当的α主要靠经验。我之前在成谷老师课上写牛顿下山法时就是靠猜。Andrea 给的方法是每次扩大三倍，从0.01，0.03，0.1这样的去找，也是经验的总结。我们可以看到梯度下降法得到正确结果是损失函数是一个凸函数(Convex Function)，这里由于中英的翻译问题，我也没搞明白凹凸和英语单词的对应关系。在实际的代码中，关键的一部是要保证所有θ同步更新，这也是在成谷老师课上我经常犯的错误。不能要更新后的θ0去计算θ1，不然更新的就不是沿着梯度最大的方向了。
梯度下降法迭代方程
正确的打开方式
α太大了 -
正规方程（Normal Equation)
这个方法核心就是损失函数求偏导然后令其等于0，然后通过线性代数的方法求解。我没有学过对矩阵求导，所以对这个方法只是一知半解，只要记住最后的结论就行。
关于他的推导，可以看这个博客有很详细的推导。
正规方程
其他
-
特征放缩(feature scaling)
有些时候由于量纲的原因，不同特征的取值范围的区别可能特别大。比如预测房价的两个特征：建筑面积和房产年龄数值上可能会差很远，造成的结果就是梯度下降法会收敛的很慢。Andrea用contour plot 表示为椭圆非常的瘦高。所以需要对特征做特征缩放。特征缩放的方式有很多，包括标准化，调节比例等方法。最常用的方法一般是标准化。特征缩放的结果一般保证在零附近左右就可以。Andrea 给的范围是[-3,3]都是可以接受的范围。
标准化 多变量线性回归与多项式回归
原理相似，其实都是稍微改了一下假设函数的形式而已。只是我有不懂得地方在于多项式回归中求解的方法，Andrea说可以将x2等高次项看作x1来作为多变量的线性回归求解，我觉得这样这些特征间不就有很强的相关性了，那么用正规方程求解可能会出现不可逆的情况了。
附代码(python)
from sklearn.datasets import load_diabetes
import matplotlib.pyplot as plt
import numpy as np
class Linear_regression(object):
def __init__(self):
self.theta = None
self.theta0 = None
self.alpha = 0.01
def cost(self,X_train,y,):
# num_train
m = X_train.shape[0]
h = X_train.dot(self.theta) + self.theta0
cost = 0.5*np.sum(np.square(h-y))/m
dtheta = (self.alpha/m)*(X_train.T.dot(h-y))
dtheta0 = (self.alpha/m)*np.sum(h-y)
return cost,dtheta,dtheta0
def gradient_descent(self,X_train,y,iter_num = 1000):
n = X_train.shape[1]
self.theta = np.zeros((n,1))
self.theta0 = 0
cost_list = []
for i in range(iter_num):
cost,dtheta,dtheta0 = self.cost(X_train,y)
cost_list.append(cost)
self.theta -= dtheta
self.theta0 -= dtheta0
return cost_list
def predict(self,X_test):
y_pred = X_test.dot(self.theta) + self.theta0
return y_pred
if __name__ == "__main__":
diabetes = load_diabetes()
data = diabetes.data
target = diabetes.target
X = data[:,:1] #one feature
Y = target
X_train = X[:-20]
X_test = X[-20:]
Y_train = Y[:-20].reshape((-1,1))#-1表示不知道有多少行，最终整合成一列
Y_test = Y[-20:].reshape((-1,1))
lr = Linear_regression()
L = lr.gradient_descent(X_train,Y_train,)
theta1 = lr.theta
theta0 = lr.theta0
f = X_train.dot(theta1) + theta0
plt.subplot(211)
plt.scatter(X_train,Y_train,color = "black")
plt.scatter(X_test,Y_test,color = "blue")
plt.plot(X_train,f,color = "red")
plt.text(0.08,300,"theta0 = "+ str(theta0) +"\n"+"theta1 = "+str(theta1),size = 9)
plt.xlabel("X")
plt.ylabel("Y")
plt.subplot(212)
plt.plot(L,color = "black")
plt.xlabel("number of iteration")
plt.ylabel("cost")
plt.show()