机器学习（一）

图片来自吴恩达机器学习课程。
什么是机器学习？
机器程序从经验E中学习解决某一任务T进行某一性能度量P，通过P测定在T上的表现因经验而提高。

有监督学习和无监督学习

监督学习
给算法一个数据集，里面包含正确答案（即有标签的数据），算法的目的是给出更多的正确答案。
例1：房价预测，已有的数据集（Size,Price），对不同面积房子价格进行预测，数据为连续的（回归问题）。

例2：肿瘤检测，已有数据集（Tumor Size,Malignant（1/0）），此为分类问题，即输出的结果为离散值如例中的0或者1也可以为2中以上的离散值。

无监督学习
无监督学习中的数据集没有标签，即没有告知明确的答案，而是通过聚类的方法来对数据集进行分类。
例：谷歌新闻将具有相同话题的新闻整合到一个模块中。过程是在网络中搜寻很多新闻然后用聚类算法进行分类整合。

无监督学习还可以用来对社交网络进行分析，对你常联系的人进行记录或者你的好友进行识别，来判断哪些人可能相互认识。还可以对市场中的客户信息进行分割，将客户分到不同的市场中。

鸡尾酒问题
两个麦克风都收到两个人的声音，将混合的不同声音进行分离。

线性回归

单一变量的线性回归

H（x）为单一变量线性回归的假设函数。θ为模型参数。 线性回归要做的是找到最合适的θ来对数据集进行拟合找到最合适的假设函数，引入代价函数J（θ）来表示拟合的程度。

J（θ_0,θ_1）为代价函数，线性回归目的是找到θ使代价函数最小，即预测值和实际值的平方差最小，从而达到较好的数据拟合。

梯度下降
用来最小化函数。
步骤：给出θ的初始值然后不断地改变θ，同时J(θ)发生改变，直到代价函数到达最优值或者局部最优值。

梯度下降算法，同步更新所有θ直到收敛。α表示学习速度，如果太大可能会反复的越过最低点，如果太小则收敛速度很慢。

线性回归的梯度下降

将代价函数带入导数项中，得到线性回归中θ的更新算法：

Batch梯度下降算法：每步都用到所有的训练样本。
多元线性回归


多元线性回归中的假设函数和代价函数以及θ更新方法。

特征缩放：使所有的特征在相近的取值范围内可以使梯度下降算法更快的收敛。

归一化公式，减去平均值后除以取值范围（MAX-MIN）。
正规方程

特征加入x0=1的一列 X为特征矩阵 y为结果向量，通过计算得到θ的算法。

梯度下降和正规方程比较：

当X^TX不可逆时可能是包含了多余的特征或者特征太多。
多余的特征即两个或以上的特征有相同的性质，如平方英尺和平方米，总满足线性关系。
特征太多是特征在数量上太多。