初级算法学习day1

1、机器学习的基本概念
按照学习形式分类：监督学习和非监督学习。
1.1 监督学习（KNN，线性回归，逻辑回归，SVM，决策树和随机森林，神经网络）
1.2 非监督学习 （K-means、聚类分析、可视化和降维-PCA、关联性规则学习）
1.3 泛化能力
泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。
1.4 过拟合和欠拟合
过拟合：指的是模型在训练集上表现的很好，但是在交叉验证集合测试集上表现一般，也就是说模型对未知样本的预测表现一般，泛化（generalization）能力较差。
解决方法：一般的方法有early stopping、数据集扩增（Data augmentation）、正则化（Regularization）、Dropout等
参考链接
欠拟合：根本的原因是特征维度过少，导致拟合的函数无法满足训练集，误差较大。
解决方法：增加新特征；添加多项式特征；减少正则化参数；使用非线性模型
1.5 交叉验证
交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。

2、线性回归的原理
在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。

3、线性回归损失函数、代价函数、目标函数
3.1 损失函数
Loss function是定义在单个样本上的，算的是一个样本的误差。
3.2 代价函数
Cost function是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
3.3 目标函数
Object function是最终需要优化的函数，等于经验风险+结构风险

4、优化方法（梯度下降法、牛顿法、拟牛顿法等）
4.1 梯度下降法
参考链接
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
4.2 牛顿法和拟牛顿法
参考链接
牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。
拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。

5、线性回归的评估指标
5.1 MSE
均方误差(MSE Mean Squared Error)
5.2 RMSE
均方根误差(RMSE Root Mean Squard Error)
5.3 MAE
平均绝对误差(MAE )
参考链接

6、sklearn参数详解
线性回归参数详解
LinearRegression(fit_intercept=True,normalize=False,copy_X=True,n_jobs=1)
fit_intercept : 布尔型参数，表示是否计算该模型截距。可选参数。
normalize : 布尔型参数，若为True，则X在回归前进行归一化。可选参数。默认值为False。
copy_X : 布尔型参数，若为True，则X将被复制；否则将被覆盖。 可选参数。默认值为True。
n_jobs : 整型参数，表示用于计算的作业数量；若为-1，则用所有的CPU。可选参数。默认值为1。