对非线性的数据进行处理，相应的预测
----添加新的特征：原有的特征进行多项式组合
scikit-learn中的多项式回归
PolynomialFeatures构建特征
导包：from sklearn.preprocessing importPolynomialFeatures
实例：poly=PolynomialFeatures(degree=2)##最多二次幂特征
poly.fit(X)
X2=poly.transform(X)
线性回归：
from sklearn.linear_model import LinearRegression
lin_reg2=LinearRegression()
lin_reg2.fit(X2,y)
y_predict2=lin_reg2.predict(X2)
绘制：plt.scatter(x,y)
plt.plot(np.sort(x),y_predict2[np.argsort(x)],color='red')
Pipeline
将三步合成在一起：多项式的特征，数据的归一化，线性回归。
导包：from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
创建管道：
poly_reg=Pipeline([
("poly",PolynomialFeatures(degree=2)),
("std_scaler",StandardScaler()),
("lin_reg",LinearRegression())
])
fit：poly_reg.fit(X,y)
预测：y_predict=poly_reg.predict(X)
绘制：plt.scatter(x,y)
plt.plot(np.sort(x),y_predict[np.argsort(x)],color='red')
过拟合（Overfitting）和欠拟合（Underfitting）
欠拟合（Underfitting）:算法所训练的模型不能完整表述数据关系
过拟合（Overfitting）:算法所训练的模型过多地表达了数据间的噪音关系
例子：分类判断是猫还是狗？
欠拟合：比如，模型分别出来有眼睛的都是狗或者猫，这种特征太普遍了，太一般了其他动物都是有眼睛的。
过拟合：狗的毛发是黄色的。因为可能只有这只狗的毛发是黄色的。特征太细节。
学习曲线：随着训练样本的逐渐增多，算法训练处的模型的表现能力
交叉验证
导包：
from sklearn.model_selection import cross_val_score
knn_clf=KNeighborsClassifier()
cross_val_score(knn_clf,X_train,y_train)
k-folds交叉验证：把训练数据集分成k份，称为k-folds cross validation
缺点：每次训练k个模型，相当于整体性能慢了k倍
留一法LOO-CV:把训练数据集分成m份，成为留一法Leave-One-Out Cross Validaion
完全不受随机的影响，最接近模型真正的性能指标。
缺点：计算量巨大
偏差方差权衡 Bias Variance Trade off
模型误差=偏差（Bias）+方差（Variance）+不可避免的误差
偏差Bias
导致偏差的主要原因：对问题本身的假设不正确。例如：非线性数据使用线性回归；欠拟合；使用的特征本身离问题之间高度不相关
高偏差的算法：线性回归；参数学习的算法，因为对数据具有极强的假设
方差
数据的一点点扰动都会较大地影响模型。
通常原因：使用的模型太复杂。例如高阶多项式回归；过拟合
高方差的算法：KNN；非参数学习的算法，因为不对数据进行任何假设
大多数算法具有相应的参数，可以调整偏差和方差。例如KNN中的k；线性回归中的多项式回归。
偏差和方差通常是矛盾的。
降低偏差，会提高方差。
降低方差，会提高偏差。
机器学习的主要挑战来自于方差！
降低高方差的通常手段：
（1）降低模型复杂度
（2）减少数据维度；降噪
（3）增加样本数
（4）使用验证集合
（5）模型正则化
模型正则化Regularization
岭回归
from sklearn.linear_model import Ridge
def RidgeRegression(degree,alpha):
return Pipeline([
('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('ridge_reg',Ridge(alpha=alpha))
])
LASSO回归（Least Absolute Shrinkage and Selection Operator Regression）
导包：from sklearn.linear_model import Lasso
封装：def LasssoRegression(degree,alpha):
return Pipeline([('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('lasso_reg',Lasso(alpha=alpha))
])
使用：
lasso1_reg=LasssoRegression(20,0.01)
lasso1_reg.fit(X_train,y_train)
y1_predict=lasso1_reg.predict(X_test)
mean_squared_error(y_test,y1_predict)
plot_model(lasso1_reg)
L1,L2弹性网络
弹性网结合了岭回归和LASSO回归的优势，通常正则化最先尝试的是岭回归（计算精准，缺点：不能特征选择）然后选择弹性网，最后选择LASSO回归。