[博学谷学习记录]超强总结，用心分享|人工智能机械学习基础知识线性回归总结分享

1.线性回归的核心是参数学习，线性回归和回归方程（函数）有关

2.线性回归是目标值预期是输入变量的线性组合

3.欠拟合的产生原因是学习到数据的特征过少

4.多元线性回归中的“线性”是指系数是线性的

5.回归用于预测输入变量和输出变量之间的关系

6.线性回归的曲线拟合已知数据且很好地预测未知数据

7.线性回归是利用回归方程(函数)对一个或多个自变量和因变量的关系进行建模的一种分析方式。

8.处理过拟合的方法：（1）减少特征维度，防止维灾难（2）增大数据的训练量（3）利用正则化技术

9.线性回归当中主要有两种模型，一种是线性关系，另一种是非线性关系

10.梯度下降需要选择学习率而正规方程不需要

11.线性回归算法的主要特点是可以拟合自变量和因变量间相互依赖的线性关系。

12.线性回归(Linear Regression)是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，线性回归利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模。这种函数是一个或多个称为回归系数的模型参数的线性组合。

13.线性回归经常使用的优化算法是正规方程和梯度下降法

14.如果使用线性回归模型，检查异常值是很重要的，因为线性回归对离群效应很敏感

15.、回归分析中线性方程根据自变量的数目分为一元线性回归和多元线性回归

16.单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系

17.步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度，通常用损失函数来度量拟合的程度

18.线性回归算法优点的：（1）是许多强大的非线性模型的基础（2）线性回归模型十分容易理解，结果具有很好的可解释性，有利于决策分析（3）思想简单，实现容易。建模迅速，对于小数据量、简单的关系很有效

19.为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。

20.正则化力度越大，权重系数会越小

21.在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据(体现在准确率下降)，此时认为这个假设出现了过拟合的现象