一元线性回归(原理)

前言:

一元线性回归是数据挖掘的基础模型,其中包含了非常重要的数学回归的概念,是学习多元回归,广义线性回归的基础。本文主要讲解1)基础原理2)数学推导3)R语言演示,来介绍一元线性回归。

关键词:一元线性回归基础原理、最小二乘法、数学推导、R语言

整体思路:

根据已知点求一条直线,希望直线与各个点距离之和为最小,根据最小二乘法算出最小时直线的参数。

正文:

一、基础原理:假设已知铅笔销量和时代的关系,如下图散点:

一元线性回归(原理)_第1张图片

一元线性回归(原理)_第2张图片

一元线性回归(原理)_第3张图片

一元线性回归(原理)_第4张图片

三、R语言实现:

> x = c(18,23,25,35,65,54,34,56,72,19,23,42,18,39,37)

>y=c(202,186,187,180,156,169,174,172,153,199,193,174,198,183,178)

> plot(x,y)#绘散点图

> fm = lm(y ~ x) #拟合线性回归模型

> abline(fm) #绘制(添加)回归线

 

辅助知识:

求导的目的是求一个公式的变化率。比如y=x^2 求导后为 y=2x ,即当X=0时它的变化率是最低。(斜率为0),随着X增大1个单位,y的变化速度就增加2个单位的速度。如果x=10,y的增幅变化率就是20.可以自己想想一下y=x^2的图形就明白了。

偏导:在一元函数中,我们已经知道导数就是函数的变化率。对于二元函数我们同样要研究它的“变化率”。所以就分别对每个元素进行求导,称为偏导。

一元线性回归(原理)_第5张图片

参考资料:

《R语言统计分析软件简明教程》 王斌会等

百度百科

你可能感兴趣的:(机器学习)