基于Python的地理数据分析之一元线性回归分析-数学原理02.md

行成于思毁于随，业精于勤荒于嬉。

---

前言

 此篇博文主要阐述如何利用最小二乘法对一元线性回归模型中的参数进行估计。

1. 声明

1. 此系列博文主要参考北京大学陈彦光教授的 《基于MATLAB的地理数据分析》进行撰写。
2. 此系列博文的撰写目的包括：（1）学习常见地理数学方法的基本原理；（2）基于Python语言实现常见地理数学方法；（3）加深对Python语言的理解。
3. 此系列博文的主要实例参考自陈彦光教授所著教材，也会依据实际情况以自己研究过程中的一些实例进行数据分析的展示。
4. 此系列博文里参考陈彦光教授的内容的著作权和解释权归陈彦光教授所有，在此表示感谢。推荐陈彦光教授的两本书籍：《地理数学方法：基础和应用》和《基于MATLAB的地理数据分析》。

2. 版本

 2.1 山东青岛，Version 1

3. 关键词

  一元线性回归，最小二乘法

---

一、最小二乘法

1. 什么是最小二乘法

  最小二乘法又被称作最小平方法，最小二乘法在19世纪由数学家勒让德提出。最小二乘法在一元线性回归分析中被用于确定$y=a+bx$中的系数a和系数b。需要注意的是：最小二乘法的构建的目的是求得观测值和理论值之间的差异最小时对应的目标函数中需要确定的参数，在一元线性回归中就对应着参数a和参数b。最小二乘法作为一种最优参数求解方法，不仅仅可以用于一元线性回归问题。

  1.1 公式表达

  最小二乘法的数学表达公式如下：
$$目标函数=\sum _{i=1}^n(观测{值}_i-理论{值}_i)\text{\hspace{1em}(1)}$$
对于最小二乘法的理解可以参考最小二乘法的本质是什么。
  对于一元线性回归问题，只有一个自变量（特征，x）和一个因变量（y），且自变量和因变量之间属于线性关系，因此一元线性回归模型可以表达为$y=a+bx$，当我们进行了n组观测之后，会得到n组$(x_i,y_i),i=1,2,...,n$。最小二乘法的目的就是找到一组$(a,b)$使得${\sum }_{i=1}^n(a+b{x}_i-y_{obs}{)}^2$的和最小，即求：$min{\sum }_{i=1}^n(a+b{x}_i-y_{obs}{)}^2$。

2. 最小二乘法的求解

2.1 代数方法求解

  代数方法求解最小二乘法实际上是利用求导数的思想，在${\sum }_{i=1}^n(a+b{x}_i-y_{obs}{)}^2$中将a和b视作未知数，分别对a和b求偏导数，并令导数为0，然后求a和b。以下，以一元线性回归模型为例，展示如何运用代数方法求解一元线性回归模型中的a和b。一元线性回归模型的目标函数为：
$$J(a,b)=\sum _{i=1}^n(a+b{x}_i-y_{obs}{)}^2$$，其中$a$和$b$是待求参数，视作未知变量。

1. 对自变量a和b求偏导，并令其等于0，可以得到：
   $$\{\begin{array}{l}\frac{\partial J(a,b)}{a}=2{\sum }_{i=1}^n(a+b{x}_i-y_{obs})=0\\ \frac{\partial J(a,b)}{b}=2{\sum }_{i=1}^n(a+b{x}_i-y_{obs})x_i=0\end{array}$$

2. 求解上述方程可得
   $$\{\begin{array}{l}a=\\ b=\end{array}$$

参考资料

1. 最小二乘法
2. 最小二乘法的本质是什么
3. 矩阵简介与最小二乘法
4. 矩阵形式下的最小二乘法推导

欢迎关注微信公众号“GISRSGeography”