空间分析——统计基础

基础知识

随机变量

背景： 为了对随机现象进行定量的数学处理，必须把随机现象的结果数量化，所以我们引入随机变量。
定义： 随机变量就是“其值随机会而定”的变量，它是一个用来表示随机现象结果的变量。

随机变量的随机性体现着当实验没有进行时，它可以取实数空间内任意的值（但是取到某个值是有一定概率的），一旦实验进行完毕得到观测结果，随机变量就退化为一个确定性变量。
在概率论领域，对于一个随机实验我们所关心的往往是与所研究的特定问题有关的某个或某些量，这些量就是随机变量。

例子：一个人的年收入
确定性变量：年收入在3000元以下的低收入者的比率——静态角度
随机变量：X = 随机抽取一个人，其年收入是多少？——动态角度
		 3000元以下可表示为：P{X<3000}

随机变量的分布

1. 概率

定义： 概率用来描述随机事件发生的可能性的大小。

例如，投骰子，是一个随机实验，取到的点数（X = n，n∈1,2,3,4,5,6）是一个随机事件，而取到某一个点数的可能性用概率来描述。即 P(X = n) = p。

2. 分布函数

定义： 设X是一个随机变量，对于任意实数x，称$F(x)=P(X⩽x)$为随机变量X的分布函数。

3. 概率密度函数

定义：（针对连续型变量）如果存在实数轴上的一个非负可积的函数p(x)，对任意实数x有：$F(x)={\int }_{-\infty }^{x}p(x)dx$

$p(x)$称为X的概率密度函数。

随机变量的数字特征

1. 期望

（1）离散型
定义： 设随机变量X的分布列为：$p\left(x_i\right)=P\left(X=x_i\right),i=1,2,\cdots ,n,\cdots$，如果：${\sum }_{i=1}^{\infty }\left|x_i\right|p\left(x_i\right)<\infty$（满足收敛性）

则称 $E(X)={\sum }_{i=1}^{\infty }{x}_{i}p\left(x_i\right)$ 为随机变量X的数学期望。

（2）连续型

定义： 设 $p(x)$ 为随机变量X的密度函数，如果${\int }_{-\infty }^{\infty }|x|p(x)\mathrm{d}x<\infty$（满足收敛性）,

则称 $E(X)={\int }_{-\infty }^{\infty }xp(x)\mathrm{d}x$为随机变量X的数学期望

理解：

物理解释：重心所在的位置
理论意义：消除随机性的主要手段
统计意义：E(X)常用作一种统计指标，来代表X的分布

2. 方差

定义：

若随机变量$X^2$的数学期望$E\left(X^2\right)$存在，则称偏差的平方的数学期望：$\mathrm{Var}(X)=E(X-E(X){)}^2$ 为随机变量$X$的方差

理解

反映了随机变量取值的集中与分散程度
方差与标准差：有无量纲

3. 协方差与相关系数

定义：
（1） 协方差

定义： 描述两个分量之间的互相关联程度的一个特征数。表示两个变量同时变化的程度。

背景： 二维联合分布中除了含有各分量的边际分布外，还含有两个分量之间相互关联的信息

数学表达为： $Cov(X,Y)=E[x-E(x)][y-E(y)]=E(xy)-E(x)E(y)$

（2）相关系数

背景： 协方差是有量纲的量，相关系数是为了消除这种量纲。所以$\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$

另一种理解方式是它是标准化变量的协方差 $X^{\ast }=\frac{X-{\mu }_X}{{\sigma }_X},Y^{\ast }=\frac{Y-{\mu }_Y}{{\sigma }_Y}$。

解释：

>0，正相关，因为两项有同时增加或减少的倾向，又因为E(x)，E(y)都是常数，等同于X、Y有同时增加或减少的倾向。
<0，……
=0：毫无关联，一个增大的同时另一个增大减小是随机的，相互抵消。or 非线性，如圆周曲线的情况，x增大，y由小变大又变小。

4. 矩的概念

• 一阶原点矩：期望
• 二阶中心矩：方差
• 协方差又称为变量X，Y的二阶混合中心矩

重要统计量及其抽样分布

统计量
设$x_1,x_2,\cdots ,x_n$是取自某总体的样本，若样本函数 $T$ = $T$($x_1,x_2,\cdots ,x_n$)中不含有任何未知参数，则称 $T$ 为统计量，统计量的分布成为“抽样分布”
若$x_1,x_2,\cdots ,x_n$为样本，则${\sum }_{i=1}^n{x}_i$、${\sum }_{i=1}^n{\left(x_i\right)}^2$ 都是统计量
尽管统计量不依赖于未知参数，但是它的分布一般还是依赖于未知参数的

正态分布

- 表示： $X\sim N\left(\mu ,{\sigma }^2\right)$
$\mu$是位置参数；${\sigma }^2$是尺度参数

- 概率密度函数： $f(x)=\frac{1}{\sqrt{2\pi }\sigma }{\mathrm{e}}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$

- 图像

chi-square分布

定义： 设 $X_1,X_2,\cdots ,X_n\text{ i.i.d. }\sim N(0,1)$，构造统计量$X={\sum }_{i=1}^n{X}_i^2$，则称$X$的分布是自由度为 $n$ 的 ${\chi }^2$分布，记作：$X\sim {\chi }_n^2$
图像：

t分布

定义： 设随机变量$X$，$Y$相互独立，且$X\sim N(0,1),Y\sim {\chi }_n^2$，则称 $T=\frac{X}{\sqrt{Y/n}}$ 的分布为自由度为 $n$ 的 $t$ 分布。
图像：

来源：
Gosset 在检测酿酒质量的时候根据中心极限定理构造统计量，用样本方差代替总体方差计算得到的异常结果（大于$\pm 2\sigma$）的频率总是偏大，于是他经过研究发现$\frac{\sqrt{n}(\bar{X}-\mu )}{s}$ 的分布与$N(0,1)$的分布并不相同，尤其是尾部的概率相差较大，因而提出了 $t$ 分布。
即 $\frac{\sqrt{n}(\bar{X}-\mu )}{s}$ 服从自由度为 $n-1$ 的 $t$ 分布。

F分布

定义： 设随机变量 $X\sim {\chi }_m^2,Y\sim {\chi }_n^2$, 且 $X$ 和 $Y$ 独立, 则称$F=\frac{X/m}{Y/n}$ 的分布为自由度为$m$与$n$的 $F$ 分布，记作 $F\sim F(m,n)$
图像：

参数估计

点估计

定义： 设 $x_1,\cdots ,x_n$ 是来自总体的一个样本, 用于估计末知参数 $\theta$ 的 统计量 $\hat{\theta }=\hat{\theta }\left(x_1,\cdots ,x_n\right)$ 称为 $\theta$ 的估计量, 或称为 $\theta$ 的点估计。

方法：

1. 矩估计法
   思想： 构造样本和总体的矩，然后用样本的矩去估计总体的矩。
2. 最大似然估计
   思想： 利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

区间估计

定义： 设 $\theta$ 是总体的一个参数, $x_1,\cdots ,x_n$ 是样本, 所诮区间估计就是要找两个统计 量 ${\hat{\theta }}_L={\hat{\theta }}_L\left(x_1,\cdots ,x_n\right)$ 和 ${\hat{\theta }}_U={\hat{\theta }}_U\left(x_1,\cdots ,x_n\right)$, 使得 ${\hat{\theta }}_L<{\hat{\theta }}_U$, 在得到样本观测值之后, 就把 $\theta$ 估计在区间 $\left[{\hat{\theta }}_L,{\hat{\theta }}_v\right]$ 内.
置信区间： $\left[{\hat{\theta }}_L,{\hat{\theta }}_v\right]$
置信上限： ${\hat{\theta }}_L$；置信下限： ${\hat{\theta }}_v$
置信水平： $1-\alpha$
目标： 给定置信水平，求该置信水平下的置信上下限，即：
$P_{\theta }\left({\hat{\theta }}_L⩽\theta ⩽{\hat{\theta }}_L\right)⩾1-\alpha$

方法：

• 枢轴量法
  思想： 构造一个含有待估参数但分布与待估参数无关的统计量，这样的话给定置信区间就可以根据统计量的分布得到置信上下限$（c,d）$，此时不等式 $\mathrm{c}\le \mathrm{S}(\theta )\le \mathrm{d}$ 中唯一的未知数就是$S(\theta )$中的 $\theta$，因而可以自然的解出 $\theta$ 的区间估计

假设检验

基本思想与步骤

目标： 判断 $\bar{x}=108.2$ 是否落在 $H_0$: $\theta ⩾110$ 的接受域内？

所以，设接受域的边界为$c$，即求$\bar{x}\ge c$ 的区域是否包含$108.2$
基于$\bar{x}$，构造一个统计量，使其分布不依赖于未知参数

Q2： 如何确定$c$？
计算在上述分布的情况下，使得大部分合理的样本能满足 $\bar{x}\ge c$，即约束条件+1:：$P(\bar{x}⩾c)⩾1-\alpha$

结果： 最后求得 $c$ 的临界值为108.684，即 $\bar{x}\ge 108.684$ 是原价是的接受域，108.2未落在接受域内。

常见假设检验

方差分析

方差分析不是分析样本方差，它是用来分析多组数据之间的均值是否有显著性差异。但在判断均值之间是否有差异时需要借助于方差。
它是通过对数据误差来源的分析来判断不同总体的均值是否相等，进而分析自变量对因变量是否有显著影响。

基本原理（单因素方差分析）

总误差（SST）= 组内误差（SSE）+ 组间误差（SSA）

组内误差：$\mathrm{SSE}={\sum }_{i=1}^k{\sum }_{j=1}^{n_i}{\left(y_{ij}-{\bar{y}}_i\right)}^2$

组间误差：$\mathrm{SSA}={\sum }_{i=1}^k{n}_i{\left({\bar{y}}_i-\bar{y}\right)}^2$

总误差：$\mathrm{SST}={\sum }_{i=1}^k{\sum }_{j=1}^{n_i}{\left(y_{ij}-\bar{y}\right)}^2$

目标： 比较组内误差和组间误差之间是否存在显著差异
提出假设： $H_0:{\mu }_1={\mu }_2=\cdots ={\mu }_i=\cdots ={\mu }_k$，自变量对因变量没有显著影响
构造统计量：
$MSA=\frac{\text{ 组间平方和 }}{\text{ 自由度 }}=\frac{SSA}{k-1}MSE=\frac{\text{ 组内平方和 }}{\text{ 自由度 }}=\frac{SSE}{n-k}$

$F=\frac{MSA}{MSE}\sim F(k-1,n-k)$

前提条件

1. 变量之间相互独立
2. 满足正态分布——正态性检验
3. 各组之间的方差相同—方差齐次性检验

回归分析

回归分析用以估算自变量和因变量之间的定量关系，二者的函数关系。评估给定自变量的情况下因变量的条件期望值(预测)。

简单线性回归

基本方程：

图示：

自变量对因变量的解释程度：

$R^2=\mathrm{SSR}$(自变量解释的方差) / $\mathrm{SST}$(总方差)

参数估计方法：

• 最小二乘法
• 最大似然估计
• Theil-Sen estimator

最小二乘法对异常值敏感，Theil-Sen estimator将斜率的估计计算为成对点斜率 $\left(y_j-y_i\right)/\left(x_j-x_i\right)$ 的中位数(median) $m$, 截距为成对点截距的中位数 $y_i-m{x}_i$, 进而有效地排除异常值的影响

显著性检验：

• 整体拟合度检验
  OLS整体拟合采用方差分析。
  $\sum {\left(Y_i-\bar{Y}\right)}^2=\sum {\left({\hat{Y}}_i-\bar{Y}\right)}^2+\sum {\left(Y_i-{\hat{Y}}_i\right)}^2$ （$Y_i$：观测值；$\bar{Y}$：观测平均值；$\hat{Y}$：拟合值）
  总误差（SST）= 回归平方和（SSR）+ 残差平方和（SSE）

  – 统计量：$F=\frac{SSR/m}{SSE/(n-m-1)}\sim F(m,n-m-1)n$-样本数, $m$-解释变量个数

• 回归系数显著性：

  $H_0:{\beta }_1=0$
  $t={\hat{\beta }}_1/\left(\frac{\sigma }{\sqrt{\sum (X-\bar{X}{)}^2}}\right)\sigma =\sqrt{\frac{\sum {\left(Y_i-\hat{Y}\right)}^2}{n-2}}，n-2$ 个自由度

多元线性回归

拟合一个因变量与多个自变量之间的线性依赖关系

基本方程：

自变量对因变量的解释程度：
$R_{adj}^2=1-\left(1-R^2\right)\frac{n-1}{n-p-1}\begin{array}{rl}& n\text{ 为样本数 }\\ & p\text{ 为解释变量数 }\end{array}$

因为决定系数 R 会随着自变量个数的增加而递增，即使增加的自变量与因变量之间无关，所以引入校正的决定系数，剔除了自变量个数的影响。

Beta拟合系数：
解释变量量纲不同时，不容易比较单位自变量的变化引起多少因变量的改变。所以将所有变量进行标准化变换 (方差=1) 后进行拟合，产生beta拟合系数解释为自变量一个标准差的变化会引起因变量多少标准差的变化。

显著性检验：

• 残差分析

残差是因变量未被解释的部分。在自然界中残差是必然存在的，我们可以将回归方程理解为“趋势”+“随机”，建模拟合的目标是找到由自变量体现的因变量的“趋势”部分，即可预测部分。所以我们期望剩余的误差应该是随机的，同时残差应该具有“不可预测性”
1、残差不应该与另外的变量有所相关。即，无法用自变量预测。
2、相邻残差不应该相互关联（残差的自相关性）。即，无法使用一个残差来预测得到下一个残差。
所以要进行残差的独立性，正态性，方差齐次性检验

• 残差正态性检验

当模型的残差服从正态性假设时，才能保证模型偏回归系数对于的t值和模型的F值是有效的。

• 回归方程显著性：F检验
• 回归系数显著性：t 检验
• 检验解释变量的多重共线性

多重共线性是指 线性回归模型 中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。
一旦发现变量之间存在多重共线性的话，可以考虑删除变量和重新选择模型（岭回归法）。
可以用主成分回归方法解决，即是将一组解释变量利用主成分变换(线性组合)的方法产生新变量, 与因变量做回归

分类解释变量：

不同类别具有不同的截距

（20.1376: 斜率；4.6308: gdp贡献的截距；Estimate剩下的部分为每一个类别增加的截距。eg.预测亚洲的人均寿命时，在原始回归方程的基础上再加上10.1144）

logistics回归

逻辑回归是统计学习中的经典分类方法，属于对数线性模型，所以也被称为对数几率回归。这里要注意，虽然带有回归的字眼，但是该模型是一种分类算法，逻辑斯谛回归是一种线性分类器，针对的是线性可分问题。
回归方程式：
$h(w)=w_1{x}_1+w_2{x}_2+w_3{x}_3+\dots \dots +b$，

可写成：$\hat{y}=w^{T}X+b$

通过sigmod函数：$\frac{1}{1+e^{-h}}$ 把值域限制在0-1，从而实现分类

地理加权回归

背景： 空间的非平稳性为题，即由地理位置变化引起的空间异质性。
地理加权回归是一种基于空间变化关系建模的局部线性回归方法，它在研究区域的每一处产生一个描述局部关系的回归模型，从而能很好的解释变量的局部空间关系与空间异质性。
公式： $y_i={\beta }_0\left(u_i,v_i\right)+{\sum }_{k=1}^m{\beta }_k\left(u_i,v_i\right)x_{ik}+{\epsilon }_i$

$y_i$ 为在位置 $i$ 处的因变量值；
$x_{ik}$为 $i$ 处的自变量值；
$\left(u_i,v_i\right)$ 为坐标；
${\beta }_0\left(u_i,v_i\right)$为截距项；
${\beta }_k\left(u_i,v_i\right)$为回归分析系数：通过距离衰减函数计算得到每个要素在局部回归方程里的权重。修正了普通的线性回归未考虑空间关系而带来的误差。

相关分析

用于测试随机变量之间的统计依赖性，相关系数用于定量给出相关性的大小。

简单线性相关

Pearson’s相关系数： 是一种参数方法，用于衡量变量之间的线性相关性，反映整个样本的平均响应。

总体： ${\rho }_{X,Y}=\frac{\mathrm{cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$

样本： $r_{xy}=\frac{{\sum }_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{\sqrt{{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2}\sqrt{{\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2}}$

显著性检验：

$t=r\sqrt{\frac{n-2}{1-r^2}}$，用自由度为n-2的 t 分布近似。

秩相关

Spearman’s rank correlation： 是一种非参数方法，适用于连续与离散型变量，刻画的是随机变量之间的单调关系，测量的是样本对排序的响应。

$\rho =1-\frac{6\sum d_i^2}{n\left(n^2-1\right)}{d}_i=\mathrm{rg}\left(X_i\right)-\mathrm{rg}\left(Y_i\right)d_i$ 是对应观测值的排序差, $n$ 为观测个数

显著性检验：

$t=r\sqrt{\frac{n-2}{1-r^2}}$，用自由度为n-2的 t 分布近似。

偏相关

背景： 相关系数有时又被称为“完全相关系数”，因为它里面包含了一切可能的相关性。这就解释了为何看来彼此并无密切因果关系的变量，在观察结果上会显示出较强的相关性。

例子： 收入高的人各方面消费都倾向于高，它会带动吃（X1）和穿（X2）的增长，以至于使得二者显示出较强的正相关。但是把收入（X3）的影响消去，二者可能会转换为负相关，因为一个人收入一定时，它一方面消费较大一般会导致另一方面消费的减少

“消除”的含义：

复相关

定义： 设 $X_1,X_2,\cdots ,X_p$，$X_1$对每个$X_j$的相关性不一定很显著，但是全体$X_2,\cdots ,X_p$联合起来则与$X_1$有较显著的相关性。

“复”的含义：

典型相关

定义： 典型相关分析用于研究两组变量（每组变量中都可能有多个指标）之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。

思想： 将一组变量和另一组变量之间的相关性转化为两个新的综合变量(原变量的线性组合-主成分)之间的相关，并使得新的综合变量之间存在最大可能的相关性。与主成分分析的思想类似。

例子：

空间自相关

全局莫兰指数

计算公式： $I=\frac{N}{W}\frac{{\sum }_i{\sum }_j{w}_{ij}\left(x_i-\bar{x}\right)\left(x_j-\bar{x}\right)}{{\sum }_i{\left(x_i-\bar{x}\right)}^2}$

含义： 只有 $x_i$ 和 $x_j$ 都大于或小于 $\bar{x}$ 时，$I>0$，表示高值/低值在相近的空间上会同时出现，容易聚集在一起。
$I<0$ 表示一个增大的同时另一个减小，即呈现负相关关系

缺点： 只能衡量全局上某空间随机变量整体的自相关程度，即属性相似的单元间是否呈聚集状态，但是无法表达空间中聚集区的分布，也无法判断时高值聚集还是低值聚集。

全局Geti统计法

计算公式： $G=\frac{{\sum }_{i=1}^n{\sum }_{j=1}^n{w}_{ij}{x}_i{x}_j}{{\sum }_{i=1}^n{\sum }_{j=1}^n{x}_i{x}_j}$

功能： 衡量全局尺度上某空间随机变量聚集程度的统计量，同时识别是高值聚集还是低值聚集，即区分“冷点区”和“热点区”

缺点： 用于识别空间负相关的效果差

局部莫兰指数

计算公式： $I_i=\frac{x_i-\bar{X}}{S_i^2}{\sum }_{j=1}^n{w}_{ij}\left(x_j-\bar{X}\right)$

含义： 前者可反映出第 $i$ 个地区的经济发展水平与整个区域的平均水平之间的高低情况，后者则反映出第 $i$ 个地区的周边地区与整个区域水平之间的高低情况。

作用： 识别空间中哪些地方存在空间聚集现象，是高值聚集还是低值聚集；or哪些地方存在空间负相关。