期望、方差、协方差、协方差函数、期望函数、方差函数

期望

  对离散型随机变量X，其概率分布函数(probability density function,PMF)为$P(X)$，则：
$$E(X)=\mu =\sum _{i=1}^n{X}_{i}P(X_i)$$
  如果等概，就退化成我们从小就接触到的平均值$E(X)=\frac{\sum _{i=1}^n{X}_i}{n}$。
  对连续性随机变量X，其概率密度函数(probability mass function,PDF)为$f(x)$，则：
$$E(X)=\mu ={\int }_{-\infty }^{+\infty }xf(x)dx$$
  附带说一下，累计分布函数(cumulative distribution function,CDF)是PDF的积分形式，设其为$F(x)$，则：
$$F(x)={\int }_{-\infty }^{x}f(x)dx$$

---

方差

  对离散型随机变量X，其概率分布函数为$P(X)$，则：
$$Var(X)=D(X)={\sigma }^2=E((X-E(X){)}^2)=\sum _{i=1}^n(X_i-E(X){)}^{2}P(X_i)$$
$$=\sum _{i=1}^n{X}_i^{2}P(X_i)-E(X{)}^2=E(X_i^2)-E(X{)}^2$$
  如果等概，就退化成我们从小就接触到的方差公式$D(X)=\frac{\sum _{i=1}^n(X_i-E(X){)}^2}{n}$。

  需要说明的是，以上的方差计算公式是在我们得到的n就是总体个数的情况下，直接计算总体的方差，例如要统计一个班的高中生的身高的方差，这个班总共40人，n=40；如果X是样本统计量，也就是说，没有得到总体的数据，只有采样样本数据，就要考虑无偏估计，例如我们要统计一个省的高中生的身高的方差，只有采样的一些高中生的身高数据，此时方差公式应为$D(X)=\frac{\sum _{i=1}^n(X_i-E(X){)}^2}{n-1}$，其实就是分母变为n-1，如果还用总体方差公式对样本求方差，求得的方差要小于实际的总体方差(有偏估计)，关于这一点可以看blog:https://blog.csdn.net/Hearthougan/article/details/77859173。
  对连续性随机变量X，其概率密度函数为$f(x)$，则：
$$Var(X)=D(X)={\sigma }^2=E((X-E(X){)}^2)={\int }_{-\infty }^{+\infty }(x-E(X){)}^{2}f(x)dx$$
$$={\int }_{-\infty }^{+\infty }{x}^{2}f(x)dx-E(X{)}^2=E(X^2)-E(X{)}^2$$

---

协方差

  对于单一的随机变量，我们考虑其期望与方差，当想比较两个随机变量，我们引入了协方差(两个随机变量可以对应数据分析中的两个字段)。协方差，看名字就知道，其定义来源于方差。对两个随机变量X和Y，其协方差就是：
$$cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)$$
  如果等概，就退化成我们从小就接触到的协方差公式$cov(X,Y)=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{n-1}$，这个公式考虑了无偏估计。

1. 当X=Y，$cov(X,Y)=cov(X,X)=D(X)$。
2. 当X,Y独立，$cov(X,Y)=0$，因为$E(XY)=E(X)E(Y)$，但是$cov(X,Y)=0$，不一定X,Y独立，此时称为不相关。
3. 协方差为正，两者正相关，协方差为负，两者负相关。

  协方差是会受到单位的影响的，而相关系数就是消除了量纲的影响，来看两者的相关性。

协方差矩阵

  协方差只能处理两个随机变量，当有多个随机变量，就引出了协方差矩阵。以三个随机变量X,Y,Z为例：
$$cov=\left[\begin{array}{ccc}cov(X,X)& cov(X,Y)& cov(X,Z)\\ cov(Y,X)& cov(Y,Y)& cov(Y,Z)\\ cov(Z,X)& cov(Z,Y)& cov(Z,Z)\end{array}\right]$$

相关系数

$${\rho }_{X,Y}=\frac{cov(X,Y)}{{\sigma }_X{\sigma }_Y}$$

1. ${\rho }_{X,Y}=0$，与$cov(X,Y)=0$等价，均表示不相关。
2. ${\rho }_{X,Y}\le 1$。
3. ${\rho }_{X,Y}=1$的充要条件是$P(Y=aX+b)=1$，即X,Y线性相关。

自协方差

  一般指时间序列或者信号，经过时间平移后，与自己的协方差，在随机过程中体现较多。

---

协方差函数 / 核函数

  设随机过程为X(t)，定义域为D，$t_1,t_2\in D$，定义协方差函数$C_X(t_1,t_2)$为$t_1$与$t_2$的协方差，形成的函数。
$$C_X(t_1,t_2)=E\{[X(t_1)-{\mu }_X(t_1)][X(t_2)-{\mu }_X(t_2)]\}$$
  其中$\mu (t)$为期望函数。
  可以看出，协方差函数默认指的是随机过程的自协方差函数。若考虑互协方差函数，就需要考虑两个随机过程X(t)与Y(t)，互协方差函数定义如下。
$$C_{X,Y}(t_1,t_2)=E\{[X(t_1)-{\mu }_X(t_1)][Y(t_2)-{\mu }_Y(t_2)]\}$$

---

期望函数,方差函数

  对随机过程X(t)而言，期望函数定义如下：
$${\mu }_X(t)=E[X(t)]$$
  其实就是随机过程每个点的期望，形成的函数。

  对随机过程X(t)而言，方差函数定义如下：
$${\sigma }_X^2(t)=E\{[X(t)-{\mu }_X(t){]}^2\}$$
  其实就是随机过程每个点的方差，形成的函数。

---

参考资料：
https://blog.csdn.net/wzgbm/article/details/51680540
https://www.cnblogs.com/hyb221512/p/8975624.html
https://wenku.baidu.com/view/c272331f5f0e7cd18425366e.html