概率论与数理统计 一

• 重点：① 贝叶斯公式（条件概率、联合概率、全概率公式）
•            ② 伯努利分布（0 - 1分布）
•            ③  
•            https://blog.csdn.net/ZLJ925/article/details/78960733    ------------- 机器学习概率论与数理统计

 

一、概率论基础

      1、排列组合

      2、古典概型

前提：事件互不相容、有限、等可能的

      3、联合概率

1、如果事件是独立的：P(AB) = P(A).P(B)

      4、条件概率

• 条件概率公式由两个事件推广到任意有穷多个事件时

           例：

     5、全概率公式

前提：Ai 必须是样本空间的一个划分

            例：

 

       5、贝叶斯公式

• 简易的贝叶斯

              例： 

• 全概率公式贝叶斯

前提：Ai 必须是样本空间的一个划分
本质：利用用条件概率公式求解 反向的样本划分的条件概率。即 由P(B|Ai) >>>>> P(Ai|B)

            例：

      6、先验概率（边缘概率）与 后验概率

      7、事件的独立性

如果事件是独立的：
1、P(AB) = P(A).P(B)
2、P(A|B) = P(A)

二、随机变量

理解：随机变量是一个映射函数，函数自变量是某事件发生；X表示该事件发生的函数值
本质：X=X(e) 是事件数值化的映射函数，X是该事件的函数值

          详解：

 

   1、离散型随机变量

1、概念：随机变量X的取值是 有限或可列举的
2、注意：离散随机变量参与的计算（大数定理、中心极限定理、极大似然估计 等）用的是 随机变量可能值的概率P；
   而连续随机变量参与的计算用的是 随机变量的概率密度函数f（f相当于点微分概率的函数，f积分是线段的概率，即连续随机变
     量在某个区间上的概率）。

    （1）离散型随机变量分布律

分布律本质：事件可能情况 概率分布

• 离散型随机变量分布律写法

• 离散型随机变量分布律性质

 

   2、常用的离散型随机变量分布率 

      （1）伯努利分布（0 -1 分布）

       （2）二 项 分 布 

二项分布本质：0-1分布的 n 次 等可能相互独立实验 

•                      二项分布的分布形态变化

                    理解：

                       例1： 

                    例2：二项分布的分布形态

 

         （3）Poisson 分布 ：离散型随机变量

泊松分布本质：当二项分布的 n 趋近于∞时，泊松分布 = 二项分布，即泊松分布也是 0-1 分布的扩展。

•                     Poisson 定理：

                                    例：

 

        （3）几 何 分 布 

   3、连续性随机变量

1、P{X<=x} = F(x) == 其概率密度函数f(x)从 -∞ 到 x 的积分

       ① 连续随机变量的  概率密度函数 与 概率分布函数

理解：1、连续性型随机变量不讨论点值，但概率密度函数函数值可以看做该点x 的点概率（一个微分），所以某个x长度的概率 = 等于
        该x长度积分（这些点微分的和），因而称之为密度函数；故连续随机变量的期望E(X) = ∫ f(x).x dx -------对比离
        散随机变量期望E(X) = ∑ xi.p(X = xi) ）
注意：1、分布函数 F(x) 指的是 P(X <= x)，而不是点x的概率，它是一个从 -∞ 开始的概率值。 
     2、概率密度函数对某区间的积分 = 随机变量 X 落在该区间的概率，总积分面积 = 1  
     3、离散随机变量参与的计算（大数定理、中心极限定理、极大似然估计 等）用的是 随机变量可能值的概率P；而连续随机
        变量参与的计算用的是 随机变量的概率密度函数f。

       ②概率密度 f(x) 具有以下性质

•               概率密度特点：

    4、 常用的连续型随机变量分布  

      （1）均匀分布 

•                  均匀分布概率密度函数

•              均匀分布分布函数 

                            解法： 

                          例：

 

      （2）指数分布 

 

                   例：

 

      （3）正态分布 

•      一般正态分布

•       标准正态分布

•      正态分布密度函数的图形性质  

 

 

 

•  标准正态分布的计算

            ① 标准正态分布的性质

                   Φ(-x) = 1 - Φ(x)  Φ(x) = 1 - Φ(-x)

             ②标准正态分布的计算 

•    一般正态分布的计算  

思想：由于标准正态分布概率分布可以通过查表获得，因此一般状态分布计算通常利用 无量纲公式 转化为标准正态分布来计算。

 

      （4）伽马分布

伽马分布：指数分布是伽马函数=1的伽马分布的特殊形式。即 伽马分布是指数分布的扩充

•    伽马分布概率密度函数

•    伽马函数定义与性质

•    伽马与指数分布的关系

 

      （5）贝塔分布 

贝塔分布：它是均匀分布的扩充

•     贝塔函数的性质、贝塔函数与伽马函数的关系

三、二维随机变量

  1、二维随机变量的定义

2、二维随机变量的分布函数

1、二维及多维随机变量的本质是 联合概率     >>>>>>>>>>> p(ABCD) = P(A).P(B|A).P(C|AB).P(D|ABC)  ...
2、当各个维度的随机变量相互独立时：联合概率 p(ABCD) = P(A).P(B).P(C).P(D)

•       二维随机变量积分区域面积D   

3、二维离散随机变量

定义:二维随机变量（X,Y）取值 是有限对或可列无限多对。

（1）二维离散型随机变量的分布律 

         图解： 

             例1：

4、二维连续型随机变量 

   （1）二维连续随机变量定义

 （2）概率密度函数性质

               例2：

 

5、边缘分布函数 

本质：X的边缘分布函数就是不考虑Y变量，即Y的积分区间是（-∞,∞），Y的边缘分布函数就是不考虑X变量，即X的积分区间是（-∞,∞）

（1）离散随机变量的边缘分布函数

            图解：

（2）连续型随机变量的边缘分布 

•       定义

             例1：

6、条件分布

本质：联合概率/边缘概率

（1）离散型随机变量条件分布 

           例： 

 

（2）连续型随机变量的条件分布 

四、数字特征

1、数学期望

理解：加权平均值

2、方差

3、标准差

4、协方差

•     协方差变化趋势的度量 

 

5、Pearson相关系数

目的：去除量纲的影响

6、协方差矩阵 

 

​

7、中心矩、原点矩 

​

​

 8、峰度 

​

9、偏度 

​

 

10、变异系数 

​

11、分位数 

12、中位数 

五、数理统计基本概念及大数定律 

1、总体、样本、简单随机样本

2、样本与样本值的概念

随机变量：他是一个函数
样本值：样本随机变量的具体值

3、数理统计

（1）切比雪夫不等式/切比雪夫定理 

（2）大数定律（切比雪夫大数定律）

大数定律的意义：随着样本容量n的增加，样本平均数将接近亍总 体平均数(期望μ)，所以在统计推断中，一般都会使用样本平均数
     估 计总体期望、方差、协方差....。 

（3）中心极限定理 

（4）统计量 

（5）常用的分布 

•       卡方分布

•    t分布

•     F分布

六、参数估计

估计量：
估计值：

1、矩估计 

方法：几个未知参量就求几阶原点矩

          例：

2、极大似然估计 

思想：已发生过的事件，我们认为该事件在当时天时地利人和的条件下时概率最大的，因此将估计参量的方法转化为求似然函数（联合概率）极值问题。
本质：独立性多维随机变量求联合概率（概率相乘即可）

 

 （1）离散型

（2）连续型总体似然函数的求法 

（3）例题

            例1：

      例2：

        例3