机器学习之数学基础(3)——概率论

前言：
概率论的理解有些抽象，掌握概率论的方法，用实际样本去无限接近真实，熟练掌握并且使用一些最基本的概念是前提，比如，均值，方差

• 排列 组合

计算各种公式的基础
排列

image.png

组合

image.png

• 古典概率

事件A
构成事件A发生的基本时间有a个
不构成事件A发生的基本事件有b个

image.png

• 联合概率

两个事件共同发生记为P（AB）

• 条件概率

事件A在另外一个事件B已经发生的条件下的发生概率叫做 条件概率

image.png

推论：如果n个事件同时发生

image.png

• 全概率公式

样本空间Ω有一组事件A1、A2...An
如图：

image.png

那么对于任意事件B，全概率公式为:

image.png

又叫结果概率公式（B事件一般为结果事件）

• 贝叶斯公式

可由条件概率公式证明

image.png

假如A1、A2...An是样本空间Ω的一个划分，如果 对任意事件B而言，有P(B)>0，那么：

image.png

又叫原因概率公式， 事件B已经发生的情况下查找原因

• 独立事件

A,B发生无关,称事件A和时间B相互独立

image.png

• 随机变量

把前面说的事件A,B具体化，用变量和函数来表达前面说的该事件在样本空间的概率
例： 掷一颗骰子，令 X：出现的点数．
例：上午 8:00～9:00 在某路口观察，令： Y：该时间间隔内通过的汽车数． 则 Y 就是一个随机变量

• 离散型随机变量

image.png

• 1. Bernoulli分布

     
     
     

     image.png
     
     

     记做：

     
     
     

     image.png
     
     注意参数1为一次实验，p为发生事件的概率

• 2）二 项 分 布
  进行n次试验发生k次的概率

  
  
  
  
  

  记为

  
  
  

  image.png

• 3）Poisson 分布
  当n取无穷大二向分布的近似

  
  
  

  image.png
  
  

  其中参数取值为：

  
  
  

  image.png

• 4）几 何 分 布
  在Bernoulli试验中，试验进行到A 首次出现为止

  
  
  

  image.png

• 5）超 几 何 分 布
  一批产品有 N 件，其中有 M 件次品，其余 N-M 件为正品．现从中取出 n 件． 令 X：取出 n 件产品中的次品数． 则 X 的分 布律为

  
  
  

  image.png

• 连续型随机变量

分布函数F（x）
概率密度函数分f（x）

• 1） 均 匀 分 布

  
  
  

  image.png
  
  

  记为

  
  
  

  image.png

• 2. 指 数 分 布
     写做：X~ E（λ），数学期望是：1/λ，方差是 1/λ^2

     
     
     

     image.png
     
     
     

     image.png

• 3)正 态 分 布

  
  
  

  image.png
  
  

  一般正态函数的计算，先转化为标准正态函数

• 期望和方差

建议同学们学完之后证明一下各个分布的期望和方差，已达到更深的理解。

• 期望
  也就是均值(mean)，是概率加权下的“平均值”，是每次可能 结果的概率乘以其结果的总和，反映的实随机变量平均取值大小。 常用符号 表示

  
  
  

  image.png

• 方差
  方差是衡量数据源数据和期望均值相差的度量值。

  
  
  

  image.png
  
  

  常见分布的期望和方差如下：

  
  
  

  image.png

• 协方差(cov)
  协方差常用于衡量两个变量的总体误差

• 相关系数(corr)
  两个变量相关程度

• 中心矩、原点矩
  X的数学期望E(X)是X的一阶原点矩。
  X的方差D(X)是X的二阶中心矩。
  X和Y的协方差Cov(X,Y)是X和Y的二阶混合中心矩

• 峰度
  反应峰部的尖度

• 偏度
  右偏还是左偏

• 三个基本定理

• 切比雪夫不等式 /切比雪夫定理
  设随机变量X的期望为μ，方差为σ2，对于任意的正数ε，有：

  
  
  

  image.png
  
  

  切比雪夫不等式的含义是：DX(方差)越小，时间{|X-μ|<ε}发生的概 率就越大，即：X取的值基本上集中在期望μ附近

• 大数定律
  随着样本容量n的增加，样本平均数将接近于总体的平均数(期望μ)，也可以直接理解为事件发生的频率接近事件的概论。

• 中心极限定理
  当样本n充分大时，样本均值的抽样分布近似 服从均值为μ/n、方差为σ2/n 的正态分布。

• 参数估计

参数估计是概率论的应用，就是我们怎么通过实验获得的值来估计概率函数的参数

• 点估计
  分布函数的形式已知，参数未知
  对未知参数进行定值估计，极大似然和矩估计是点估计的一种算法

• 矩估计
  和极大似然估计的区别是，利用大数定律中的样本均值和总体平均值一样，求出参数

  
  
  

  image.png

• 极大似然估计
  注意分布函数已知，写出似然函数，求导，求出参数值
  1）离散型

  
  
  

  image.png

2）连续型

image.png

由于f(x)>0,f(x)取对数之后的单调性不变，所以可转化为：

image.png

你可能感冒的文章：
我的机器学习pandas篇
我的机器学习matplotlib篇
我的机器学习numpy篇