关于概率的一点东西ch0

概率公理

这里我们直接照抄中文维基百科的中文词条 概率公理

假设我们有一个基础集 $\Omega$ ，其子集的集合$\mathcal{F}$为$\sigma$代数，和一个给$\mathcal{F}$的元素指定一个实数的函数 $P$。 $\mathfrak{F}$ 的元素是 $\Omega$ 的子集，称为“事件”。

第一公理（非负性）

对于任意一个集合 $A\in \mathcal{F}$， 我们有 $P(A)\ge 0$。
即，任一事件的概率都可以用 0 到 1区间（包含0与1）上的一个实数来表示。

第二公理（归一化）

$P(\Omega )=1$。
即，整体样本集合中的某个基本事件发生的概率为1。更加明确地说，在集合$\Omega$ 之外已经不存在基本事件了。

这在一些错误的概率计算中经常被小看；如果你不能准确地定义整个样本集合，那么任意子集的概率也不可能被定义。

第三公理（可加性）

任意两两不相交事件$E_1,E_2,...$ 的可数序列满足$P(E_1\cup E_2\cup \cdots )=\sum P(E_i)$ 。
即，不相交子集的并的事件集合的概率为那些子集的概率的和。这也被称为是$\sigma$可加性。如果存在子集间的重叠，这一关系不成立。

相关概念

幂集

数学上，给定集合$S$，其幂集 $\mathcal{P}(S)$（或作 $2^S$ ）是以 $S$ 的全部子集为元素的集合。以符号表示即为:
$$P(S):=\{U|U\subseteq S\}$$
举个例子，若 $S$是集合 $\{a,b,c\}$，则$S$的全部子集如下：

• $\varnothing$ （空集）
• $\{a\}$
• $\{b\}$
• $\{c\}$
• $\{a,b\}$
• $\{a,c\}$
• $\{b,c\}$
• $\{a,b,c\}$
  因此$S$的幂集为
  $$P(S)=\{\varnothing ,\{a\},\{b\},\{c\},\{a,b\},\{a,c\},\{b,c\},\{a,b,c\}\}$$
  需要强调的是，幂集是一个集合的集合，其元素也都是集合。

$\sigma$代数

在数学中，某个集合$X$上的$\sigma$代数又叫$\sigma$域，是$X$的所有子集的集合（也就是幂集）的一个子集。这个子集满足对于差集运算和可数个并集运算的封闭性（因此对于可数个交集运算也是封闭的）。

设$X$为非空集合， $\mathcal{F}$中的元素是$X$ 的子集合，满足以下条件的集合系 $\mathcal{F}$称为$X$上的一个$\sigma$代数：

• $X$在$\mathcal{F}$中；
• 如果一个集合$A$在$\mathcal{F}$ 中，那么它的差集 $A^c$也在 $\mathcal{F}$中；
• 如果有可数个集合 $A_1,A_2,\cdots ,A_n\cdots$ 都在 $\mathcal{F}$中，那么它们的并集也在$\mathcal{F}$中。

用数学语言来表示，就是

• $X\in \mathcal{F}$;
• $A\in \mathcal{F}⟹A^c\in \mathcal{F}$
• $(\forall n\in \mathbb{N}{A}_n\in \mathcal{F})⟹\bigcup _{n=1}^{\infty }{A}_n\in \mathcal{F}$.
  不借助逻辑符号的话，也可以使用如下定义：设 $X$为非空集合。则 $X$上的一个$\sigma$代数是指其幂集的一个子集合$\mathcal{F}$。$\mathcal{F}$中的元素，在经过有限个差集、交集或可数个并集这三种运算后依然属于 $\mathcal{F}$，也就是说$\mathcal{F}$ 对这三运算是封闭（closed）的 。

举两个σ-代数的简单例子，它们分别是：

• $X$上含集合最少的$\sigma$代数 $\{\varnothing ,X\}$；$X$上含集合最多的σ代数是 $X$ 的幂集$2^X:=\{A:A\subset X\}$。
• 假设集合 $X=\{a,b,c,d\}$，那么$\mathcal{F}=\{\varnothing ,\{a\},\{b,c,d\},X\}$ 是集合$X$上的一个$\sigma$代数。这也是所有包含$\{a\}$ 的$\sigma$代数中最“小”的一个。

关于$\sigma$代数还有很多性质以及更深一步的讨论，为了理解概率论，不喧宾夺主。我们点到为止。但是这里还有一个概念尤为重要可数，有限。但是不做过多探讨。
我先引用教材（Real Analysis (4th Edition) [Halsey Royden, Patrick Fitzpatrick]）上的话来回答问题，不再具体解释了。
A set E is said to be finite provided either it is empty or there is a natural number n for which E is equipotent to {1, …, n}. We say that E is countably infinite provided E is equipotent to the set N of natural numbers. A set that is either finite or countably infinite is said to be countable. A set that is not countable is called uncountable.

概率空间

概率空间$(\Omega ,\mathcal{F},P)$ 是一个总测度为1的测度空间（即P(Ω)=1）.

• 第一项$\Omega$是一个非空集合，有时称作“样本空间”。$\Omega$的集合元素称作“样本输出”，可写作$\omega$。
  A sample space, $\Omega$ , which is the set of all possible outcomes.
• 第二项$\mathcal{F}$是样本空间$\Omega$的幂集的一个非空子集。$\Omega$的集合元素称为事件$\Sigma$。事件$\Sigma$是样本空间$\Omega$的子集。集合$\mathcal{F}$必须是一个σ-代数。
  A set of events$\mathcal{F}$, where each event is a set containing zero or more outcomes.
• 第三项$P$称为概率，或者概率测度。这是一个从集合F到实数域R的函数， $P:F\mapsto R$ 。每个事件都被此函数赋予一个0和1之间的概率值。概率测度经常以黑体表示，例如 $\mathbb{P}$或$\mathbb{Q}$，也可用符号"Pr"来表示。
  The assignment of probabilities to the events; that is, a function $P$ from events to probabilities.

进一步的一些概念和定义

随机变量

随机变量是一个从$\Omega$映射到另一个集合(通常是实数域R，有时也可以到复数域)的函数。 它必须是一个可测函数。初等概率论中通常不涉及到可测性的概念，而直接把任何 $X:\Omega \to \mathbb{R}$的函数称为随机变量。比如说，若$X$是一个实随机变量，则使$X$为正的样本输出的集合$\{\omega \in \Omega :X(\omega )>0\}$是一个事件。

为简便起见，$\{\omega \in \Omega :X(\omega )>0\}$经常只写作$\{X>0\}$。$P(\{X>0\})$更被简化为$P(X>0)$。

独立

若$P(A\cap B)=P(A)P(B)$，则A和B两个事件是独立的。

若任何与随机变量$X$有关的事件和任何与随机变量$Y$有关的事件独立，则$X$和$Y$两个随机变量是独立的。

独立这个概念是概率论和测度论分道扬镳的地方。

互斥

若$P(A\cap B)=0$，则称$A$和$B$两个事件互斥或不相交（这个性质要比$A\cap B=\varnothing$弱一些，后者是集合不相交的定义）。

若两个事件A和B不相交，则$P(A\cup B)=P(A)+P(B)$。这个性质可以扩展到由（有限个或者可数无限个）事件组成的事件序列。 但不可数无限个事件组成的事件集合对应的概率与集合元素对应概率之和未必相等，例如若$Z$是正态分布的随机变量，则对任意$x$有$P(Z=x)=0$，但是$P(Z是实数)=1$。

事件$A\cap B$的意思是$A$并且$B$；事件$A\cup B$的意思是$A$或者$B$.

关于互斥(mutually exclusive)和不相交(disjoint)，这里 (stackexchange)有个说明还不错。
ASK:
When I study Statistical Theory, I find that these two concepts confuse me a lot.

By definition, if we say two events are PAIRWISE DISJOINT, that means the intersection of these two event is empty set. If we say that two events are MUTUALLY EXCLUSIVE, that means if one of these two events happens, the other will not. But doesn’t it means that these two events are PAIRWISE DISJOINT？

If we say two events are MUTUALLY EXCLUSIVE, then they are not INDEPENDENT. Can we say that two PAIRWISE DISJOINT events are not INDEPENDENT as well？

If these two concepts are different (actually my teacher told me they are), could you please give me an example that two events are MUTUALLY EXCLUSIVE but not PAIRWISE DISJOINT, or they are PAIRWISE DISJOINT but not MUTUALLY EXCLUSIVE.

Thank you for your help.

ANSWER:
“Disjoint” is a property of sets. Two sets are disjoint if there is no element in both of them, that is if $A\cap B=\varnothing$.

In some (but not all!) texts, “mutually exclusive” is a slightly different property of events (sets in a probability space). Two events are mutually exclusive if the probability of them both occurring is zero, that is if $Pr(A\cap B)=0$. With that definition, disjoint sets are necessarily mutually exclusive, but mutually exclusive events aren’t necessarily disjoint.

Consider points in the square with each coordinate uniformly distributed from 0 to 1. Let $A$ be the event where the x-coordinate is 0, and $B$ be the event that the y-coordinate is 0. $A\cap B=\{(0,0)\}$ so $A$ and $B$ are not disjoint, but $Pr(A\cap B)=0$ so they are mutually exclusive.

As a second (silly, but finite) example, let the sample space be $S=\{x,y,z\}$ with probabilities $Pr(\{x\})=0,Pr(\{y\})=1/2$, and $Pr(\{z\})=1/2$. If $A=\{x,y\}$ and $B=\{x,z\}$, then $A\cap B=\{x\}$, but $Pr(A\cap B)=Pr(\{x\})=0$. They are mutually exclusive but not disjoint.