机器学习：数学基础（概率论与数理统计）

前言
近期在自学机器学习，把笔记做个整理，以方便查阅和整理知识框架。喜欢探讨机器学习或者Android开发技术的同学可以加学习小组QQ群: 193765960。

本文是机器学习的第二篇，仅是根据自己的理解做一个学习笔记，如果有大牛发现我这个小菜鸟的学习路线跑偏了，还希望能够提醒一下哈，在此表示感谢。

版权归作者所有，如有转发，请注明文章出处：https://xiaodanchen.github.io/archives/

数学基础教材名目（我自己根据理解指定的，不一定准确）

• 线性代数（同济大学 第四版）
• 概率论与数理统计（浙江大学 第三版）
• 复变函数（西安交通大学 第四版）
• 随机过程极其应用（陆大絟 清华大学）

概率论与数理统计

第一章 概率论的基本概念

• 确定性现象：在一定条件下必然发生的现象。
• 统计规律性：在大量的重复试验或观察中所呈现出的固有规律性。
• 随机现象：在个别试验中其结果呈现不确定性，在大量重复试验中其结果又具有统计规律性的现象。

随机试验

我们将具有以下三个特点的试验称为随机试验：

• 可在相同的条件下重复试验。
• 能事先明确试验的所有可能出现的结果。
• 进行一次试验，不能确定会出现哪一个试验结果。

样本空间，随机事件

样本空间：随机试验E所有可能出现的结果所组成的已知的集合S，样本空间的元素称为样本点。
随机事件：试验E的样本空间S的子集，严格说是S中满足某些条件的子集，简称事件。由一个样本点组成的单点集，称为基本事件。
必然事件：样本空间S。
不可能事件：空集{% math%}\varnothing {% endmath%}

事件间的关系及事件运算

• 若{% math%}A\subset B{% endmath%},称事件B包含事件A
• 若{% math%}A\subset B{% endmath%} 且{% math%}B\subset A{% endmath%}即A=B,责称事件B等于事件A
• {% math%}A\cup B = \left { x\mid x\in A或 x\in B\right }{% endmath%} 称为事件A与事件B的和事件。类似的{% math%}\bigcup_{k=1}^{n}A_k{% endmath%}称为n个事件{% math%}A_1，A_2，...,A_n{% endmath%}的和事件。{% math%}\bigcup_{k=1}^{\infty }A_k{% endmath%}称为可列事件{% math%}A_1，A_2，...{% endmath%}的和事件。
• {% math%}A\cap B = \left { x\mid x\in A且 x\in B\right }{% endmath%} 称为事件A与事件B的积事件。{% math%}A\cap B{% endmath%}也记作AB。类似的{% math%}\bigcap_{k=1}^{n}A_k{% endmath%}称为n个事件{% math%}A_1，A_2，...,A_n{% endmath%}的积事件。{% math%}\bigcap_{k=1}^{\infty }A_k{% endmath%}称为可列事件{% math%}A_1，A_2，...{% endmath%}的积事件。
• {% math%}A-B = \left { x\mid x\in A或 x\notin B\right }{% endmath%} 称为事件A与B的差事件。
• 若{% math%}A\cap B = \varnothing {% endmath%}则称事件A与B互不相容或者互斥。
• 若{% math%}A\cup B = S且A\cap B = \varnothing {% endmath%}则称事件A与B互为逆事件或者互为对立事件。

时间运算

• 交换律：{% math%}A\cup B = b\cup A; A\cap B = B\cap A{% endmath%}
• 结合律：{% math%}A\cup (B\cup C) = (A\cup B)\cup C;A\cap (B\cap C) = (A\cap B)\cap C;{% endmath%}
• 分配律：{% math%}A\cup (B\cap C) = (A\cup B)\cap (A\cup C);A\cap (B\cup C) = (A\cap B)\cup (A\cap C);{% endmath%}
• 德.摩根律：{% math%}\overline{A\cup B} = \overline{A} \cap \overline{B};\overline{A\cap B} = \overline{A} \cup \overline{B};{% endmath%}

频率与概率

定义：
在n次试验中，事件A发生的次数称为频数，记为{% math%}n_A{% endmath%}。比值{% math%}\frac{n_A}{n}{% endmath%}称为事件A发生的频率

{% math%}{% endmath%}