监督学习的基本假设——联合概率分布，独立同分布

输入空间X与输出空间Y遵循联合概率分布:
$$P(X,Y)$$并依联合概率分布P(X,Y)独立同分布产生。

联合概率分布：两个及以上随机变量组成的随机变量的概率分布

独立同分布：在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。如果随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布，这意味着X1和X2具有相同的分布形状和相同的分布参数，对离散随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的分布函数，相同的期望、方差。如实验条件保持不变，一系列的抛硬币的正反面结果是独立同分布。¹

---

1. https://baike.baidu.com/item/独立同分布/6715110?fr=aladdin ↩︎