机器学习随记

1. 在绝大多数情况下，数据之所以长成某个样子是因为它有特定的生成原理（比如所有长得像猫的图片和长得像狗的图片在高维空间中的分布总的来说是分开的，而各自成团），否则数据就是个噪声，没有任何学习的意义。 图模型就是其中的一种，它好使的一部分原因在于可以借鉴已有的图论结论，还有一部分是 因为比较能够接近人类思维推理过程 ，同时比较直观。

2. 在模型选择中，模型其实是一个概率分布，一般用estimated KL来判断这个模型和理想模型之间的距离，比如AIC、BIC。