机器学习笔记 - 维度诅咒的数学表达

1、点之间的距离

        kNN分类器假设相似的点也可能有相同的标签。但是,在高维空间中,从概率分布中得出的点往往不会始终靠近在一起。 我们可以用一个简单的例子来说明这一点。 我们将在单位立方体内均匀地随机绘制点(如图所示),并研究该立方体内测试点的 k 个最近邻将占用多少空间。

机器学习笔记 - 维度诅咒的数学表达_第1张图片

        想象单位立方体[ 0 , 1 ]^d。 所有训练数据都在这个立方体内均匀采样,即\forall i, x_i \in [ 0 , 1 ]^d,并且我们正在考虑这样一个测试点的k=10个最近邻。

        令 ℓ 为包含测试点的所有 k-nn的最小超立方体的边长。\ell^d\approx\frac{k}{n}

你可能感兴趣的:(深度学习从入门到精通,机器学习,笔记,人工智能)