K-means之C++及OpenCV实现

K-means算法算是个著名的聚类算法了，不仅容易实现，并且效果也不错，训练过程不需人工干预，实乃模式识别等领域的居家必备良品啊，今天就拿这个算法练练手。

总结来说，这个算法的步骤如下：

1.随机选取样本中的K个点作为聚类中心
2.计算所有样本到各个聚类中心的距离，将每个样本规划在最近的聚类中
3.计算每个聚类中所有样本的中心，并将新的中心代替原来的中心
4.检查新老聚类中心的距离，如果距离超过规定的阈值，则重复2-4，直到小于阈值

那么，现在，我实现的程序的步骤也是按照上面一步一步来的，

为了方便，我直接在平面上随机产生n个点，选取前K个点作为聚类中心，

距离就定义为平面上的欧式距离，

然后为了形象化地观察过程和结果，我将过程以图像的方式显示。

代码如下：

首先是主体：

int iter_times = 0;//迭代次数
    while(!good_result())//检查是否是需要的聚类中心
    {
        for(int i = 0;i < POINT_NUM;i++)
        {
            double min = 10000;
            int min_k = 0;
            for(int j = 0;j < K;j++)
            {
                double tmp = DIS(c[j].center,s[i].p); 
                if(tmp < min)
                {
                    min = tmp;
                    min_k = j; 
                }
            }
            s[i].cluster = min_k;
            c[min_k].count++;
        }
        update_center();//更新聚类中心
        iter_times++;
        show_outcome();
    }

然后是其他函数的实现：

void update_center()
{
    double x[K],y[K];
    memset(x,0,sizeof(x));
    memset(y,0,sizeof(y));
    for(int i = 0;i < POINT_NUM;i++)
    {
        x[s[i].cluster] += s[i].p.x;
        y[s[i].cluster] += s[i].p.y;
    }
    for(int i = 0;i < K;i++)
    {
        c[i].pre_center = c[i].center;
        c[i].center.x = x[i] / c[i].count;
        c[i].center.y = y[i] / c[i].count;
        c[i].count = 0;
    }
}

判断是否是需要的：

bool good_result()
{
    for(int i = 0;i < K;i++)
    {
        if(DIS(c[i].center,c[i].pre_center) > TH)
            return false;
    }
    return true;
}

显示结果：

void show_outcome()
{
    for(int y = 0;y < HEIGHT;y++)//这里将平面中所有的点都标记，就可以看到平面是怎样被划分的了
        for(int x = 0;x < WIDTH;x++)
        {
            double min = 1000;
            int min_k = 0;
            CvPoint p = cvPoint(x,y);
            for(int i = 0;i < K;i++)
            {
                double tmp = DIS(c[i].center,p); 
                if(tmp < min)
                {
                    min = tmp;
                    min_k = i; 
                }
            }
            IMG_B(img,x,y) = color[min_k].val[0];
            IMG_G(img,x,y) = color[min_k].val[1];
            IMG_R(img,x,y) = color[min_k].val[2];
            IMG_A(img,x,y) = 200;//4通道图像，就是说可以是透明的，纯试验而已，哪知道直接显示没效果，要保存之后才能看出来。
        }
    CvScalar scalar = cvScalar(255,255,255,255);
    for(int i = 0;i < POINT_NUM;i++)//画每个样本点
    {
        int x = s[i].p.x;
        int y = s[i].p.y;
        cvLine(img,cvPoint(x - 5,y),cvPoint(x + 5,y),scalar,2);
        cvLine(img,cvPoint(x,y - 5),cvPoint(x,y + 5),scalar,2);
    }
    for(int i = 0;i < K;i++)//画聚类中心
    {
        int x = c[i].center.x;
        int y = c[i].center.y;
        cvCircle(img,cvPoint(x,y),20,scalar,2);
    }
    cvShowImage("Image",img);
    cvWaitKey(100);//100毫秒是个差不多的数值，可以完整的看到聚类过程
}

看下效果：

而通过几次运行和观察，阈值不必取的很小，首先是迭代次数越来越多，时间越来越长，但结果差别却是越来越小，即，到几次迭代之后就能取得好的效果了，再迭代下去取的结果跟原来相差不大。

然后，Kmeans的缺点：

K值完全是凭经验自己定义，无法自动计算

结果跟初始时取的聚类中心差别很大，即每次计算都将有误差