vl_feat库中的k-means聚类

最近准备好好看一下vl_feat库。

首先简单介绍一下vl_feat库（http://www.vlfeat.org/index.html）。vl_feat库是用C语言开发的一个开源的计算机视觉的库，它比opencv要小，但是实现了一些比较常见的视觉方面的算法（包括HOG,SIFT, MSER, k-means, hierarchical k-means, agglomerative information bottleneck, SLIC superpixels, and quick shift）。它不仅提供了C的API还提供了Matlab的API和toolbox，这也可能是与opencv最大的不同吧。它的主要作者是Andrea Vedaldi（http://www.robots.ox.ac.uk/~vedaldi/），他现在是牛津大学的老师，是计算机视觉方面的一个牛人。

vl_feat库中的聚类主要包括了两种：k-mean clustering和integer k-means（还有层次化的整型k-means，HIKM）。

采用vl_feat进行聚类，一般包括以下步骤：

1. 创建一个k-means聚类对象，设置具体聚类使用的方法（vl_feat库实现了3种聚类方法：Lloyd、Elkan和ANN，其中，Elkan是Lloyd的加速版本，ANN (approximate nearest neighbor) 对integer k-means无效）
2. 初始化种子点
3. 进行聚类

首先介绍一下integer k-means clustering （ikmeans）。整型k-means内容主要来自http://www.cnblogs.com/smyb000/archive/2012/08/28/k-means_cluster_via_vlfeat.html，作者也给出了一个为什么定义整型k-means的解释“IKmeans聚类数据的类型是unsigned char型。虽然这看上去有局限性，但对于图像的特征聚类，算法有很高的准确性，因为在高维空间中（例如SIFT特征，128维），UCHAR型已经足够。”。

针对上面一般步骤，ikmeans实现时具体如下：

1. 利用 vl_ikm_new(VL_IKM_ELKAN) 创建一个ikmeans聚类对象，里面定义了聚类所需的一些数据结构（例如聚类中心，数据维度，聚类中心数等）
   
2. 利用 vl_ikm_init_rand() 随机初始化种子点
3. 利用 vl_ikm_train() 进行聚类

得到聚类结果的时候，利用 vl_ikm_push() 得到聚类结果，即聚类后原数据集中每个点所对应的类标签，从0开始。这个函数还可将任意满足要求的（维度、类型等）数据点进行映射，得到所属类。利用 vl_ikm_get_centers() 可以得到聚类中心。还有其他一些操作，可以具体查看vl_feat官方文档。

实现的时候，先通过随机数产生随机点（2维的），然后进行聚类。为了将结果显示出来，定义了两个显示的图片，show1和show2。

具体代码如下：

void vlikmeans()
{
	int row = 255;
	int col = 255;
	Mat show1 = Mat::zeros(row, col, CV_8UC3);
	Mat show2 = show1.clone();
	
	int data_num = 5000;
	int data_dim = 2;

	vl_uint8 * data = new vl_uint8[data_dim * data_num];

	for (int i = 0; i < data_num; i++)
	{
		vl_uint8 x = data[i * data_dim] = rand() % col;
		vl_uint8 y = data[i * data_dim + 1] = rand() % row;
		circle(show1, Point(x, y), 2, Scalar(255, 255, 255));
	}


	namedWindow("random_points");
	imshow("random_points", show1);
	waitKey(0);

	VlIKMFilt * kmeans = vl_ikm_new(VL_IKM_ELKAN);
	vl_uint k = 3;
	vl_ikm_init_rand(kmeans, data_dim, k);
	vl_ikm_train(kmeans, data, data_num);
	vl_uint * label = new vl_uint[data_num];
	vl_ikm_push(kmeans, label, data, data_num);

	for (int i = 0; i < data_num; i++)
	{
		vl_uint8 x = data[i * data_dim];
		vl_uint8 y = data[i * data_dim + 1];
		switch (label[i])
		{
		case 0:
			circle(show2, Point(x, y), 2, Scalar(255, 0, 0));
			break;
		case 1:
			circle(show2, Point(x, y), 2, Scalar(0, 255, 0));
			break;
		case 2:
			circle(show2, Point(x, y), 2, Scalar(0, 0, 255));
			break;
		}
	}

	const vl_ikm_acc *centers = vl_ikm_get_centers(kmeans);
	circle(show2, Point(centers[0], centers[1]), 4, Scalar(255, 255, 0), 4);
	circle(show2, Point(centers[2], centers[3]), 4, Scalar(255, 255, 0), 4);
	circle(show2, Point(centers[4], centers[5]), 4, Scalar(255, 255, 0), 4);

	namedWindow("vlikmeans_result");
	imshow("vlikmeans_result", show2);
	waitKey(0);

	centers = NULL;
	vl_ikm_delete(kmeans);
	delete[] label;
	label = NULL;
	delete []data;
	data = NULL;
}

在函数退出之前，要养成将创建的数据结构进行释放的习惯，vl_feat也定义了释放的函数。

执行结果如下：

聚类中心的位置看起来有点怪，可能是数据的密度导致的，但是我们肉眼从图中看不出来。

vl_feat中一般情况下的k-means聚类的步骤是：

1. 利用 vl_kmeans_new() 创建一个聚类的对象，它包含了两个参数：数据类型和具体比较的相似度计算方法（距离函数）
2. 利用 vl_kmeans_set_algorithm() 设定需要使用的聚类方法（Lloyd、Elkan还是ANN）
3. 利用 vl_kmeans_init_centers_plus_plus() 或者 vl_kmeans_set_centers() 或者 vl_kmeans_init_centers_with_rand_data() 初始化聚类中心 （由于要与matlab的聚类结果进行对比，实现时采用的是 vl_kmeans_set_centers()）
4. 利用 vl_kmeans_cluster() 进行聚类

可以看出vl_feat中integer k-means和一般的k-means操作不是很统一，可能是由于由不同的作者实现的，他们之间没有统一，这也是个人开源代码难以避免的。在使用过程中要详细的看官方文档，但是vl_feat库的官方文档也较为简单，有时一个函数的作用就一句话，有时候还会有点错误，可能还要在实际使用中进行尝试。

具体代码如下：

void vlkmeans()
{
	int data_num = 10;
	int data_dim = 2;
	int k = 2;

	float *data = new float[data_dim * data_num];
	
	cout << "Points to clustering: " << endl;
	for (int i = 0; i < data_num; i++)
	{
		data[i * data_dim] = (float)rand()/3.0;
		data[i * data_dim + 1] = (float)rand()/3.0;
		cout << data[i * data_dim] << "\t" << data[i * data_dim + 1] << endl;
	}

	float * init_centers = new float[data_dim * k];
	cout << "Initial centers: " << endl;
	for (int i = 0; i < k; i++)
	{
		init_centers[i * data_dim] = (float)rand()/3.0;
		init_centers[i * data_dim + 1] = (float)rand()/3.0;
		cout << init_centers[i * data_dim] << "\t" << init_centers[i * data_dim + 1] << endl;
	}

	VlKMeans * fkmeans = vl_kmeans_new(VL_TYPE_FLOAT, VlDistanceL2);
	vl_kmeans_set_algorithm(fkmeans, VlKMeansElkan);
	
	// vl_kmeans_init_centers_plus_plus(fkmeans, data, data_dim, data_num, k);
	vl_kmeans_set_centers(fkmeans, (void *)init_centers, data_dim, k);
	 vl_kmeans_cluster(fkmeans, data, data_dim, data_num, k);
	// vl_kmeans_set_max_num_iterations(fkmeans, 100);
	// vl_kmeans_refine_centers(fkmeans, data, data_num);
	// vl_kmeans_cluster(fkmeans, data, data_dim, data_num, k);

	const float * centers = (float *)vl_kmeans_get_centers(fkmeans);

	cout << "Clustering Centers: " << endl;
	for (int i = 0; i < k; i++)
	{
		cout << centers[i * data_dim] << "\t" << centers[i * data_dim + 1] << endl;
	}
}

聚类结果如下：

采用matlab聚类的结果是：

2706 1419.88666666667
4213.95242857143 6829.14285714286

可以看出聚类效果是差不多的。

附上整个程序的其他部分：

#include <ikmeans.h>
#include <kmeans.h>

#include <opencv/cv.h>
#include <opencv/cxcore.h>
#include <opencv/highgui.h>

using namespace std;
using namespace cv;

void vlikmeans();
void vlkmeans();

int main()
{

	rand();
	vlikmeans();
	vlkmeans();
	
	system("pause");
	return 0;
}