不管新版本的CascadeClassifier,还是老版本的HAAR检测函数cvHaarDetectObjects,都使用了groupRectangles函数进行窗口的组合,其函数原型有以下几个:
CV_EXPORTS void groupRectangles(CV_OUT CV_IN_OUT vector<Rect>& rectList, int groupThreshold, double eps=0.2);
CV_EXPORTS_W void groupRectangles(CV_OUT CV_IN_OUT vector<Rect>& rectList, CV_OUT vector<int>& weights, int groupThreshold, double eps=0.2);
CV_EXPORTS void groupRectangles( vector<Rect>& rectList, int groupThreshold, double eps, vector<int>* weights, vector<double>* levelWeights );
CV_EXPORTS void groupRectangles(vector<Rect>& rectList, vector<int>& rejectLevels,
vector<double>& levelWeights, int groupThreshold, double eps=0.2);
CV_EXPORTS void groupRectangles_meanshift(vector<Rect>& rectList, vector<double>& foundWeights, vector<double>& foundScales,
double detectThreshold = 0.0, Size winDetSize = Size(64, 128));
最后一个函数添加mean shift进行组合聚类,下面针对
groupRectangles函数进行说明(前三个函数都调用了参数最多的第四个函数实现):
rectList:带组合的窗口,即作为输入又作为输出
rejectLevels:通过分类器的stage数,一般不小于stage总数-4,也就是weights
levelWeights:通过上述stage数的输出权重,也就是通过的stage数的所有node之和,里面即
包含left_val又right_val,同一个node只包含其中的一个
groupThreshold:组合阈值,
当没有输入rejectLevels的时候,
当待合并的窗口数大于该阈值的时候才可能进行合并,否则放弃;
当输入rejectLevels的时候,当前组合下通过检测的stage最大值数大于该阈值的时候才可能进行合并,否则放弃
eps:待合并的两个窗口的相关性,从矩形所在位置的像素差值考虑,当eps为0的时候不进行合并,直接返回
该函数的内部执行流程
1) 当组合阈值groupThreshold小于等于0的时候,如果输出weights,则weights中返回与rectList同样个数个1,函数直接返回,不进行合并操作
2) 调用partition函数对rectList中的矩形进行分类
vector<int> labels;
int nclasses = partition(rectList, labels, SimilarRects(eps));
其中nclasses表示组合类别,labels表示每个rect属于哪个类别的,相似度计算使用SimilarRects类
关于partition函数简介: http://docs.opencv.org/modules/core/doc/clustering.html#partition,实现不相交集合数据结构的类别
值得一提的是,该函数的调用必须输入不相交的计算方法,在groupRectangles函数中使用SimilarRects计算相似度,输入参数为eps,相似的矩形是要被分为同一类的
SimilarRect中计算相似度的方法:
inline bool operator()(const Rect& r1, const Rect& r2) const
{
// delta为最小长宽的eps倍
double delta = eps*(std::min(r1.width, r2.width) + std::min(r1.height, r2.height))*0.5;
// 如果矩形的四个顶点的位置差别都小于delta,则表示相似的矩形
return std::abs(r1.x - r2.x) <= delta &&
std::abs(r1.y - r2.y) <= delta &&
std::abs(r1.x + r1.width - r2.x - r2.width) <= delta &&
std::abs(r1.y + r1.height - r2.y - r2.height) <= delta;
}
3) 组合分到同一类别的矩形并保存当前类别下通过stage的最大值以及最大的权重
for( i = 0; i < nlabels; i++ )
{
int cls = labels[i];
rrects[cls].x += rectList[i].x;
rrects[cls].y += rectList[i].y;
rrects[cls].width += rectList[i].width;
rrects[cls].height += rectList[i].height;
rweights[cls]++;
}
for( i = 0; i < nclasses; i++ )
{
Rect r = rrects[i];
float s = 1.f/rweights[i];
rrects[i] = Rect(saturate_cast<int>(r.x*s),
saturate_cast<int>(r.y*s),
saturate_cast<int>(r.width*s),
saturate_cast<int>(r.height*s));
}
for( i = 0; i < nlabels; i++ )
{
int cls = labels[i];
if( (*weights)[i] > rejectLevels[cls] )
{
rejectLevels[cls] = (*weights)[i];
rejectWeights[cls] = (*levelWeights)[i];
}
else if( ( (*weights)[i] == rejectLevels[cls] ) && ( (*levelWeights)[i] > rejectWeights[cls] ) )
rejectWeights[cls] = (*levelWeights)[i];
}
4) 按照groupThreshold合并规则,以及是否存在包含关系输出合并后的矩形
for( i = 0; i < nclasses; i++ )
{
Rect r1 = rrects[i];
int n1 = levelWeights ? rejectLevels[i] : rweights[i];
double w1 = rejectWeights[i];
// 合并的矩形数小于等于组合阈值不进行输出
if( n1 <= groupThreshold )
continue;
// filter out small face rectangles inside large rectangles
for( j = 0; j < nclasses; j++ )
{
int n2 = rweights[j];
if( j == i || n2 <= groupThreshold )
continue;
Rect r2 = rrects[j];
int dx = saturate_cast<int>( r2.width * eps );
int dy = saturate_cast<int>( r2.height * eps );
// 当r1在r2的内部的时候,停止
if( i != j &&
r1.x >= r2.x - dx &&
r1.y >= r2.y - dy &&
r1.x + r1.width <= r2.x + r2.width + dx &&
r1.y + r1.height <= r2.y + r2.height + dy &&
(n2 > std::max(3, n1) || n1 < 3) )
break;
}
// r1不在r2的内部时j才可能等于nclasses
if( j == nclasses )
{
rectList.push_back(r1);
if( weights )
weights->push_back(n1);
if( levelWeights )
levelWeights->push_back(w1);
}
}