openCV【实践系列】7——面部标志检测

在本教程中,我们将学习如何完全自动地从照片中消除红眼。
如何自动删除红眼?
第1步:眼睛检测
第一步是自动检测眼睛。我们使用标准的OpenCV Haar检测器(haarcascade_eye.xml)来寻找眼睛。有时,首先运行面部检测器然后检测面部区域内的眼睛是有意义的。为了简单起见,我们直接在图像上运行眼睛检测器。当输入图像是人像拍摄,或者你有眼睛的特写镜头时,跳过面部检测器。
第2步:遮住红眼睛
接下来,我们需要找到受红眼影响的瞳孔部分。有许多不同的方法可以找到红色的东西。需要注意的一点是,我们的颜色不仅仅是红色,而是鲜红色!你可以根据色度和亮度将图像转换为HSV色彩空间和阈值。在这篇文章中,我们使用了一种更简单的启发式方法。我们说他的红色通道应该大于阈值,也是绿色和蓝色通道的总和。出于概念验证系统的目的,启发式是足够的,但如果你想为商业软件包构建自动防红眼,你需要收集成千上万的红眼图像才能做出更好的东西。
在下面的代码中,我们遍历我们在上一步中检测到的所有眼睛矩形。然后我们使用命令split将彩色图像分割成三个通道。最后,我们为每个像素创建一个掩码,其中红色通道高于阈值(150),红色通道大于绿色和蓝色通道的总和。
代码:
for (x, y, w, h) in eyes:
  # 从图像中提取眼睛的位置
  eye = img[y:y+h, x:x+w]
  # 将眼睛图像分离成3通道
  b = eye[:, :, 0]
  g = eye[:, :, 1]
  r = eye[:, :, 2]
  # 添加绿色和蓝色通道
  bg = cv2.add(b, g)
  # 简单的红眼检测器
  mask = (r > 150) &  (r > bg)
  # 将掩码转换为uint8格式
  mask = mask.astype(np.uint8)*255
3步:清理瞳孔掩码
openCV【实践系列】7——面部标志检测_第1张图片
图1:左:基于颜色的瞳孔掩模 中间:填充孔的瞳孔掩模 右:膨胀瞳孔掩模
在上一步中创建的掩模很可能会有洞。图1中的左图显示了使用颜色处理获得的原始掩模。我们使用下面分享的代码删除了掩码中的洞。
def fillHoles(mask):
    maskFloodfill = mask.copy()
    h, w = maskFloodfill.shape[:2]
    maskTemp = np.zeros((h+2, w+2), np.uint8)
    cv2.floodFill(maskFloodfill, maskTemp, (0, 0), 255)
    mask2 = cv2.bitwise_not(maskFloodfill)
    return mask2 | mask

此外,膨胀掩模是一个好主意,以便于它覆盖了比需要的区域稍大。这是因为在边界处颜色逐渐消失,并且在我们的最初掩模中可能没有捕捉到一些红色。在图1中,右图是膨胀的掩模。我们使用下面分享的代码来膨胀掩模。

# 通过填充孔和膨胀来清理掩模
mask = fillHoles(mask)
mask = cv2.dilate(mask, None, anchor=(-1, -1), iterations=3, borderType=1, borderValue=1)

4步:修复红眼

现在我们有一个只包含每只眼睛红色区域的掩模。我们接下来展示如何处理这个掩模内的区域以修复红眼。
我们知道红眼睛会使图像中的红色通道饱和。换句话说,红色通道中的所有信息都被破坏。我们怎样才能恢复这些信息呢?修复红眼时,我们不需要在红色通道中检索真正的底层纹理; 我们只需要找到合理的纹理。
幸运的是,红眼效果仅在红色通道中破坏纹理; 蓝色和绿色通道仍然很好。您可以在下图中看到图像的红色,绿色和蓝色通道
openCV【实践系列】7——面部标志检测_第2张图片
图2:左:红色通道 中间:蓝色通道 右:绿色通道
可以使用绿色和蓝色通道的组合来提供合理的红色通道。例如,我们可以创建一个红色通道,它是图像中绿色和蓝色通道的平均值。然而,这样做可能会给瞳孔带来轻微的色调,看起来不错,但不是很好。注意中心图像中的紫色调
openCV【实践系列】7——面部标志检测_第3张图片
图3:左:红眼 中间:通过更换红色通道修复 右:通过更换所有通道修复

 

这给我们带来了一个重要问题。瞳孔的颜色应该是什么?瞳孔是眼睛的开口,眼睛的内部是完全黑暗的。因此,瞳孔应该是无色的(灰度)和黑暗的。我们不是仅仅替换瞳孔区域中的红色通道,而是用绿色和蓝色通道的平均值替换所有通道,这就消除了紫色调。
下面的代码首先通过平均绿色和蓝色通道来创建平均通道。然后用该平均通道替换所有通道的掩模区域内的所有像素
 
# 通过平均绿色和蓝色通道值来计算平均通道
#Recall, bg = cv2.add(b, g)
mean = bg / 2
mask = mask.astype(np.bool)[:, :, np.newaxis]
mean = mean[:, :, np.newaxis]
# 从初始图像中复制眼睛
eyeOut = eye.copy()
# 将平均图像复制到输出图像
np.copyto(eyeOut, mean, where=mask)
步骤5:更换修复的眼睛区域
在上一步中,我们修复了三个通道。最后一步是合并三个通道以创建RGB图像,然后将此修复的眼睛区域放回原始图像中。
代码:
# 将修复的眼睛复制到输出图像
imgOut[y:y+h, x:x+w, :] = eyeOut
自动红眼消除结果
我们首先在开始的示例图像上显示结果。
openCV【实践系列】7——面部标志检测_第4张图片
图4:红眼消除结果
请注意,从瞳孔掩模区域移除所有颜色会使图像看起来很漂亮,因为眼睛中心的点是完全白色的。还要注意,在瞳孔的边界上红色消失,但是由于膨胀操作,我们仍然可以捕获到该区域。
openCV【实践系列】7——面部标志检测
https://bbs.easyaiforum.cn/thread-854-1-1.html
(出处: 易学智能)
 

你可能感兴趣的:(学习资料)