创建一个Android应用程序以使用Firebase ML识别面部轮廓

Firebase ML Kit是一组本地和基于云的API，用于向移动应用程序添加机器学习功能，最近已得到增强，可支持面部轮廓检测。由于这个强大的功能，您不再需要在检测面部时将自己限制为近似矩形。相反，您可以使用大量坐标来准确描述检测到的面部和面部标志的形状，例如眼睛，嘴唇和眉毛。

这使您可以轻松创建人工智能应用程序，可以执行复杂的计算机视觉相关任务，如交换面部，识别情绪或应用数字化妆。

在本教程中，我将向您展示如何使用ML Kit的面部轮廓检测功能来创建可以突出显示照片中面部的Android应用程序。

先决条件

要充分利用本教程，您必须具有以下权限：

最新版本的Android Studio
运行Android API级别23或更高级别的设备

1.配置项目

由于ML Kit是Firebase平台的一部分，因此您需要一个Firebase项目才能在Android Studio项目中使用它。要创建一个，请转到“ 工具”>“Firebase”以启动Firebase助手。

接下来，打开“ 分析” 部分，然后按“ 连接” 按钮。在弹出的对话框中，键入新Firebase项目的名称，选择您所在的国家/地区，然后按“ 连接” 按钮。

连接到Firebase对话框

成功连接后，按“ 将分析添加到应用程序” 按钮，以便助理可以在Android Studio项目中进行所有必要的与Firebase相关的配置更改。

此时，如果您打开app 模块的build.gradle 文件以及其他更改，您应该看到其中implementation 存在以下依赖项：

implementation 'com.google.firebase:firebase-core:16.0.4'

为了能够使用ML Kit的面部轮廓检测功能，您还需要两个依赖项：一个用于最新版本的ML Vision库，另一个用于ML Vision面部模型。以下是添加它们的方法：

implementation 'com.google.firebase:firebase-ml-vision:18.0.1'
implementation 'com.google.firebase:firebase-ml-vision-face-model:17.0.2'

在本教程中，您将使用远程图像。为便于下载和显示此类图像，请为Picasso库添加依赖项：

implementation 'com.squareup.picasso:picasso:2.71828'

ML Kit的面部轮廓检测始终在用户设备上本地运行。默认情况下，在用户首次打开应用程序时会自动下载进行面部轮廓检测的机器学习模型。但是，为了改善用户体验，我建议您在用户安装应用后立即开始下载。为此，请将以下标记添加到AndroidManifest.xml 文件中：

2.创建布局

您将在应用程序的布局中需要三个小部件：EditText 用户可以在其中键入在线照片的URL的ImageView 小部件，用于显示照片的Button 小部件以及用于启动面部轮廓检测过程的小部件。此外，您还需要一个 RelativeLayout 小部件来定位三个小部件。因此，将以下代码添加到主活动的布局XML文件中：

`<``RelativeLayout`

`xmlns:android``=``"[http://schemas.android.com/apk/res/android](http://schemas.android.com/apk/res/android)"`

`android:layout_width``=``"match_parent"`

`android:layout_height``=``"match_parent"`

`android:padding``=``"16dp"``>`

`<``EditText` `android:layout_width``=``"match_parent"`

`android:layout_height``=``"wrap_content"`

`android:hint``=``"Image URL"`

`android:imeOptions``=``"actionGo"`

`android:inputType``=``"textUri"`

`android:id``=``"@+id/user_input"` `/>`

`<``Button` `android:layout_width``=``"match_parent"`

`android:layout_height``=``"wrap_content"`

`android:text``=``"Detect contours"`

`android:layout_alignParentBottom``=``"true"`

`android:id``=``"@+id/action_button"` `/>`

`<``ImageView` `android:layout_width``=``"match_parent"`

`android:layout_height``=``"match_parent"`

`android:id``=``"@+id/photo"`

`android:layout_below``=``"@+id/user_input"`

`android:layout_above``=``"@id/action_button"`

`android:scaleType``=``"centerCrop"``/>`

``

3.下载和显示图像

使用Picasso库，下载和显示远程图像只需要调用两种方法。首先，调用load() 方法以指定要下载的图像的URL，然后调用该into() 方法以指定ImageView 要在其中显示下载图像的窗口小部件。

当然，只有在用户输入URL后才能调用这两种方法。因此，请确保在OnEditorActionListener 附加到EditText 上一步中创建的窗口小部件的对象中调用它们。以下代码显示了如何执行此操作：

user_input.setOnEditorActionListener { _, action, _ ->
    if(action == EditorInfo.IME_ACTION_GO) {
        Picasso.get()
            .load(user_input.text.toString())
            .into(photo)
        true
    }
    false
}

立即运行应用程序并尝试键入有效的图像URL以确保其正常工作。

应用程序显示照片

4.创建面部轮廓检测器

您将在附加到Button 布局窗口小部件的单击事件处理程序中运行所有面部轮廓检测操作。因此，在继续之前，请将以下代码添加到您的活动：

action_button.setOnClickListener {
 
    // Rest of the code goes here
     
}

为了能够处理面部数据，您现在必须创建一个 FirebaseVisionFaceDetector 对象。但是，由于默认情况下它不会检测面的轮廓，因此您还必须创建一个FirebaseVisionFaceDetectorOptions 可以对其进行配置的对象。

要创建有效的选项对象，必须遵循构建器模式。因此，创建FirebaseVisionFaceDetectorOptions.Builder 类的实例，调用其 setContourMode() 方法，并将ALL_CONTOURS 常量传递给它，以指定您要检测图像中存在的所有面的轮廓。

然后调用build() 构建器的方法来生成选项对象。

val detectorOptions =
        FirebaseVisionFaceDetectorOptions.Builder()
            .setContourMode(
                FirebaseVisionFaceDetectorOptions.ALL_CONTOURS
            ).build()

您现在可以将选项对象传递给getVisionFaceDetector() ML Kit FirebaseVision 类的方法来创建面部轮廓检测器。

val detector = FirebaseVision
                        .getInstance()
                        .getVisionFaceDetector(detectorOptions)

5.收集坐标数据

面部轮廓检测器无法直接使用ImageView 窗口小部件显示的照片。相反，它希望您将FirebaseVisionImage 对象传递给它。要生成此类对象，必须将照片转换为Bitmap 对象。以下代码显示了如何执行此操作：

val visionImage = FirebaseVisionImage.fromBitmap(
    (photo.drawable as BitmapDrawable).bitmap
)

您现在可以调用detectInImage() 检测器的方法来检测照片中存在的所有面部的轮廓。该方法以异步方式运行，并在FirebaseVisionFace 成功完成后返回对象列表。

detector.detectInImage(visionImage).addOnSuccessListener {
    // More code here
}

在on-success侦听器中，您可以使用it 隐式变量来遍历检测到的面部列表。每个面都有大量与之相关的轮廓点。要访问这些点，您必须调用该getContour() 方法。该方法可以返回几个不同面部标志的轮廓点。例如，如果将常量传递 LEFT_EYE 给它，它将返回左眼轮廓所需的点。同样，如果你传递UPPER_LIP_TOP 给它，你将得到与上唇顶边相关的点。

在本教程中，我们将使用FACE 常量，因为我们想要突出显示面部本身。以下代码显示如何打印沿每个面边缘存在的所有点的X和Y坐标：

it.forEach {
    val contour = it.getContour(FirebaseVisionFaceContour.FACE)
    contour.points.forEach {
        println("Point at ${it.x}, ${it.y}")
    }
 
    // More code here
}

如果您现在尝试使用该应用程序并指定其中至少有一个面部的图像，您应该在Logcat 窗口中看到类似的内容：

Logcat窗口显示轮廓点的坐标

6.在脸部周围绘制路径

要突出显示检测到的面部，让我们使用轮廓点简单地绘制它们周围的路径。为了能够绘制这样的路径，您需要一个ImageView 小部件位图的可变副本。通过调用其copy() 方法创建一个。

val mutableBitmap = 
        (photo.drawable as BitmapDrawable).bitmap.copy(
            Bitmap.Config.ARGB_8888, true
        )

通过直接修改位图的像素来绘制路径可能很困难。因此，通过将它传递给Canvas 类的构造函数，为它创建一个新的2D画布。

此外，创建一个Paint 对象以指定要在画布上绘制的像素的颜色。以下代码显示如何创建可在其上绘制半透明红色像素的画布：

val canvas = Canvas(mutableBitmap)
 
val myPaint = Paint(Paint.ANTI_ALIAS_FLAG)
myPaint.color = Color.parseColor("#99ff0000")

在画布上绘制路径的最简单方法是使用Path 该类。通过使用类的直观命名 moveTo() 和lineTo() 方法，您可以轻松地在画布上绘制复杂的形状。

现在，要绘制一个面的形状，请调用该moveTo() 方法一次，并将第一个轮廓点的坐标传递给它。通过这样做，您可以指定路径的开始位置。然后将所有点的坐标传递给lineTo() 方法以实际绘制路径。最后，调用close() 方法关闭路径并填充它。

因此，添加以下代码：

val path = Path()
path.moveTo(contour.points[0].x, contour.points[0].y)
contour.points.forEach {
    path.lineTo(it.x, it.y)
}
path.close()

要渲染路径，请将其drawPath() 与Paint对象一起传递给画布的方法。

canvas.drawPath(path, myPaint)

要更新ImageView 窗口小部件以显示修改后的位图，请将位图传递给其setImageBitmap() 方法。

photo.setImageBitmap(mutableBitmap)

如果你现在运行应用程序，你应该能够看到它在它检测到的所有面上绘制半透明的红色蒙版。

应用程序突出显示一个脸

结论

借助ML Kit新的人脸轮廓检测API和一点创造力，您可以轻松创建人工智能应用程序，可以执行复杂的计算机视觉相关任务，如交换面部，检测情绪或应用数字化妆。在本教程中，您学习了如何使用API生成的2D坐标来绘制突出显示照片中存在的面的形状。