Vision框架详细解析（一） —— 基本概览（一）

版本记录

版本号	时间
V1.0	2017.10.29

前言

ios 11+和macOS 10.13+ 新出了Vision框架，提供了人脸识别、物体检测、物体跟踪等技术，它是基于Core ML的。可以说是人工智能的一部分，接下来几篇我们就详细的解析一下Vision框架。

框架基本

先看一下该框架的基本信息。

应用高性能图像分析和计算机视觉技术来识别图像和视频中的面部，特征检测和场景分类。具体Vision的架构如下所示。

---

框架结构

1. First Steps

• VNImageRequestHandler

  • 处理与单个图像有关的一个或多个图像分析请求的对象。

• VNSequenceRequestHandler

  • 处理与多个图像序列有关的图像分析请求的对象。

2. Face Detection and Recognition

• VNDetectFaceRectanglesRequest

  • 图像分析请求在图像中找到面部。

• VNDetectFaceLandmarksRequest

  • 图像分析请求找到图像中的面部特征（比如眼睛或者嘴部）。

• VNFaceObservation

  • 通过图像分析请求监测脸部及面部特征信息。

3. Machine Learning Image Analysis

• Classifying Images with Vision and Core ML

  • 使用Vision和Core ML进行图像分类。

• VNCoreMLRequest

  • 一种图像分析请求，使用Core ML模型来处理图像。

• VNClassificationObservation

  • 通过图像分析请求产生Scene分类信息。

• VNPixelBufferObservation

  • 通过Core ML图像分析请求，产生输出图像。

• VNCoreMLFeatureValueObservation

  • 通过Core ML图像分析请求，产生一系列的键值信息。

4. Barcode Detection

• VNDetectBarcodesRequest

  • 图像分析请求，用于查找和识别图像中的条形码

• VNBarcodeObservation

  • 由图像分析请求检测的条形码信息。

5. Image Alignment Analysis

• VNTranslationalImageRegistrationRequest

  • 图像分析请求，确定对齐两个图像的内容所需的仿射变换。

• VNHomographicImageRegistrationRequest

  • 确定两个图像内容对齐所需的透视扭曲矩阵的图像分析请求。

• VNImageRegistrationRequest

  • 基于图像内容对齐的抽象超类的图像分析请求。

• VNImageHomographicAlignmentObservation

  • 由图像对准请求产生的透视扭曲信息。

• VNImageTranslationAlignmentObservation

  • 通过图像对齐请求生成的仿射变换信息。

• VNImageAlignmentObservation

  • 图像分析结果的抽象超类描述了两个图像的相对对齐。

6. Text Detection

• VNDetectTextRectanglesRequest

  • 图像分析请求，用于查找图像中可见文本的区域。

• VNTextObservation

  • 关于图像分析请求检测到的文本区域的信息。

7. Horizon Detection

• VNDetectHorizonRequest

  • 确定图像中的水平角的图像分析请求。

• VNHorizonObservation

  • 由图像分析请求检测到的水平角度信息。

8. Object Detection and Tracking

• VNDetectRectanglesRequest

  • 在图像中查找投影矩形区域的图像分析请求。

• VNTrackRectangleRequest

  • 跟踪先前识别的矩形对象在多个图像或视频帧上的移动的图像分析请求。

• VNTrackObjectRequest

  • 图像分析请求，跟踪先前识别的任意对象在多个图像或视频帧之间的移动。

• VNRectangleObservation

  • 关于由图像分析请求检测到的投影矩形区域的信息。

• VNDetectedObjectObservation

  • 提供检测图像特征的位置和范围的图像分析结果。

9. Supporting Types

• VNRequest

  • 图像分析请求的抽象超类。

• VNObservation

  • 图像分析结果的抽象超类。

• VNImageBasedRequest

  • 图像分析的抽象超类请求专注于图像的特定部分。

• VNTargetedImageRequest

  • 用于图像分析请求的抽象超类在处理过的图像和次要图像上进行操作。

• VNTrackingRequest

  • 图像分析的抽象超类请求跨多个图像或视频帧跟踪唯一的特征。

10. Errors

• VNErrorDomain

  • 由Vision框架方法生成的NSError对象的域。

• VNErrorCode

  • 由Vision框架方法生成的NSError对象中的错误代码。

11. Versions

• VNVisionVersionNumber
  • Vision框架的版本号。

12. Reference

• Vision Constants

• Vision Functions

后记

未完，待续~~~~