iOS中Vison框架与CoreML框架学习与实践

Vison框架提供高性能的图片分析和计算机视觉技术来进行人脸识别、文理检测、以及在图片和视频中进行场景分类

  • 第一步

    • VNImageRequestHandler 处理单张图片中一个或多个图像分析的请求结果
    • VNSequenceRequestHandler 处理序列图片中一个或多个图像分析的请求结果
  • 人脸检测

    • VNDetectFaceRectanglesRequest 人脸的识别请求
    • VNDetectFaceLandmarksRequest 图像中的面部特征(眼睛、嘴)请求
    • VNFaceObservation 人脸或者面部信息
  • 机器学习

    • 需要借助于CoreML
    • VNCoreMLRequest CoreML模型请求
    • VNClassificationObservation 分类信息
    • VNPixelBufferObservation 输出的图像结果
    • VNCoreMLFeatureValueObservation CoreML缠上的K-Value的字典集合
  • 条形码识别

    • VNDetectBarcodesRequest 条形码的识别请求
    • VNBarcodeObservation 识别结果
  • 图像对齐分析

    • VNTranslationalImageRegistrationRequest 放射变换相关的分析请求
    • VNHomographicImageRegistrationRequest 透视变形矩阵的分析请求
    • VNImageRegistrationRequest 图片配准的分析请求
    • VNImageHomographicAlignmentObservation 放射变换相关的分析结果
    • VNImageTranslationAlignmentObservation 透视变形矩阵的分析结果
    • VNImageAlignmentObservation 图片配准的分析结果
  • 字体检测

    • VNDetectTextRectanglesRequest 文字检测请求
    • VNTextObservation 检测结果
  • 平面检测

    • VNDetectHorizonRequest 平面角检测请求
    • VNHorizonObservation 检测结果
  • 对象检测和追踪

    • VNDetectRectanglesRequest 投影矩形检测请求
    • VNTrackRectangleRequest 检测前一个识别的矩形追踪请求
    • VNTrackObjectRequest 检测前一个识别的任意对象的追踪请求
    • VNRectangleObservation 投影矩形识别结果
    • VNDetectedObjectObservation 识别结果,提供检测的图像的位置和拓展特征

通过上面的API,我们可以简单理解下,操作的步骤就是

  1. 设立一个handler
  2. 设立一个请求
  3. 执行结果

参考的文档

  • Vison+CoreML
  • CoreML分类
  • 文字检测
  • 人脸检测

你可能感兴趣的:(iOS中Vison框架与CoreML框架学习与实践)