使用Core ML构建更具智能的应用

前几天WWDC上，苹果发布了机器学习框架Core ML。根据文档，Core ML是基于Metal和Accelerate开发的，在性能效率上有很高的保证。但Core ML只能使用已经训练好的模型，相比谷歌和Facebook，可以明显感受到苹果的态度：“苹果内部的重点是打造伟大的产品，而不是发表论文”。

db81e861-1e06-4d14-8915-90707d9b114c.png

基于苹果提供的环境模型，本文将构建一个环境识别的Demo。

一、下载Xcode9.0beta、Places205-GoogLeNet模型

使用Core ML需要最新的Xcode9.0beta，而系统最低版本需要10.12.4。
下载地址：https://developer.apple.com/download/

而模型则使用苹果提供的模型Places205-GoogLeNet。
下载地址：https://docs-assets.developer.apple.com/coreml/models/GoogLeNetPlaces.mlmodel

二、code

新建一个工程把Places205-GoogLeNet模型拖进工程，可以看到模型的一些参数。

image.png

 func prediction(sceneImage: CVPixelBuffer) throws -> GoogLeNetPlacesOutput {
        let input_ = GoogLeNetPlacesInput(sceneImage: sceneImage)
        return try self.prediction(input: input_)
    }

要进行识别需要输入一张图片，进一步点进Model Class发现直接使用Core ML进行预测需要的图片类为CVPixelBuffer，这个类是可以通过UIImage进行一系列转换得到的，但是实际上这里我们可以基于比Core ML 更高一层的Vision 实现。(Vision文档：https://developer.apple.com/documentation/vision)

在使用系统的UIImagePickerController选择一张场景图片后取得图片的UIImagePickerControllerImageURL，使用Vision框架进行预测并设置好结果处理函数就可以了

        do {
            let model   = try VNCoreMLModel(for: GoogLeNetPlaces().model)
            let request = VNCoreMLRequest(model: model, completionHandler: resultsHandler)
            let handler = VNImageRequestHandler(url: imageURL)
            try handler.perform([request])
        } catch {
            print(error)
        }

处理预测结果，展示。

       func resultsHandler(request: VNRequest, error: Error?) {
        
        guard let results = request.results as? [VNClassificationObservation]
            else { fatalError("error") }
        guard let best = results.first
            else { fatalError("error") }
        
        sence.text      = best.identifier
        confidence.text = "\(best.confidence)"
        
        for classification in results {
            print(classification.identifier,
                classification.confidence)
        }
    }

Untitled1.gif

最后总结一下，虽然都是新的api，但是在基于已有模型的基础上确实如苹果所描述，只是使用的话还是比较简便的。

Core ML delivers blazingly fast performance with easy integration of machine learning models enabling you to build apps with intelligent new features using just a few lines of code.

附上demo(模型较大没有上传到github需另外下载导入)：https://github.com/tion126/MLDemo