小驴拉磨之人工智能-CoreML初识

人工智能当今最流行的词语没有之一。在 WWDC 2017 中，Apple 发表许多令开发者们为之振奋的新框架(Framework) 及API 。 在这之中，最引注的莫过于 Core ML和Vision 。

这篇文章我只是介绍一下CoreML，借由 Core ML，你可以为你的 App 添 增机器学习(Machine Learning)的能 。最棒的是你不需要深入的解关于神经网络(Neural Network)以及机器学习(Machine Learning)的相关知识。

素材开始准备

苹果给封装好的模型下载地址：https://developer.apple.com/machine-learning
大家根据需求去下载不同的模型，苹果给的模型能够识别1000种，包的大小不同是计算的精度不同。

名字	大小	介绍	使用场景
MobileNet	17.1 MB	MobileNets基于一个流线型的架构，它有深度的可分离的卷积来构建轻量级的、深度的神经网络。从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。	检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人
SqueezeNet	5 MB	从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。虽然只有5 MB的内存空间，但是，压缩zenet与alex net的精度相同，但其参数却少了50倍。	检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人。包小适用在项目中适用
Places205-GoogLeNet	24.8 MB	侦测到一个来自205个类别的图像的场景，如机场终端、卧室、森林、海岸等。	检测场景
ResNet50	102.6 MB	从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。	同MobileNet
Inception v3	94.7 MB	从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。	同MobileNet ，包越大计算精度越大
VGG16	553.5 MB	从一组1000个类别中检测出图像中的占主导地位的物体，如树、动物、食物、车辆、人等等。	同MobileNet ，包越大计算精度越大

创建项目

我们创建一个AR项目，这次使用苹果提供的Resnet50.mlmodel模型

1. 讲模型拖入项目，成功之后就是这个样子的。。。

   
   
   

   WX20171116-170330.png

2. 引入需要的框架Vison
   Vison 与 Core ML 的关系
   Vision 是 Apple 在 WWDC 2017 推出的图像识别框架。
   Core ML 是 Apple 在 WWDC 2017 推出的机器学习框架。

3. 代码

• 实现思路

1. 添加一个点击手势，每次点击的时候截取屏幕中的画面。
2. 将图片转换成像素，喂给CoreML识别，返回结果
3. 创建AR文字以及底座放到指定位置

• 拿到模型

//    拿到模型
    var resentModel = Resnet50()

• 创建点击手势

//创建点击手势
    func regiterGestureRecognizers(){
        let tapGes = UITapGestureRecognizer(target: self, action: #selector(tapped))
        self.sceneView.addGestureRecognizer(tapGes)
    }

//手势的点击方法,方法前面添加@objc
    @objc func tapped(recognizer: UITapGestureRecognizer) {
        //拿到当前的屏幕的画面===截图
        let sceneView = recognizer.view as! ARSCNView
        //拿到图片的中心位置,以作为点击的位置
        let touchLoaction = self.sceneView.center
        //判別当前是否有像素
        guard let currentFrame = sceneView.session.currentFrame else {return}
        //识别物件的特征点
        let hitTestResults = sceneView.hitTest(touchLoaction, types: .featurePoint)
        //判断点击结果是否为空
        if hitTestResults.isEmpty {return}
        // 拿到第一个结果，判断是否为空
        guard let hitTestResult = hitTestResults.first else { return }
         //记录拿到点击的结果
        self.hitTestResult = hitTestResult
        // 拿到的图片转换成像素
        let pixelBuffer = currentFrame.capturedImage
        //识别图片像素
        perfomVisionRequest(pixelBuffer: pixelBuffer)
        
    }

• 识别图片像素

//识别图片像素
    func perfomVisionRequest(pixelBuffer: CVPixelBuffer) {
        // 拿出mlmodel
        let visionModel = try! VNCoreMLModel(for: self.resentModel.model)
        //创建CoreMLRequest
        let request = VNCoreMLRequest(model: visionModel) { (request, error) in
            //处理识别结果，如果存在error直接返回
            if error != nil {return}
            //判断结果是否为空
            guard let observations = request.results else {return}
            //把结果中的第一位拿出來分析
            let observation = observations.first as! VNClassificationObservation
            print("Name \(observation.identifier) and confidence is \(observation.confidence)")
            //回到主线程更新UI
            DispatchQueue.main.async {
                self.displayPredictions(text: observation.identifier)
            }
            
        }
        //进行喂食，设置请求识别图片的样式
        request.imageCropAndScaleOption = .centerCrop
        //记录请求数组
        self.visionRequests = [request]
        //创建图片请求
        let imageRequestHandler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, orientation: .upMirrored, options: [:])
        //异步处理所有请求
        DispatchQueue.global().async {
            try! imageRequestHandler.perform(self.visionRequests)
        }
    }

• 展示结果

//展示預測的結果
    func displayPredictions(text: String) {
        //创建node
        let node = createText(text: text)
        //设置位置，// 把模型展示在我們点击位置（中央）
        node.position = SCNVector3(self.hitTestResult.worldTransform.columns.3.x,
                                   self.hitTestResult.worldTransform.columns.3.y,
                                   self.hitTestResult.worldTransform.columns.3.z)
        //将父节点放到sceneView上
        self.sceneView.scene.rootNode.addChildNode(node) // 把ＡＲ结果展示出來
    }
    
    //根据传入的文字创建AR展示文字以及底座
    func createText(text: String) -> SCNNode {
        //创建父节点
        let parentNode = SCNNode()
        //创建底座圆球，1 cm 的小球幾何形狀
        let sphere = SCNSphere(radius: 0.01)
        //创建渲染器
        let sphereMaterial = SCNMaterial()
        sphereMaterial.diffuse.contents = UIColor.red
        sphere.firstMaterial = sphereMaterial
        //创建底座节点
        let sphereNode = SCNNode(geometry: sphere)
        
        //创建文字
        let textGeo = SCNText(string: text, extrusionDepth: 0)
        textGeo.alignmentMode = kCAAlignmentCenter
        textGeo.firstMaterial?.diffuse.contents = UIColor.red
        textGeo.firstMaterial?.specular.contents = UIColor.white
        textGeo.firstMaterial?.isDoubleSided = true
        textGeo.font = UIFont(name: "Futura", size: 0.15)
        
        //创建节点
        let textNode = SCNNode(geometry: textGeo)
        textNode.scale = SCNVector3Make(0.2, 0.2, 0.2)
        
        //将底座以及文字添加父节点
        parentNode.addChildNode(sphereNode)
        parentNode.addChildNode(textNode)
        
        return parentNode;
    }

效果图

coreML2.gif

小编送上Dome地址：https://github.com/dongdongca/CoreML