iOS 原生目标(口罩)检测 Core ML - 模型训练、使用模型

我们的目的: 在图片中找出口罩的位置,当然你也可以找出其他你想要检测出的东西,这里只拿口罩举例

老规矩, 看下效果

IMB_AKAqS6.GIF

IMB_5YIMBZ.GIF

这只是13张图片的训练的效果,我懒得找图了,用的就是训练数据测试的,效果还行,最后会解释为什么有的图片检测不到

(一)准备

• 训练的样本 (带有口罩的图片)
• https://cloud.annotations.ai/ 这个是IBM在线标注的服务,自己去注册免费的,还要注册一个云存储啥的,自己搞定就完事了
• Xcode with Create ML 这才是核心

(一)标注

• (1)首先我们打开 https://cloud.annotations.ai/(注册等忽略),进入你的工作面板

image.png

• (2) 输入项目名字 选择标注类型

image.png

我们选右边的小企鹅,这个是用来做地标检测的(就是 landmarks),不知道咋翻,左边那个小企鹅是做图片分类的,没有位置信息啥的

• (3)开始标注

我们将要标注的图片直接拖进网页就行了

image.png

用鼠标标注好后.我们可以在右侧将这个标注命名,比如 mask

• (4)导出标注文件

image.png

这里我们导出 Create ML 所需要的文件格式,基本上就是下面这个样子,带一个json文件

image.png

(二) 开始训练

• (1) 打开Xcode -> Open Developer Tools -> Create ML

  
  
  image.png

我们选择 Object Detector 目标检测器(多个小企鹅),同样左边的适用一个小企鹅的标注

• (2) 开始训练

image.png

我们将刚才导出的Create ML的标注图片的文件夹直接拖进来, 然后点击左上角的Train 就可以

-------------------- A Few Moments Later -------------------

• 等到迭代的数量达到max (1000)后, loss(损失函数) 也比较低的时候 ,就证明我们的模型已经训练好了, Create ML 会自己结束的,我们只有等就行了.

• 这个时间很长 电脑放在那里就可以了

(三) 测试模型

image.png

点击右边的Output , 然后将我们的测试数据集拖进来,切换一下,就可以看到我们模型的测试结果了.

PS : 模型的效果 取决于 网络的结构(这个我们改不了), 训练样本的数量和质量,标注的准确性

如何提高训练的效率

• 建议训练样本在训练前,我们用python 或者其他什么语言随便你, 将我们的训练样本处理一遍,比如处理好样本的尺寸、质量等,过滤掉质量差的图片

• 还有一个思路就是, 初代模型 来处理训练样本, 虽然说初代模型可能效果不好,但是也可以做到目标的大致定位,在得到大致的位置之后,我们再做图片的尺寸和质量处理,这样我们的训练样本会更好

---------------- 开始贴代码 ---------------

(四) 代码事例

• (1) 新建一个工程 在storyboard 里拖一个 UIImageView 和一个 UIButton 就可以了

• (2) 把训练好的model 拖到工程中
  找到你的Create ML 工程 然后显示包内容 就能找到你的model 了

  
  
  image.png

lazy var detectorRequest: VNCoreMLRequest = {
        do {
            let model = try VNCoreMLModel(for: faceMask().model)
            
            let request = VNCoreMLRequest(model: model, completionHandler: { [weak self] request, error in
                self?.detectionResult(request: request, error: error)
            })
            request.imageCropAndScaleOption = .scaleFit
            return request
        } catch {
            fatalError("Failed to load Vision ML model: \(error)")
        }
    }()
    
    @IBAction func choosePic(_ sender: Any) {
        choosePic()
    }
    
    func detectionResult(request:VNRequest,error:Error?) -> Void {
        DispatchQueue.main.async {
            guard let resutls = request.results else {
                print("啥也没有")
                return
            }
            let detections = resutls as! [VNRecognizedObjectObservation]
            self.drawMaskRect(detections: detections)
        }
    }
    
    func drawMaskRect(detections:[VNRecognizedObjectObservation]) -> Void {
        guard let image = self.content?.image else {
            return
        }
        
        let imageSize = image.size
        let scale: CGFloat = 0
        UIGraphicsBeginImageContextWithOptions(imageSize, false, scale)
        
        image.draw(at: CGPoint.zero)
        
        for detection in detections {
            processed image, with the origin at the image's lower-left corner.
            let boundingBox = detection.boundingBox
            let rectangle = CGRect(x: boundingBox.minX*image.size.width, y: (1-boundingBox.minY-boundingBox.height)*image.size.height, width: boundingBox.width*image.size.width, height: boundingBox.height*image.size.height)
            UIColor(red: 0, green: 1, blue: 0, alpha: 0.4).setFill()
            UIRectFillUsingBlendMode(rectangle, CGBlendMode.normal)
        }
        
        let newImage = UIGraphicsGetImageFromCurrentImageContext()
        UIGraphicsEndImageContext()
        self.content?.image = newImage
    }
    
    
    
    func detectImage(image:UIImage) -> Void {
        let orientation = CGImagePropertyOrientation(rawValue: UInt32(image.imageOrientation.rawValue))
        guard let ciImage = CIImage(image: image) else { fatalError("Unable to create \(CIImage.self) from \(image).") }
        
        DispatchQueue.global(qos: .userInitiated).async {
            let handler = VNImageRequestHandler(ciImage: ciImage, orientation: orientation!)
            do {
                try handler.perform([self.detectorRequest])
            } catch {
                print("Failed to perform detection.\n\(error.localizedDescription)")
            }
        }
    }
    
    func choosePic() {
        let alert = UIAlertController(title: nil, message: nil, preferredStyle: .actionSheet)
        
        let camera = UIAlertAction(title: "相机", style: .default) { (action) in
            if (UIImagePickerController.isSourceTypeAvailable(UIImagePickerController.SourceType.camera)){
                let pickerVC = UIImagePickerController()
                pickerVC.delegate = self
                pickerVC.allowsEditing = true
                pickerVC.sourceType = .camera
                self .present(pickerVC, animated: true, completion: nil)
            }
        }
        
        let album = UIAlertAction(title: "相册", style: .default) { (action) in
            if (UIImagePickerController.isSourceTypeAvailable(UIImagePickerController.SourceType.photoLibrary)){
                let pickerVC = UIImagePickerController()
                pickerVC.delegate = self
                pickerVC.allowsEditing = true
                pickerVC.sourceType = .photoLibrary
                self .present(pickerVC, animated: true, completion: nil)
            }
        }
        
        let cancel = UIAlertAction(title: "取消", style: .cancel, handler: nil)
        
        alert.addAction(camera)
        alert.addAction(album)
        alert.addAction(cancel)
        
        self.present(alert, animated: true, completion: nil)
    }
    
}

extension ViewController : UIImagePickerControllerDelegate ,UINavigationControllerDelegate{
    func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [UIImagePickerController.InfoKey : Any]) {
        picker.dismiss(animated: true, completion: nil)
         guard let image = info[.originalImage] as? UIImage else {
                   return
               }
       self.content.image = image
        self.detectImage(image: image)
        
    }
}

遇到的问题

• (1)检测结果不准, 这个问题处理半天,不知道为什么结果 跟在Create ML里测试的结果不一样, 而且非常离谱,在真机上也一样

解决办法: 升级Xcode,我不知道是Xcode 的原因 还是iOS 系统的原因,升级Xcode 到11.3.1后 模拟器应该是13.0 这回结果就对了, 没升级手机系统太慢了,只在模拟器上测试了

看下模拟器的效果

image.png

效果还可以吧, 别拍照检测了 , 数据量少大部分检测不出来,我这是运气好,建议直接用训练的样本来测试, 我试了用相机去拍样本,还是检测不到,要拍的尺寸差不多才能检测的到,这也就是上面为什么说训练样本要预处理,你的输入数据最好都是一样的

怎么将图片放到模拟器的?

打开模拟器的相册 ,直接把图片拖进去就可以了

扩展

以上只是一种机器学习的应用, 我们可以看到Create ML 的模版还有很多分类,不仅可以检测地标, 还可以进行图片分类、语音分类、动作分类、文字分类等等, 有了这些模版,我们就可以做很多东西的识别