关键词：
Core ML，热更新，动态部署，动态加载
在《二、使用Core ML加载.mlmodel模型文件》中我们介绍了如何加载并使用.mlmodel模型文件，但是这里是在coding阶段，将模型文件加入到项目中的，这里存在一些问题：
- 模型文件动辄几十兆，这将增加安装包的大小
- 很多模型会被在线数据不停的训练，参数经常发生变化，每次跟新都要打一个包发版，这是非常麻烦的事情
于是我们想：mlmodel文件，能不能通过下载的方式加载到项目中呢？为了解决这个问题，我们需要做两件事情：
- mlmodel文件，要以下载的方式获取；
- 我们需要自己生成模型对应的类；
本文将探索如何达成此目的。
本文中会将mlmodel以资源文件的形式加入到项目中，以此模拟下载。另外，请首先阅读《二、使用Core ML加载.mlmodel模型文件》
一、准备一个Core ML模型
Core ML模型文件一般以.mlmodel作为后缀，我们可以通过很多途径获得一个已经训练好的模型，最直接的方式，就是从苹果官网上直接下载。
二、查看.mlmodel对应的类
首先，我们将一个mlmodel模型拖到项目中，然后查看对应类的头文件（具体请参考《二、使用Core ML加载.mlmodel模型文件》）。
在头文件任意位置右击鼠标，点击Show in Finder，我们可以看到一对文件，我们把它们加入到项目中来。
打开m文件，我们找到他的init方法以及init方法中调用的一个类方法：
+ (NSURL *)urlOfModelInThisBundle {
NSString *assetPath = [[NSBundle bundleForClass:[self class]] pathForResource:@"MobileNet" ofType:@"mlmodelc"];
return [NSURL fileURLWithPath:assetPath];
}
- (nullable instancetype)init {
return [self initWithContentsOfURL:self.class.urlOfModelInThisBundle error:nil];
}
三、模型编译
我们注意到，这里的type是一个mlmodelc文件，这个c是什么意思呢？我们可以看一下苹果官方的这篇文档：
https://developer.apple.com/documentation/coreml/mlmodel/2921516-compilemodelaturl?language=objc
也就是说，mlmodel文件，是要首先被编译成mlmodelc文件，才可以被加载的。那么，我们的思路就很清晰了，我们只需要做如下几件事情：
- 从服务器上获取最新的.mlmodel模型文件，存到本地沙盒中。
- 使用compileModelAtURL:error:方法，编译mlmodel文件，并获得mlmodelc文件的路径URL。
- 自己写一个模型类，来封装一些方法，比如我们可以直接将之前自动生成的类拷贝过来即可，如果对Coding Style有要求的同学可以自行修改一下命名。
- 使用initWithContentsOfURL:error:方法初始化模型类并使用他进行预测。
有英文阅读能力的同学，也可以看这篇苹果的官方介绍。值得注意的是，这边官方介绍中提到：
To limit the use of bandwidth, avoid repeating the download and compile processes when possible. The model is compiled to a temporary location. If the compiled model can be reused, move it to a permanent location, such as your app's support directory.
compileModelAtURL:error:方法会将编译后的文件存储到临时文件夹中，如果希望编译后的文件被复用，可以将其移动到持久化存储的文件夹中。文中还给出了一段示例代码：
// find the app support directory
let fileManager = FileManager.default
let appSupportDirectory = try! fileManager.url(for: .applicationSupportDirectory,
in: .userDomainMask, appropriateFor: compiledUrl, create: true)
// create a permanent URL in the app support directory
let permanentUrl = appSupportDirectory.appendingPathComponent(compiledUrl.lastPathComponent)
do {
// if the file exists, replace it. Otherwise, copy the file to the destination.
if fileManager.fileExists(atPath: permanentUrl.absoluteString) {
_ = try fileManager.replaceItemAt(permanentUrl, withItemAt: compiledUrl)
} else {
try fileManager.copyItem(at: compiledUrl, to: permanentUrl)
}
} catch {
print("Error during copy: \(error.localizedDescription)")
}
接下来，让我们尝试完成Demo。
四、准备服务器
首先我们需要准备一个可供下载MobileNet.mlmodel的服务器，我是借助于http-server，用自己的电脑提供MobileNet.mlmodel的下载。这一步大家就各凭本事，自由发挥了。
五、准备一个iOS项目
同样，大家可以自己创建一个项目，或者直接clone我的初始项目：
git clone [email protected]:yangchenlarkin/CoreML.git
我们需要在DynamicLoading/DLViewController.m文件最末的download方法中添加代码，完成模型下载和编译，并将编译后的mlmodelc文件，移动到documents文件夹中。
然后在ObjectRecognition/ORViewController.m最末的predict中加载mlmodelc文件，并完成预测。
六、下载并编译模型文件
首先打开DynamicLoading/DLViewController.m文件，添加如下代码：
#import
在最末实现download函数：
- (void)download {
NSData *data = nil;
//下载数据，下载链接请替换成自己的
NSURL *url = [NSURL URLWithString:@"http://192.168.31.121:8080/MobileNet.mlmodel"];
data = [NSData dataWithContentsOfURL:url];
//我们暂时就将文件存储到存到临时文件夹中吧
NSString *tmpPath = NSTemporaryDirectory();
NSString *tmpModelPath = [tmpPath stringByAppendingPathComponent:@"MobileNet.mlmodel"];
[data writeToFile:tmpModelPath atomically:YES];
//编译文件
NSError *error = nil;
NSURL *tmpModelcPathURL = [MLModel compileModelAtURL:[NSURL fileURLWithPath:tmpModelPath] error:nil];
if (error) {
NSLog(@"%@", error);
return;
}
//拷贝文件到Document文件夹
NSString *docPath = [NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) firstObject];
NSString *docModelcPath = [docPath stringByAppendingPathComponent:@"MobileNet.mlmodelc"];
NSFileManager *fileManager = [NSFileManager defaultManager];
[fileManager moveItemAtURL:tmpModelcPathURL toURL:[NSURL fileURLWithPath:docModelcPath] error:&error];
if (error) {
NSLog(@"%@", error);
return;
}
}
七、编写模型类
我们可以直接使用二、查看.mlmodel对应的类中找到的MobileNet类，也可以自己重新写一个，我这里将直接使用这个类：
八、读取mlmodelc文件并完成预测
打开ObjectRecognition/ORViewController.m文件，首先你需要引入MobileNet类：
#import "MobileNet.h"
然后参考《二、使用Core ML加载.mlmodel模型文件》添加图像处理代码：
#pragma mark - predict
- (UIImage *)scaleImage:(UIImage *)image size:(CGFloat)size {
UIGraphicsBeginImageContextWithOptions(CGSizeMake(size, size), YES, 1);
CGFloat x, y, w, h;
CGFloat imageW = image.size.width;
CGFloat imageH = image.size.height;
if (imageW > imageH) {
w = imageW / imageH * size;
h = size;
x = (size - w) / 2;
y = 0;
} else {
h = imageH / imageW * size;
w = size;
y = (size - h) / 2;
x = 0;
}
[image drawInRect:CGRectMake(x, y, w, h)];
UIImage * scaledImage = UIGraphicsGetImageFromCurrentImageContext();
UIGraphicsEndImageContext();
return scaledImage;
}
- (CVPixelBufferRef)pixelBufferFromCGImage:(CGImageRef)image {
NSDictionary *options = @{
(NSString *)kCVPixelBufferCGImageCompatibilityKey : @YES,
(NSString *)kCVPixelBufferCGBitmapContextCompatibilityKey : @YES,
(NSString *)kCVPixelBufferIOSurfacePropertiesKey: [NSDictionary dictionary]
};
CVPixelBufferRef pxbuffer = NULL;
CGFloat frameWidth = CGImageGetWidth(image);
CGFloat frameHeight = CGImageGetHeight(image);
CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault,
frameWidth,
frameHeight,
kCVPixelFormatType_32ARGB,
(__bridge CFDictionaryRef) options,
&pxbuffer);
NSParameterAssert(status == kCVReturnSuccess && pxbuffer != NULL);
CVPixelBufferLockBaseAddress(pxbuffer, 0);
void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer);
NSParameterAssert(pxdata != NULL);
CGColorSpaceRef rgbColorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(pxdata,
frameWidth,
frameHeight,
8,
CVPixelBufferGetBytesPerRow(pxbuffer),
rgbColorSpace,
(CGBitmapInfo)kCGImageAlphaNoneSkipFirst);
NSParameterAssert(context);
CGContextConcatCTM(context, CGAffineTransformIdentity);
CGContextDrawImage(context, CGRectMake(0,
0,
frameWidth,
frameHeight),
image);
CGColorSpaceRelease(rgbColorSpace);
CGContextRelease(context);
CVPixelBufferUnlockBaseAddress(pxbuffer, 0);
return pxbuffer;
}
最后实现predict方法：
- (void)predict:(UIImage *)image {
//获取input
UIImage *scaleImage = [self scaleImage:image size:224];
CVPixelBufferRef buffer = [self pixelBufferFromCGImage:scaleImage.CGImage];
//读取沙盒中的mlmodelc文件
NSString *docPath = [NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) firstObject];
NSString *docModelcPath = [docPath stringByAppendingPathComponent:@"MobileNet.mlmodelc"];
NSURL *url = [NSURL fileURLWithPath:docModelcPath];
NSError *error = nil;
MobileNet *model = [[MobileNet alloc] initWithContentsOfURL:url error:&error];
if (error) {
NSLog(@"%@", error);
return;
}
//predict
MobileNetOutput *output = [model predictionFromImage:buffer error:&error];
if (error) {
NSLog(@"%@", error);
return;
}
//显示
NSMutableArray *result = [NSMutableArray arrayWithCapacity:output.classLabelProbs.count + 1];
[result addObject:@[@"这张图片可能包含：", output.classLabel]];
[output.classLabelProbs enumerateKeysAndObjectsUsingBlock:^(NSString * _Nonnull key, NSNumber * _Nonnull obj, BOOL * _Nonnull stop) {
NSString *title = [NSString stringWithFormat:@"%@的概率：", key];
[result addObject:@[title, obj.stringValue]];
}];
self.array = result;
}
至此，可以运行项目，并尝试拍照识别物体了！