零基础实战Keras模型转化为RKNN格式模型成功运行在RK3399Pro板子上

     深度学习实验大多是在服务器端进行的,在实际的应用中,想要把训练好的模型投入实际的应用中去的时候往往需要转化为适应于边缘端或者是移动端计算的格式,一是缩减模型大小降低原有的参数体量,二是借助于硬件环境的加速能力,提升模型的推理速度,总之就是为了能够在板子上跑的更快点。

     在实际的开发实践中,我们选择使用的是RK3399Pro这个型号的板子,提供了NPU级别的硬件加速计算能力,官方的文档地址在这里,首页截图如下所示:

零基础实战Keras模型转化为RKNN格式模型成功运行在RK3399Pro板子上_第1张图片

    这里是官方给出来的云计算和边缘计算的简单对比说明:

云计算与边缘计算

云计算

端侧仅负责发送输入数据,并接收计算结果
计算资源集中管理和分配,借助服务器的强大性能,可以实现很高的浮点算力和精度水平
部署便捷,云服务器可直接部署训练的模型框架,无需转换和二次开发即可使用
算力成本高,常规神经网络运算使用GPU浮点运算,GPU成本高,功耗大,云端部署服务器的运维成本也很大

流量成本高、延迟大,输入和输出依赖网络传递,视觉识别任务一般输入的图片码流很大,如果是移动设备,没有固定的有线网络,移动流量成本是相当的大的
离线无法工作,云端的人工智能识别高度依赖网络,如果网络离线,所有功能都将无法使用

AI 边缘计算
线下运行、低延迟,不依赖网络,无需和云端通讯,可独立运作

冗余部署,去中心化,单个设备损坏不影响其他设备正常工作

应用

你可能感兴趣的:(CNN,LSTM建模实战专栏)