从芯片到云端 Python物联网全栈开发经验教训共享

版权声明:(谢厂节的博客)博主文章绝大部分非原创,转载望留链接。 https://blog.csdn.net/xundh/article/details/74064355

刘凯

一、前言

物联网端到端模型

从芯片到云端 Python物联网全栈开发经验教训共享_第1张图片

物联网与互联网差异

  • 开发环节:物联网增加了设备相关的设备域开发;
  • 人机交互:没有标准显示组件,不支持现有UI组件,需要NUI、智能传感器
  • 接入协议:设备能力受限,需要支持MQTT/CoAP/TCP/UDP套接字;
  • 安全特性:设备能力受限,无法支持RSA2048算法TLS;
  • 数据特点:物联网上传流入流量远远大于流出流量;
  • 实时要求:物联网隐含实时要求,流入数据需要支持实时检索、处理、统计;
  • 规模受限:物联网应用规模受限于设备接入数量,资金、库存、生产、销售压力更大;
  • 沉没成本:物联网是重资产业务,互联网是轻资产业务;
  • 生命周期:硬件设备是生命周期要远远长过互联网产品;
  • 团队组成:硬件团队与互联网团队文化融合。

二、 Python 与IoT全栈开发

Python是物联网系统的胶水语言。

  • Python有许多实现(Implementations),能够与多种语言进行交互,尤其适合系统整合
  • CPython与C/C++:通用计算加速、DLL二次开发、设备驱动、桌面、Web、运维、脚本
  • Jython与Java/JVM:大数据,GUI、网关、移动APP
  • IronPython与C#:Windows应用、DLL二次开发、系统整合
  • JavaScript:前端、Web可视化、JS爬虫
  • 嵌入式C/HDL:寄存器/晶体管级原型开发、固件、DSP、GPU、NLP、机器学习
  • From Chip to Cloud,完整产业链的全栈开发,通用语言的综合优势

主要领域

  • 系统建模、虚拟仪器、软件质量、自动测试、报文分析、网络仿真、媒体处理
  • 系统建模:blender,printrun,python-opengl
  • 虚拟仪器:SCPI,pyserial,socket
  • 软件质量:unittest,pytest,pydoc,Sphinx,git/subversion
  • 自动测试:pyocd,mbed-ls
  • 报文分析:Wireshark/PyShark
  • 媒体处理:mp3play,pyglet,moviepy,字模提取

Python性能加速

  • 运行时加速:PyPy JIT加速
  • Web加速:libev/libuv的Python封装pyev/pyuv
  • 硬件加速:CUDA GPU加速

开箱即用的Python物联网

  • PySerial:实验性的RFC2271/asyncio
  • Twisted/Tornado:支持socket/websocket异步网络编程框架
  • MQTT-client/paho:支持Cyclone/Tornado/Flask/Django框架
  • CoAP-proxy/txThings:支持Twisted框架

三、设备端开发与选型

1. 需求分析

  • 电子货架标签:短距离无线、类广播式
  • 资产定位:广域无线、低占空比、数据采集、异步事件
  • 农业应用:低功耗广域无线、低占空比、数据采集、多设备融合
  • 房屋租赁:WiFi/BLE、低占空比、安全相关、异步事件、多设备融合
  • 医疗设备:WiFi/BLE、高速率、数据采集、异步事件、多设备融合

2. 设备组网与联网选型

  • 无线技术需要遵守当地法律法规
  • 蜂窝数据技术 vs ISM技术
  • Sub-1GHz vs 2.4GHz技术
  • 短距无线电 vs 低功耗广域技术
  • 无线技术标准竞争与多模芯片融合
  • 传统有线网络依然有现实意义

四、Python设备端开发

具备二次开发能国的可编程设备 
从芯片到云端 Python物联网全栈开发经验教训共享_第2张图片

从芯片到云端 Python物联网全栈开发经验教训共享_第3张图片

五、Python网关开发

1. 硬件接口标准化

  • 物联网现状:碎片化,垂直行业条块分割
  • 物联网趋势:标准化硬件接口 + 标准化编程接口 + 标准化编程平台
  • 应用迭代:唯快不破,以标准化方法应对碎片化需求
  • 标准化进行中:I2C/SPI/GPIO/ADC/PWM…… Adafruit GPIO/Intel MRAA
  • UART:PySerial
  • USB:PyUSB
  • OS标准设备:SDIO/MiniPCIe/HDMI/Audio……

2. 操作系统标准化

  • MCU:ARM mbed OS/CMSIS RTOS
  • CPU/MPU:Linux Yocto/Open-Embedded/Debian/Ubuntu
  • 运行时:Native/JVM/Android
  • 编程语言:C/C++/Java/Python/JavaScript/Lua
  • I/O命名:Arduino/ARM mbed

3. 编程接口标准化

  • PySerial:RS232/RS485/USB CDC ACM/RFC2271
  • PyUSB:特种USB设备,HID/CDC/MSD等设备均被OS标准化
  • Socket:连接接口或技术标准化后会提供套接字编程接口,包括CAN/6LowPAN/Zigbee
  • 设备文件:Linux的标准化接口
  • DLL文件:Windows下的标准接口

Linux+Python 物联网网关示例

  • panStamp:西班牙智能农业,已成为通用物联网网关
  • panStamp模块:Sub-1GHz CC1101,基于Arduino API,UART接入树莓派Linux
  • panStamp架构:分布式,包括IFTTT,Web管理界面,与众多云服务整合
  • 嵌入式Linux:CLFS,预编译Linux,完整版Linux
  • 交叉编译:CLFS与CPython交叉编译问题
  • 其他网关:LoRa/Zigbee/6LowPAN网关

从芯片到云端 Python物联网全栈开发经验教训共享_第4张图片

从芯片到云端 Python物联网全栈开发经验教训共享_第5张图片

MicroPython物联网网关

  • 基于MicroPython的物联网参考设计
  • 交叉编译:MicroPython更适合交叉编译环境
  • 生态完整:MicroPython自带upip和微型库
  • 参考设计:WiPy/LoPy/SiPy/FiPy,重复整合LTE/NB/WiFi/BLE/LoRa/Sigfox网关服务
  • 开发者反馈:远比C/C++开发要快捷,充分发挥了Python快速应用开发的特点
  • 开发者编程水平:残留大量C语言编程方式,需要掌握Python语法,OOP/函数式编程,中断回调和异步I/O,实现个人编程能力的升级

从芯片到云端 Python物联网全栈开发经验教训共享_第6张图片

* Java OSGI+JyThon物联网网关*

  • OSGi:历史悠久,OpenHab及大量OSGi开源框架与网关
  • JSR223:JavaScript/Python/AWK/Groovy等十多种语言
  • OSGi Jython桥接
  • 参考设计:NXP/Freescale的OSGi网关设计
  • 树莓派:Pi4J、TigerJython

从芯片到云端 Python物联网全栈开发经验教训共享_第7张图片

六、 Python服务器端开发

1. 典型物联网服务器端框架:

从芯片到云端 Python物联网全栈开发经验教训共享_第8张图片

2. 联网协议选型

  • MQTT vs TCP长连接:完整的分层协议与TLS安全
  • CoAP vs MQTT:REST无状态与消息队列模式
  • XMPP/Websocket等:相对重型的通讯协议
  • 技术陷阱:基于TCP长连接的二进制协议定制,可能导致工程失败

3. 数据转发与持久层选型

  • 缓存:基于RAM,Redis/MongoDB
  • RDBS:SQL,MySQL/Maria/PostgreSQL/SQL Server
  • NoSQL:MongoDB/Cassandra
  • RTDB:KogMo/BerkeleyDB,工业数据采集,商业许可证居多
  • TSDB:OpenTSDB/InfluxDB
  • PaaS:Firebase/Bigtable/Hadoop/Spark

4. 连接与资管应用分离

  • 标准化联网对接:降低连接定制需求,标准化能够加速开发
  • 设备抽象:设备云解决设备连接,通过REST API将物理设备抽象成设备数据服务
  • 系统迭代加速:在资管应用中实现应用(设备、角色、权限、流程、存储、UI、APP)的快速迭代
  • 简化系统开发:资管应用简化为Web开发,降低开发成本
  • 系统整合加速:通过REST API整合IoT PaaS/摄像头直播/点播PaaS和第三方网络服务,迭代各类融合型创新物联网服务

你可能感兴趣的:(嵌入式文档,大型架构分析)