物联网应用JSON太占资源？HaaS100使用二进制数据上云攻略
1、简介
阿里云IoT设计了一套完整的物模型，可以覆盖大量应用场景对设备属性的描述（如智能门锁，灯具，广告屏等）。但是物模型的交互方式使用的Alink协议格式，一套基于Json的用户层协议。
Json虽然可读性很高，但是存在解析复杂，占用内存多，带宽大等缺点。对于端上资源拮据（ram < 96KB）或者上云带宽有限的场景（NB-IoT,RoLa,2G等）如何在解决此问题的同时又保证云端的兼容性（享受物模型功能）？
还有一种应用场景，就是设备端上云数据协议在连接阿里云IoT之前已经开发好了，可能之前对接的是其他平台，如何平滑的切换到阿里云IoT？
为此阿里云IoT平台设置了一个数据类型转换层，可以让端上使用自定义数据如HEX数据上云，在云上通过脚本叫自定义数据转换成标准的Alink格式数据。其简化流程如下图：
那该如何实现呢？ 下文将使用HaaS100进行手把手演示。
2、HaaS100手把手演示
2.1、云端准备
2.1.1、创建自定义格式的物模型产品
登陆阿里云IoT物联网平台，创建一个自定义数据格式的产品，产品类型我们演示选最熟悉的灯，如下图所示，注意数据类型选“透传/自定义”：
点击确定创建完产品后，添加一个测试设备，如下图：
创建设备后，点击设备详情，拷贝三元组信息。2.2章节将用到。
增加三个自定义属性，用户演示不同数据类型转换，记得发布后才能生效。
2.1.2、格式转换脚本简介
点击产品->hex_light->数据解析。在此栏目可设置协议转换脚本。语言可选js/python2.7/php7.2。本文以js为例。
由于数据分上行和下行两种，因此需要完成两个对应函数的适配。
- 上行属性：rawDataToProtocol(),将设备上报的hex属性转换成Alink Json格式；
- 下行属性：protocolToRawData(),将Alink Json转换成hex属性发给设备；
另外如果用户有自定义的topic,还需额外适配一个自定义topic上报接口：
- 上行自定义topic:transformPayload()将客户自定义topic数据转换成Alink Json格式。
详细说明请点击此处。
2.1.3、设计格式转换脚本
格式转换脚本用于将raw格式协议转换成Alink Json格式协议。因此我们需要先定义raw格式协议。
处于教学目的，此处的raw格式从简设计。
var COMMAND_REPORT = 0x00; //属性上报。
var COMMAND_SET = 0x01; //属性设置。
var COMMAND_REPORT_REPLY = 0x02; //上报数据返回结果。
var COMMAND_SET_REPLY = 0x03; //属性设置设备返回结果。
var COMMAD_UNKOWN = 0xff; //未知的命令。
格式1，数据模式:
| 字节 |
功能 |
详细 |
| byte0 |
命令类型 |
0x00:属性上报（上行） |
| byte1-byte4(大端模式) |
消息id（4字节） |
0x00000001代表"id":1 |
| byte5-byte6 |
属性prop_int16（2字节） |
0x0001代表"prop_int16":1 |
| byte7 |
属性prop_bool |
0x0代表："prop_bool":0 |
| byte8-byte11 |
属性prop_float(4字节) |
0x00000000代表："prop_float":0.00 |
格式2，应答模式：
| 字节 |
功能 |
详细 |
| byte0 |
命令类型 |
0x02:属性上报应答（下行） 0x03:属性设置应答（上行） 0xff:未知命令 |
| byte1-byte4(大端模式) |
消息id（4字节） |
0x00000001代表"id":1 |
| byte5-byte6 |
属性prop_int16（2字节） |
0x0001代表"prop_int16":1 |
| byte7 |
code |
0xc8代表"code":200 |
根据上述两个协议格式我们编写对应的转换脚本：
var COMMAND_REPORT = 0x00; //属性上报。
var COMMAND_SET = 0x01; //属性设置。
var COMMAND_REPORT_REPLY = 0x02; //上报数据返回结果。
var COMMAND_SET_REPLY = 0x03; //属性设置设备返回结果。
var COMMAD_UNKOWN = 0xff; //未知的命令。
var ALINK_PROP_REPORT_METHOD = 'thing.event.property.post'; //物联网平台Topic，设备上传属性数据到云端。
var ALINK_PROP_SET_METHOD = 'thing.service.property.set'; //物联网平台Topic，云端下发属性控制指令到设备端。
var ALINK_PROP_SET_REPLY_METHOD = 'thing.service.property.set'; //物联网平台Topic，设备上报属性设置的结果到云端。
var SELF_DEFINE_TOPIC_UPDATE_FLAG = '/user/update' //自定义Topic：/user/update。
var SELF_DEFINE_TOPIC_ERROR_FLAG = '/user/update/error' //自定义Topic：/user/update/error。
/*
示例数据：
设备上报属性数据：
传入参数：
0x000000000100320100000000
输出结果：
{"method":"thing.event.property.post","id":"1","params":{"prop_float":0,"prop_int16":50,"prop_bool":1},"version":"1.0"}
属性设置的返回结果：
传入参数：
0x0300223344c8
输出结果：
{"code":"200","data":{},"id":"2241348","version":"1.0"}
*/
function rawDataToProtocol(bytes) {
var uint8Array = new Uint8Array(bytes.length);
for (var i = 0; i < bytes.length; i++) {
uint8Array[i] = bytes[i] & 0xff;
}
var dataView = new DataView(uint8Array.buffer, 0);
var jsonMap = new Object();
var fHead = uint8Array[0]; // command
if (fHead == COMMAND_REPORT) {
jsonMap['method'] = ALINK_PROP_REPORT_METHOD; //ALink JSON格式，属性上报topic。
jsonMap['version'] = '1.0'; //ALink JSON格式，协议版本号固定字段。
jsonMap['id'] = '' + dataView.getInt32(1); //ALink JSON格式，标示该次请求id值。
var params = {};
params['prop_int16'] = dataView.getInt16(5); //对应产品属性中prop_int16。
params['prop_bool'] = uint8Array[7]; //对应产品属性中prop_bool。
params['prop_float'] = dataView.getFloat32(8); //对应产品属性中prop_float。
jsonMap['params'] = params; //ALink JSON格式，params标准字段。
} else if(fHead == COMMAND_SET_REPLY) {
jsonMap['version'] = '1.0'; //ALink JSON格式，协议版本号固定字段。
jsonMap['id'] = '' + dataView.getInt32(1); //ALink JSON格式，标示该次请求id值。
jsonMap['code'] = ''+ dataView.getUint8(5);
jsonMap['data'] = {};
}
return jsonMap;
}
/*
示例数据：
云端下发属性设置指令：
传入参数：
{"method":"thing.service.property.set","id":"12345","version":"1.0","params":{"prop_float":123.452, "prop_int16":333, "prop_bool":1}}
输出结果：
0x0100003039014d0142f6e76d
设备上报的返回结果：
传入数据：
{"method":"thing.event.property.post","id":"12345","version":"1.0","code":200,"data":{}}
输出结果：
0x0200003039c8
*/
function protocolToRawData(json) {
var method = json['method'];
var id = json['id'];
var version = json['version'];
var payloadArray = [];
if (method == ALINK_PROP_SET_METHOD) //属性设置。
{
var params = json['params'];
var prop_float = params['prop_float'];
var prop_int16 = params['prop_int16'];
var prop_bool = params['prop_bool'];
//按照自定义协议格式拼接 rawData。
payloadArray = payloadArray.concat(buffer_uint8(COMMAND_SET)); //command字段。
payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式 'id'。
payloadArray = payloadArray.concat(buffer_int16(prop_int16)); //属性'prop_int16'的值。
payloadArray = payloadArray.concat(buffer_uint8(prop_bool)); //属性'prop_bool'的值。
payloadArray = payloadArray.concat(buffer_float32(prop_float)); //属性'prop_float'的值。
} else if (method == ALINK_PROP_REPORT_METHOD) { //设备上报数据返回结果。
var code = json['code'];
payloadArray = payloadArray.concat(buffer_uint8(COMMAND_REPORT_REPLY)); //command字段。
payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式'id'。
payloadArray = payloadArray.concat(buffer_uint8(code));
} else { //未知命令，对于这些命令不做处理。
var code = json['code'];
payloadArray = payloadArray.concat(buffer_uint8(COMMAD_UNKOWN)); //command字段。
payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式'id'。
payloadArray = payloadArray.concat(buffer_uint8(code));
}
return payloadArray;
}
/*
示例数据
自定义Topic：
/user/update，上报数据。
输入参数：
topic:/{productKey}/{deviceName}/user/update
bytes: 0x000000000100320100000000
输出参数：
{
"prop_float": 0,
"prop_int16": 50,
"prop_bool": 1,
"topic": "/{productKey}/{deviceName}/user/update"
}
*/
function transformPayload(topic, bytes) {
var uint8Array = new Uint8Array(bytes.length);
for (var i = 0; i < bytes.length; i++) {
uint8Array[i] = bytes[i] & 0xff;
}
var dataView = new DataView(uint8Array.buffer, 0);
var jsonMap = {};
if(topic.includes(SELF_DEFINE_TOPIC_ERROR_FLAG)) {
jsonMap['topic'] = topic;
jsonMap['errorCode'] = dataView.getInt8(0)
} else if (topic.includes(SELF_DEFINE_TOPIC_UPDATE_FLAG)) {
jsonMap['topic'] = topic;
jsonMap['prop_int16'] = dataView.getInt16(5);
jsonMap['prop_bool'] = uint8Array[7];
jsonMap['prop_float'] = dataView.getFloat32(8);
}
return jsonMap;
}
//以下是部分辅助函数。
function buffer_uint8(value) {
var uint8Array = new Uint8Array(1);
var dv = new DataView(uint8Array.buffer, 0);
dv.setUint8(0, value);
return [].slice.call(uint8Array);
}
function buffer_int16(value) {
var uint8Array = new Uint8Array(2);
var dv = new DataView(uint8Array.buffer, 0);
dv.setInt16(0, value);
return [].slice.call(uint8Array);
}
function buffer_int32(value) {
var uint8Array = new Uint8Array(4);
var dv = new DataView(uint8Array.buffer, 0);
dv.setInt32(0, value);
return [].slice.call(uint8Array);
}
function buffer_float32(value) {
var uint8Array = new Uint8Array(4);
var dv = new DataView(uint8Array.buffer, 0);
dv.setFloat32(0, value);
return [].slice.call(uint8Array);
}
脚本编写完成后，需要做个模拟验证方能设置生效，如下图6所示，我们输入一串属性上报raw数据，点击执行，得到图7所示结果，符合Alink Json格式，点击保存。
2.2、设备端准备
2.2.1、Link SDK配置
选择linkkit_demo工程：
aos make linkkit_demo@haas100 -c config
配置工程:
aos make menuconfig
如下图所示路径，配置使能raw data功能。
2.2.2、编写/修改测试example
修改三元组，使用2.1章节新创建的设备的三元组替换以下位置：
编写rawdata数据上报函数：
void user_post_raw_data(void)
{
int res = 0;
static int id = 0;
/*0x000000000100320100000000*/
unsigned char raw_data[] = {0x0,/*COMMAND_REPORT*/\
0x0, 0x0, 0x0, 0x01,/* id */\
0x0, 0x32, /* prop_int16 */\
0x01, /* prop_bool */ \
0x0, 0x0, 0x0, 0x0 /* prop_float */};
id ++;
raw_data[4] = id & 0xff;
raw_data[3] = (id>>8) & 0xff;
raw_data[2] = (id>>16) & 0xff;
raw_data[1] = (id>>24) & 0xff;
res = IOT_Linkkit_Report(EXAMPLE_MASTER_DEVID, ITM_MSG_POST_RAW_DATA,
raw_data, sizeof(raw_data));
EXAMPLE_TRACE("Post Raw Data Message ID: %d", res);
}
定期上报,修改linkkit_main：
int linkkit_main(void *paras)
{
...
while (1) {
IOT_Linkkit_Yield(EXAMPLE_YIELD_TIMEOUT_MS);
/* Post Proprety Example */
if ((cnt % 20) == 0) {
user_post_raw_data();
}
cnt++;
if (auto_quit == 1 && cnt > 3600) {
break;
}
}
...
}
增加云端属性设置捕获回调函数：
static int user_down_raw_data_arrived_event_handler(const int devid, const unsigned char *payload,
const int payload_len)
{
int res;
unsigned char reply_data[] = {0x3,/*set reply*/\
0x0, 0x0, 0x0, 0x01,/* id */\
0xc8 /* code */};
EXAMPLE_TRACE("Down Raw Message, Devid: %d, Payload Length: %d", devid, payload_len);
if(payload != NULL) {
switch(payload[0]) {
case 0x01: /* property set */
{
if(payload_len >= 12) {
int32_t id = ((int32_t)payload[1] << 24) + ((int32_t)payload[2] << 16) + ((int32_t)payload[3] << 8) + (payload[4]);
int16_t prop_int16 = ((int16_t)payload[5] << 8) + ((int16_t)payload[6]);
bool prop_bool = (bool)payload[7];
float prop_float = (float)(((uint32_t)payload[1] << 24) + ((uint32_t)payload[2] << 16) + ((uint32_t)payload[3] << 8) + (payload[4]));
EXAMPLE_TRACE("Get data: id = %d, prop_int16 = %d , prop_bool = %d, = prop_float = %f",id, prop_int16, prop_bool, prop_float);
res = IOT_Linkkit_Report(EXAMPLE_MASTER_DEVID, ITM_MSG_POST_RAW_DATA,
reply_data, sizeof(reply_data));
}
}
break;
case 0x02: /* report reply*/
{
if(payload_len >= 6) {
int32_t id = ((int32_t)payload[1] << 24) + ((int32_t)payload[2] << 16) + ((int32_t)payload[3] << 8) + (payload[4]);
uint8_t code = payload[7];
EXAMPLE_TRACE("Get reply : id = %d, code = %d ",id, code);
}
}
break;
case 0xff:
{
if(payload_len >= 6) {
int32_t id = ((int32_t)payload[1] << 24) + ((int32_t)payload[2] << 16) + ((int32_t)payload[3] << 8) + (payload[4]);
uint8_t code = payload[7];
EXAMPLE_TRACE("Get unknown data : id = %d, code = %d ",id, code);
}
}
break;
default:
break;
}
}
return 0;
}
设置回调函数，在linkkit_main中：
int linkkit_main(void *paras)
{
...
IOT_RegisterCallback(ITE_RAWDATA_ARRIVED, user_down_raw_data_arrived_event_handler);
...
}
2.3、演示
编写固件并烧入到HaaS100中，参考HaaS100快速上手。
烧入完成后，继续保持usb线连接电脑，使用串口工具打开对应串口（波特兰1500000）。
给设备配网（your_ssid和your_password修改为你自己路由器或者手机热点的名字和密码）：
netmgr -t wifi -c your_ssid your_password
连云成功，看到如下打印：
[Jan 01 00:30:49.960]MQTT Downstream Topic: '/sys/a18gwxhp1rU/hex_device_01/thing/model/up_raw_reply'
[Jan 01 00:30:49.960]MQTT Downstream Payload:
[Jan 01 00:30:49.961]DM thing/model/up_raw_reply
[Jan 01 00:30:50.066]DM Receive Message Type: 40
[Jan 01 00:30:50.066]DM Receive Message: {"devid":0,"payload":"02000001CDC8"}
user_down_raw_data_arrived_event_handler.88: Down Raw Message, Devid: 0, Payload Length: 6
网页端日志调试，看到如下日志：
查看数据转换详情：
3、总结
如果你的设备资源紧张，是否可以考虑使用hex数据与物联网平台通信呢？甚至当你的产品已经上线发售后，你做了costdown之后，将设备从json格式改成hex格式，只需通过设置一个格式转换脚本就可以保持云端逻辑兼容。
4、开发者技术支持
如需更多技术支持，可加入钉钉开发者群，或者关注微信公众号
更多技术与解决方案介绍，请访问阿里云AIoT首页https://iot.aliyun.com/