flink性能测试 （工业领域三维空间数据的重要性）

flink性能测试

集群测试：

3台服务器 4核 16G

逻辑：

从emqtt消息队列获取数据---》 数据处理  --》 写入 redis， 写入opentsdb

 

测试1个半小时， 大概1秒11万的并发量。

3台服务器 8核 20G

逻辑：

如上

测试一个半小时， 大概1秒20万的并发量。

百度截图：

场景： 采集工厂的数控机床、金属加工、汽车制造、机械设备等生产制造行业的数据分析。

 

       随着各类数据、日志的迅速增长，无论在互联网、医学还是工业领域，普通的计算机存储空间不易扩展，数据易丢失等问题也越来越凸显，这也正是目前大数据技术在互联网、医学、工业方面应用越来越多的原因。所用的采集传感器灵敏度每对每秒可采集1000万个事件，那么数十对传感器经过长时间的采集，单次实验获取的数量非常大，常常达到上百G，针对传统的借助算法将三维空间数据近似到二维空间，尽管降低了数据量，但是丢失了重要三维信息，同时数据的后期处理重建过程对单台计算机的要求过高。

 

实现算法对三维空间数据进行模型训练，训练完成对实时数据预测， 判断是否产生故障（比如机器人焊缝pianhan， 熔深不足）
 

通过flink获取工厂机器人运行时的数据， 可以获取三维空间数据， 存入opentsdb， 展示如下: