0. 车联网数据平台项目构建指南——MQTT+EMQ+Kafka+KSQL+Tensorflow

1、项目背景

该项目是以车联网为应用背景，使用物联网、大数据和深度学习技术来进行实现，构建出了一个分布式车联网数据实时收集与分析平台。

首先，使用python语言构造了一个数据模拟器用来产生汽车传感器数据。使用MQTT作为传输协议，确立EMQ作为MQTT Broker，在EMQ中构建桥接Kafka的插件和规则引擎，实现将数据被预处理后传输给Kafka。应用功能拓展上，使用KSQL对流式数据进行流式操作，使用Tensorflow构建LSTM模型使用所获取的数据来预测未来的数据情况。

2、构建手册

1. 阿里云初体验——阿里云配置教程

2. 阿里云上搭建ubuntu16.04并使用VNC进行远程连接

3. Ubuntu系统中文化、安装中文输入法、解决VNC上ubuntu后无法复制粘贴问题

4. ubuntu16.04部署EMQ X服务器和MQTT客户端

5. ubuntu系统配置jdk、IDEA、Maven和Tomcat并在IDEA下创建Maven项目

6. 使用SpringBoot来开发基于Java的MQTT客户端

7. 使用Python开发MQTT客户端

8. 使用JMeter连接EMQ进行万级客户端连接测试

9. ubuntu16.04安装配置confluent平台并使用Kafka、KSQL进行流式操作

10. 使用python构建Kafka的生产者和消费者，将txt转换成csv文件

11. 构建EMQ连接Kafka的插件，实现消息由MQTT Broker传递至Kafka

12. ubuntu16.04配置anaconda+python3+tensorflow+jupyter远程访问

13. 在ubuntu16.04（linux）安装配置tensroflow-io

14. 使用tensorflow2中keras框架搭建LSTM神经网络模型进行时间序列预测

15. 车联网数据实时收集与分析平台测试

注：代码实现部分以上传至github上。
Data-collection-and-analysis-platform-for-Internet-of-vehicles