Kafka-SparkStreaming-Redis

Kafka-SparkStreaming-Redis

标签(空格分隔): 实时流式处理数据 保存到Redis


准备工作

启动,namenode datanode  启动 zookeeper
启动kafka的Topic 
启动Redis服务

Kafka-SparkStreaming-Redis_第1张图片

模拟数据

创建常量工具类、随机数获取类

Kafka-SparkStreaming-Redis_第2张图片

为了模拟数据

Kafka-SparkStreaming-Redis_第3张图片

真正的模拟数据

以JSON个数

Kafka-SparkStreaming-Redis_第4张图片

Kafka-SparkStreaming-Redis_第5张图片

模拟数据发送到Kafka的Topic中 需要用到fastjson解析库

Kafka-SparkStreaming-Redis_第6张图片

真正的订单模操作

Kafka-SparkStreaming-Redis_第7张图片
Kafka-SparkStreaming-Redis_第8张图片
image_1ckcavd9frdqm714n01g0d10jb3t.png-10.1kB
Kafka-SparkStreaming-Redis_第9张图片
Kafka-SparkStreaming-Redis_第10张图片

SparkStreaming实时读取

SparkStreaming 实时读取Kafka Topic中的数据
并将数据保存到Redis表中

Kafka-SparkStreaming-Redis_第11张图片
Kafka-SparkStreaming-Redis_第12张图片
Kafka-SparkStreaming-Redis_第13张图片
Kafka-SparkStreaming-Redis_第14张图片
Kafka-SparkStreaming-Redis_第15张图片
Kafka-SparkStreaming-Redis_第16张图片
Kafka-SparkStreaming-Redis_第17张图片
Kafka-SparkStreaming-Redis_第18张图片
Kafka-SparkStreaming-Redis_第19张图片
Kafka-SparkStreaming-Redis_第20张图片
image_1ckcc98mpe9s1n91fet16ssm39.png-6.2kB
Kafka-SparkStreaming-Redis_第21张图片
Kafka-SparkStreaming-Redis_第22张图片
Kafka-SparkStreaming-Redis_第23张图片
Kafka-SparkStreaming-Redis_第24张图片

结果

kafka Topic端

不断的接收数据

Kafka-SparkStreaming-Redis_第25张图片

模拟数据

不断的发送数据

Kafka-SparkStreaming-Redis_第26张图片

数据处理 结果保存

Kafka-SparkStreaming-Redis_第27张图片

结果保存到Redis表    实时更新    

Kafka-SparkStreaming-Redis_第28张图片
Kafka-SparkStreaming-Redis_第29张图片

你可能感兴趣的:(Kafka-SparkStreaming-Redis)