kafka+spark Streaming+redis小项目

这个项目主题思路是:
    手机客户端会收集用户的行为事件(我们以点击事件为例),将数据发送到数据服务器,我们假设这里直接进入到Kafka消息队列
    后端的实时服务会从Kafka消费数据,将数据读出来并进行实时分析,这里选择Spark Streaming,因为Spark Streaming提供了与Kafka整合的内置支持
    经过Spark Streaming实时计算程序分析,将结果写入Redis,可以实时获取用户的行为数据,并可以导出进行离线综合统计分析

需要用到的工具:
安装zookeer:
http://blog.csdn.net/w3045872817/article/category/7231592
安装redis:
http://blog.csdn.net/w3045872817/article/details/78728946
安装kafka:
http://blog.csdn.net/w3045872817/article/category/7231591
安装spark:
http://blog.csdn.net/w3045872817/article/details/78289805
redis客户端管理工具:
https://redisdesktop.com/

kafka客户端管理工具:
http://www.kafkatool.com/download.html

项目的github路径:https://github.com/Ericjeff/kafka-sparkStreaming-redis

你可能感兴趣的:(spark,redis,spark,数据)