spark实时处理hdfs流数据

项目说明

Spark构建一个实时数据处理及展示系统
流数据数据处理:scala
调用spark-SQL:python
如图:


spark实时处理hdfs流数据_第1张图片
Paste_Image.png

问题总结

1、spark-streaming流处理
2、sbt打包
3、hdfs小文件
(20150701_记,后续补充)

后续

1、flume、kafka结合spark
2、spark处理数据存放到hbase

你可能感兴趣的:(spark实时处理hdfs流数据)