spark近实时流式计算平台

阅读更多

流星实时数据开发平台


一个实时地干离线的活的流式计算平台!
基于hive sql,能进行任何复杂业务的sql运算。
UV,PV,新UV,跟踪类指标,在线时长、在线人数等等,都可以算。并且是0误差。

本平台已用每天几十亿行的数据验证通过。 
源码地址:https://github.com/meteorchenwu/meteor


一、特点
    1、支持任何量级的0误差去重。
    2、支持任何量级的大表join。
    3、基于hive sql,支持创建中间表。
    4、分钟级时延,一般为2分钟。(依赖于spark stream去kafka取数据的间隔频次)

二、使用技术
    1、框架:kafka,spark-stream,spark-sql,redis集群,cassandra(可选),mysql
    2、开发语言:java,scala

三、示意图
    
spark近实时流式计算平台_第1张图片
 
    1、系统按固定间隔(如1min)去kafka拉数据,叫时间片数据。
    2、系统将各时间片数据转换成表,基于hive sql进行运算。
    3、系统对各时间片数据独立无干扰进行运算。每个表系统都会自动加上当前时间片的uuid。
    4、通过函数:c_sum,c_distinct,c_join,c_max和c_min。利用redis或cassandra,对所有时间片进行全局运算。

 

四、SQL帮助文档

    查看详情


五、demo安装示例
    demo安装
    demo示例

六、问题
    查看详情

 

  • spark近实时流式计算平台_第2张图片
  • 大小: 70.1 KB
  • 查看图片附件

你可能感兴趣的:(spark,流式运算,实时数据,redis,cassandra)