不过提到流处理，大家一般都能说出一些主流技术Storm／SparkStream／KafaStream／Flink…在分布式流式处理中，我们关注的是哪些方面呢？

SparkStream

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStream

使用Pull方式的优点SparkStream集成Flume有两种方式：Push-basedApproachPull-basedApproach那么我们在生产中该选择哪种方式呢？

版本说明apache-flume-1.6.0-cdh5.15.1-binkafka_2.11-0.9.0.0scala-2.11.12apache-maven-3.3.9spark-2.4.4-bin-2.6.0-cdh5.15.1zookeeper-3.4.5-cdh5.15.1处理流程模拟日志生成packagecom.hlsijx.spark;importorg.apache.log4j.Lo

目前已知常用的方式有四种：1）logstash_input_kafka插件；缺点：不稳定（ES中文社区讨论）2）sparkstream同步；缺点：太庞大3）kafkaconnector同步；4）自写程序读取

sparkStream实际上就是为实时操作生成的数据提供服务的。

目前已知常用的方式有四种：1）logstash_input_kafka插件；缺点：不稳定（ES中文社区讨论）2）sparkstream同步；缺点：太庞大3）kafkaconnector同步；4）自写程序读取

今天在看sparkstream的sample样例的时候看到linux的万金油命令nc。

Flume整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-flume-integration.htmlApacheFlume

foreachRDD通常用来把SparkStream运行得到的结果保存到外部系统比如HDFS、Mysql、Redis等等。

就好比你拿到一个开源源代码，即使你编译引用库，那么你后期的维护和后期的扩展都会受到极大的限制，如果你自己依据于Spark的源码进行改造，那么自己后期的维护和扩展都是依赖于自己的设计来适合公司的业务逻辑，从而方便维护和可扩展SparkStream

，原文https://mp.weixin.qq.com/s/jllAegJMYh_by95FhHt0jA本文从编程模型、任务调度、时间机制、Kafka动态分区的感知、容错及处理语义、背压等几个方面对比SparkStream

目录目录背景（1）介绍，实现方式分类（2）使用ManageState，Flink自动实现state保存和恢复（3）自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream

--->Spark中有很多内容，本篇文章只讲其中的Sparkcore，Sparksql，Sparkstream。

CheckPointing（1）介绍，实现方式分类（2）使用ManageState，Flink自动实现state保存和恢复（3）自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream

SparkStream

Sparkcore一、spark是一个分布式同通用计算框架，可用于离线大数据处理、实时流计算、交互式计算、图计算等，集成了SparkSQL、SparkStream、MLLib等库，提供了丰富的API。

流式计算是目前大数据领域很火的一种术语，stream的技术有很多，很早的storm，然后是sparkstream、flink，以及我将要学习了解的kafkastream。其实我对

本文将SparkStream和Hbase整合，我将使用Socket流发送数据到SparkStream进行处理，并将处理结果写入Hbase代码实现pom.xml中增加hbase的依赖org.apache.hbasehbase-client2.1.1org.apache.hbasehbase-server2.1.1org.apache.hbasehbase2.1.1pomHbaseUtil

19/10/2217:35:44WARNClientUtils$:Fetchingtopicmetadatawithcorrelationid0fortopics[Set(zhaogw)]frombroker[id:0,host:dblab-VirtualBox,port:9092]failedjava.nio.channels.ClosedChannelExceptionatkafka.netw

yuminstall-ync（2）通过netcat工具向指定的端口发送数据nc-lk9999（3）编写SparkStream

1，Spark基本概念：https://blog.csdn.net/liuxiangke0210/article/details/796872402，Sparksql和Sparkstream进一步理解：

实验结果展示数据集hour.csvinstant,dteday,season,yr,mnth,hr,holiday,weekday,workingday,weathersit,temp,atemp,hum,windspeed,casual,registered,cnt1,2011-01-01,1,0,1,0,0,6,0,1,0.24,0.2879,0.81,0,3,13,16此数据集包含的是从20

完整项目代码：https://github.com/GYT0313/Spark-Learning/tree/master/sparkstream1.日志产生器首先你应该创建一个Maven项目，参考：https

虚拟机中操作cd/opt/software/rpmnc-lk9999这里9999指对应的端口号defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName("my").setMaster("local[2]")//ssc微批框架每隔1秒中取一次数据核心对象valssc=newStreamingContext(conf,Sec

一、确保HA高可用性：HighAvailability如果有些数据丢失，或者节点挂掉；那么不能让你的实时计算程序挂了；必须做一些数据上的冗余副本，保证你的实时计算程序可以7*24小时的运转。通过一整套方案（3个步骤），开启和实现实时计算程序的HA高可用性，保证一些关键数据都有其冗余副本，不至于因为节点挂掉或者其他原因导致数据丢失。1、updateStateByKey、window等有状态的操作，自

LinuxClusterLB:lvs,nginxHA：keepalived,heartbeat,corosync,cmanHP：分布式存储：HDFS分布式计算：YARN,batch:MapReducein-memory:sparkstream

sparkstream的有状态串联，可用函数：updateStateByKey但是如果状态值非常巨大，可以串联起来吗？？？

消费kafka有两种方式，分别是Receiver方式和Direct方式，Receiver可以自己去维护偏移量offset，Direct方式是Executer直接对接kafka进行消费数据，即用即读即丢，sparkStream

比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面

比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面

接下来的文章我们通过分析SparkStream

1.mavenAllTestcom.lcc1.0-SNAPSHOT4.0.0esper_testcom.espertechesper7.0.0org.apache.sparkspark-core_2.112.2.0org.apache.sparkspark-sql_2.112.2.0org.apache.sparkspark-streaming_2.112.2.0org.apache.sparks

一、SparkStream、KafkaStream、Storm等存在的问题在设计一个低延迟、exactlyonce、流和批统一的，能够支撑足够大体量的复杂计算的引擎时，SparkStream等的劣势就显现出来

尝试了sparkstream，实时性没有storm高。所以就选择了storm。其他分析还是用的spark。

前言flume+kafka+sparkstream是目前比较常用的一套大数据消息日志收集管理框架，至于最后是入到Hive或者者Hbase需看不同业务场景，下面以HBase为场景简述下整个配置与搭建流程以及这些框架如此搭配的优点

目前的项目中需要将kafka队列的数据实时存到hive表中。应为之前工作中用到的是CDH5.11,而且spark等用的基本是最新版(2.2)，语言也一直是Scala，所以这次要求Java语言以及低版本的spark，在写程序的时候还是遇到了一些头疼的事情。环境：Centos6.5Spark1.6.0Kafka0.9.xHive1.1.0Zookeeper3.4.5都是基于CDH5.7.1的阅读本文，

很快运行），高效DAG执行引擎，Spark比MapReduce快100倍，拥有Java，Scale，Python等API，且支持多种平台（Hadoop,Cloud,Mesos等），能够在一个应用中支持SparkStream

lvs,nginxHA:keepalived,heartbeat,corosync,cmanHP:高性能集群分布式存储：HDFS分布式计算：YARN,batch:MapReducein-memory:sparkstream

本人对spark包括sparkstream，sparksql，sparkMLlib都有一些了解，自己也写过一些demo，但是由于没有很详细地去查看官网的API文档，导致编程想法固定无法变通。

SparkStream

SparkStream

-----------------------------------目录---------------------------------------1、Wisp基础2、Highchart函数3、SparkStream

SparkStreaming是基于SparkCore之上的，如果能够确保数据安全可好的话，在SparkStreaming生成Job的时候里面是基于RDD，即使运行的时候出现问题，那么SparkStream

SparkStreaming是基于SparkCore之上的，如果能够确保数据安全可好的话，在SparkStreaming生成Job的时候里面是基于RDD，即使运行的时候出现问题，那么SparkStream

SparkStream

集成一Kafka二flume和kafka的集成三kafka和sparkstreaming的集成方式一kafka推送四kafka和sparkstreaming的集成方式一sparkstreaam主动获取五sparkstream

就好比你拿到一个开源源代码，即使你编译引用库，那么你后期的维护和后期的扩展都会受到极大的限制，如果你自己依据于Spark的源码进行改造，那么自己后期的维护和扩展都是依赖于自己的设计来适合公司的业务逻辑，从而方便维护和可扩展SparkStream

这里补充一下Spark与Storm的区别，1.Storm可以实现1s以下的实时查询,Spark却做不到，Storm更加自由风格计算是在bolt节点上，Spark是在链上，Sparkstream与storm