1、Spark Streaming接收Flume数据
基于Flume的Push模式
Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Flume可以将数据推送到改receiver.
第一步：Flume的配置文件
第二步：Spark Streaming程序
第三步：注意除了需要使用Flume的lib的jar包以外，还需要以下jar包：
spark-streaming-flume-sink_2.11-2.1.0.jar
第四步：测试
启动Spark Streaming程序
启动Flume
拷贝日志文件到/root/training/logs目录
观察输出，采集到数据
基于Custom Sink的Pull模式
不同于Flume直接将数据推送到Spark Streaming中，第二种模式通过以下条件运行一个正常的Flumesink。Flume将数据推送到sink中，并且数据保持buffffered状态。Spark Streaming使用一个可靠的Flume接收器和转换器从sink拉取数据。只要当数据被接收并且被Spark Streaming备份后，转换器才运行成功。
这样,与第一种模式相比,保证了很好的健壮性和容错能力。然而,这种模式需要为Flume配置一个正常的sink。
以下为配置步骤：
第一步：Flume的配置文件
第二步：Spark Streaming程序
第三步：需要的jar包
将Spark的jar包拷贝到Flume的lib目录下
下面的这个jar包也需要拷贝到Flume的lib目录下，同时加入IDEA工程的classpath
第四步：测试
启动Flume
在IDEA中启动FlumeLogPull
将测试数据拷贝到/root/training/logs
观察IDEA中的输出
2、Spark Streaming接收Kafka数据
Apache Kafka是一种高吞吐量的分布式发布订阅消息系统。
搭建ZooKeeper（Standalone）：
（*）配置/root/training/zookeeper-3.4.10/conf/zoo.cfg文件
dataDir=/root/training/zookeeper-3.4.10/tmp
server.1=spark81:2888:3888
（*）在/root/training/zookeeper-3.4.10/tmp目录下创建一个myid的空文件
echo 1 > /root/training/zookeeper-3.4.6/tmp/myid
搭建Kafka环境（单机单broker）：
（*）修改server.properties文件
（*）启动Kafka
bin/kafka-server-start.sh config/server.properties &
出现以下错误：
需要修改bin/kafka-run-class.sh文件，将这个选项注释掉。
（*）测试Kafka
创建Topic
bin/kafka-topics.sh --create --zookeeper spark81:2181 -replication-factor 1 -- partitions 3 --topic mydemo1
发送消息
bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1
接收消息
bin/kafka-console-consumer.sh --zookeeper spark81:2181 --topic mydemo1
搭建Spark Streaming和Kafka的集成开发环境
由于Spark Streaming和Kafka集成的时候，依赖的jar包比较多，而且还会产生冲突。强烈建议使用Maven的方式来搭建项目工程。
下面是依赖的pom.xml文件：
基于Receiver的方式
这个方法使用了Receivers来接收数据。Receivers的实现使用到Kafka高层次的消费者API。对于所有的Receivers，接收到的数据将会保存在Spark executors中，然后由Spark Streaming启动的Job来处理这些数据。
开发Spark Streaming的Kafka Receivers
测试
启动Kafka消息的生产者
bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1
在IDEA中启动任务，接收Kafka消息
直接读取方式
和基于Receiver接收数据不一样，这种方式定期地从Kafka的topic+partition中查询最新的偏移量，再根据定义的偏移量范围在每个batch里面处理数据。当作业需要处理的数据来临时，spark通过调用Kafka的简单消费者API读取一定范围的数据。
开发Spark Streaming的程序
测试
启动Kafka消息的生产者
bin/kafka-console-producer.sh --broker-list spark81:9092 --topic mydemo1
在IDEA中启动任务，接收Kafka消息