Windows下idea远程调试Spark Streaming接收Kafka数据

大数据集群环境说明

Spark版本：2.0.2
Kafka版本：0.9.1
Linux系统：CentOS6.5

场景

做Spark Streaming开发，在Win7下使用IDE进行开发，希望在本地IDEA上远程连接服务器上的大数据集群进行调试，这里仅连服务器上的Kafka和Zookeeper服务

• 我这里在Windows下使用IDEA进行开发，相信本文章对Eclipse的朋友也有帮助
• 服务器上的大数据集群已经全部安装好了（Hadoop、Hive、HBase、Spark、Flume、Sqoop、Zookeeper、Hue等等）
• 这里Kafka的安装、Spark的安装、以及其他大数据服务的安装不再赘述

操作

第一步：后台启动Kafka

nohup bin/kafka-server-start.sh config/server.properties &

第二步：启动Kafka的Producer（cm02.spark.com为集群中一台服务器的主机名（映射了IP地址））

bin/kafka-console-producer.sh --broker-list cm02.spark.com:9092 --topic test

第三步：下面是一个简单的Spark Streaming Demo

import org.apache.spark.SparkConf

import org.apache.spark.streaming.kafka.KafkaUtils

import org.apache.spark.streaming.{Seconds, StreamingContext}

/**

  * Demo

  * Spark Streaming远程连接Zookeeper读取Kafka的数据进行单词统计

  * Created by CaoWeiDong on 2017-11-22.

  */

object ScalaKafkaWordCount {

    def main(args: Array[String]): Unit = {

        //Zookeeper连接地址

        val zkQuorum = "

[cm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181"](http://cm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181%22/)

        //Kafka连接信息(Topic Partition)

        val topicMap = Map("test" -> 1)

        //conf

        val conf = new SparkConf()

            .setAppName(ScalaKafkaWordCount.getClass.getSimpleName)

            .setMaster("local[4]")

        //SparkStreaming

        val ssc = new StreamingContext(conf, Seconds(2))

        //SparkStreaming连接Kafka

        val lines = KafkaUtils.createStream(ssc, zkQuorum, "sss", topicMap)

            .map(_._2)

        //以空格进行切分，统计单词个数

        val words = lines.flatMap(_.split(" "))

        val wordCounts = words.map(key => (key, 1L))

            .reduceByKey(_ + _)

        //打印

        wordCounts.print()

        //启动

        ssc.start()

        ssc.awaitTermination()

    }

}

第四步：运行Demo

运行Spark-Streaming的Demo.png

第五步：准备数据

Hadoop Spark Kafka Flume
Hive HBase Flink Sqoop
Mapreduce yarn hdfs
Spark Storm Kylin Sqoop HBase Hadoop
Kafka Kylin hdfs Flume

将上面的数据贴到Kafka的Producer

为Kafka准备数据.png

第六步：IDEA下Spark Streaming的运行结果

Spark-Streaming统计Kafka生产的数据.png

最后一步：总结

其实这在Windows下IDEA下Spark Streaming通过local模式进行调试最关键的一行代码是：
val conf = new SparkConf()
.setAppName(ScalaKafkaWordCount.getClass.getSimpleName)
.setMaster("local[4]")

原来的时候我local的进程数是1，虽然运行时一直没有报错，但是Kafka生产的数据一直消费不了
后来调成4了以后就可以了，发现是因为Spark Streaming需要开启多个进程，一个进程接收数据，一个处理数据，一开始调成2不行，然后调成4就可以了