kafka-0.8.x和kafka-0.10.0.0版本KafkaUtils.createDirectStream方法的比较
先是0.8.x版本KafkaUtils.createDirectStream是如何创建！！
导包(MVN或者sbt)：
groupId = org.apache.spark
artifactId = spark-streaming-kafka-0-8_2.11
version = 2.2.1
测试代码如下：
object Kafka_Spark {
def main(args: Array[String]) {
val sparkConf = new SparkConf().setMaster("local[2]").setAppName("kafka-spark-demo")
val scc = new StreamingContext(sparkConf, Duration(5000))//new一个spark-streaming的上下文
// scc.checkpoint(".") // 暂时用不到
val topics = Set("kafka_spark2") //我们需要消费的kafka数据的topic
val kafkaParam = Map(
"metadata.broker.list" -> "localhost:9092", // kafka的broker list地址
"auto.offset.reset" -> "smallest"//这个参数可以让streaming消费topic的时候从头开始消费
)
val stream: InputDStream[(String, String)] = createStream(scc, kafkaParam, topics)//建立流，读数据，传入上下文，kafka配置，主题名字
val wordCount = stream.map(l => (json_an(l._2), 1)).reduceByKey(_ + _) //对数据进行处理
wordCount.print()//输出到控制台看看结果
scc.start() // 真正启动程序
scc.awaitTermination() //阻塞等待
}
def createStream(scc: StreamingContext, kafkaParam: Map[String, String], topics: Set[String]) = {
KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](scc, kafkaParam, topics)
}
}
---------------------
作者：DaHuangXiao
来源：CSDN
原文：https://blog.csdn.net/m0_37637511/article/details/80330358
版权声明：本文为博主原创文章，转载请附上博文链接！接着是kafka-0.10.0.0版本KafkaUtils.createDirectStream方法
import org.apache.kafka.clients.consumer.ConsumerRecord
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.streaming.kafka010._
import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe
ssc = new StreamingContext(sparkConf, Milliseconds(1000))
val preferredHosts = LocationStrategies.PreferConsistent
val kafkaParams = Map[String, Object](
"bootstrap.servers" -> "localhost:9092,anotherhost:9092",
"key.deserializer" -> classOf[StringDeserializer],
"value.deserializer" -> classOf[StringDeserializer],
"group.id" -> "use_a_separate_group_id_for_each_stream",
"auto.offset.reset" -> "latest",
"enable.auto.commit" -> (false: java.lang.Boolean)
)
val topics = Array("topicA", "topicB")
val stream = KafkaUtils.createDirectStream[String, String](
ssc,
preferredHosts,
Subscribe[String, String](topics, kafkaParams)
)
stream.map(record => (record.key, record.value))
---------------------
作者：Spark高级玩法
来源：CSDN
原文：https://blog.csdn.net/rlnLo2pNEfx9c/article/details/79648890
版权声明：本文为博主原创文章，转载请附上博文链接！可以明显看出createDirectStream是不同的，今天上午先是导入0.10.0.0的jar包，然后采用的是0.8.x的格式进行coding，IDEA反复报编译错误：
后来经过仔细网上查找答案，发现两个版本的方法是不一样。另外kafkaParam两个版本的设置也是很不一样！
spark官网kafka0.10版本样例
http://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html
spark官网kafka0.8.x版本样例
http://spark.apache.org/docs/2.3.0/streaming-kafka-0-8-integration.html
现在IDEA软件导入的是0.8.x版本的jar包，继续采用以前的方法，而服务器中部署的是1.10版本的kafka，向下兼容0.8.x版本的kafka。