Spark各种问题汇总

1.  spark streaming 与kafka报错 不能序列化ConsumerRecord,

描述:object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord,

原因:  KafkaUtils.createDirectStream 后使用了repartition(n)

你可能感兴趣的:(spark,ConsumerRecord,not,serializable)