dstream.foreachRDD 创建连接对象 反序列化失败 解决办法

开发一个采集程序,从客户端发送数据到服务端,服务端传给kafka

集群上启动sparkStreaming 接受kafka数据存入HBase

遇到一个小坑

程序报无法序列化 Htable

就是因为dstream.foreachRDD() 是在driver端启动的  创建 hbase连接的时候是在driver端创建的,需要把连接发送到每个worker上时反序列化失败

解决办法 参考下面:

https://blog.csdn.net/jiangpeng59/article/details/53318761

https://blog.csdn.net/Dax1n/article/details/59172244

你可能感兴趣的:(大数据)