zeppelin中spark结合pyspark 常出现问题

问题:zeppelin 运行程序过程中经常出现

AttributeError: ‘NoneType’ object has no attribute ‘sc’

‘NoneType’ object has no attribute ‘setJobGroup’

主要原因:
在zeppelin 中
不能一次性开多个sc(SparkContext),因为之前已经存在一个Spark Contexts,所以再创建一个新的sc会报错。所以解决错误的办法就是,必须把已有的sc给关闭掉,才能创建新的sc。那怎么去关闭呢?我们可以用sc.stop()函数就可以关闭了。

解决方式
在interpreter 的spark 中
spark.dynamicAllocation.enabled 设置为true
删除掉
sc = SparkContext()

sc.stop()

然后重新启动iterpreter
运行程序发现完美解决

问题解决
例子程序
zeppelin中spark结合pyspark 常出现问题_第1张图片

注意:在zeppelin 中建议一个shell 中最好建立一个sc

参考:https://blog.csdn.net/ZengHaihong/article/details/53423456

你可能感兴趣的:(大数据,spark,zeppelin)