zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext

在使用zeppelin 写 spark的代码的时候

会出现个问题,zeppelin创建的SparkContext对象会一直占用在集群中

如果spark集群没配置动态资源,这个对象就不会自动释放,一直占着资源,即使没有工作

 

 

在spark管理页面,手动kill后

如果再去zeppelin中执行spark操作,即会出现如下错误

感觉像是调不到SparkContext了

Cannot call methods on a stopped SparkContext.

 

zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext_第1张图片

 

若干小时后

 

 

这个问题有点刚了

现阶段想不到一个漂亮的套路,只能够重启zeppelin的方式去重建SparkContext

但是这样的话会让其他的用户无辜遭殃

所以搞个监控去自动重启,也不行。

 

 

 

 

天无绝人之路呀zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext_第2张图片

 

后来看到官方的鸡爪

https://issues.apache.org/jira/browse/ZEPPELIN-1306

 

在0.7.*版本之后

可以实现对单独的note支持重启

zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext_第3张图片

 

zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext_第4张图片

 

程序开始运行

zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext_第5张图片

重新运行成功

zeppelin spark SparkContext问题 Cannot call methods on a stopped SparkContext_第6张图片

你可能感兴趣的:(zeppelin)