问题:zeppelin 运行程序过程中经常出现
AttributeError: ‘NoneType’ object has no attribute ‘sc’
和
‘NoneType’ object has no attribute ‘setJobGroup’
主要原因:
在zeppelin 中
不能一次性开多个sc(SparkContext),因为之前已经存在一个Spark Contexts,所以再创建一个新的sc会报错。所以解决错误的办法就是,必须把已有的sc给关闭掉,才能创建新的sc。那怎么去关闭呢?我们可以用sc.stop()函数就可以关闭了。
解决方式
在interpreter 的spark 中
spark.dynamicAllocation.enabled 设置为true
删除掉
sc = SparkContext()
和
sc.stop()
然后重新启动iterpreter
运行程序发现完美解决
问题解决
例子程序
注意:在zeppelin 中建议一个shell 中最好建立一个sc
参考:https://blog.csdn.net/ZengHaihong/article/details/53423456