Python到pyspark中的py-files的问题

在spark平台上执行Python算法涉及到Python程序的改写,其中import部分需要额外注意。如果我们在执行某个test.py程序时需要调用另外一个common.py,需要在test.py内部添加import common,而此时的import common 不能放在程序头部,需要放在context之后。同时在执行程序时需要–py-files 参数指定引用模块的位置。图2为通过livy调用的情况截图。
Python到pyspark中的py-files的问题_第1张图片Python到pyspark中的py-files的问题_第2张图片

你可能感兴趣的:(livy,spark,livy,pyspark)