解决Windows下pyspark无法初始化SparkContext(sc)的问题

参照了网上大神们的一些文章(如http://www.cnblogs.com/nucdy/p/6776187.html),在Windows下部署了Python+Spark的开发环境,但用官方网站上的例子作测试时(http://spark.apache.org/docs/latest/quick-start.html),却提示NameError: name 'sc' is not defined”。原因是pyspark没有自动初始化SparkContext(更深层的原因我也不知道QAQ)。此时可使用代码

from pyspark import SparkContext

sc= SparkContext.getOrCreate( )

初始化SparkContext

(参考http://it1me.seriousdigitalmedia.com/it-answers?id=42059445&ttl=Apache+Spark+with+Python%3A+error

你可能感兴趣的:(解决Windows下pyspark无法初始化SparkContext(sc)的问题)