pyspark : NameError: name 'spark' is not defined

如题所示的报错,这是因为在Python 程序中没有默认的 pyspark.sql.session.SparkSession,因此我们只需导入相关模块,再将其转换为 SparkSession
相关代码:

from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)
print(type(spark))

将其类型打印出来,成功解决:

你可能感兴趣的:(Python)