An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.

文章目录

    • 1.解决问题1
    • 2.解决问题2
    • 3.创建文件夹
    • 4.上传文件到指定文件夹

1.解决问题1

一开始在本地读取HDFS内的文件,使用下面代码一直报错,翻了很多CSDN博客,配置环境和降低版本都无法解决。

from pyspark import SparkContext
sc=SparkContext()
rdd1=sc.textFile("/test/food.txt")
result=rdd1.collect()
print(result

你可能感兴趣的:(大数据,hadoop,spark,HDFS)