Spark中sc.textFile()读取文件路径

sc.textFile() 路径问题

已知
Spark中sc.textFile()读取文件路径_第1张图片
这里我看 黑马中的Pyspark ,读取本地文件可以直接使用 相对路径 成功

sc.textFile("相对路径")

但是我这样使用就报路径错误

  • 不加 file:/// 就默认HDFS读取
  • 加了file:/// 就只能使用绝对路径读取
    最后 只能这样 还是绝对路径
from pathlib import Path
FILE = Path(__file__).resolve()# .py 绝对路径
ROOT = FILE.parents[1]# 工程文件路径
file_rdd = sc.textFile(f"file:///{ROOT}/data/XXX.txt")

不知道有没有什么方法 直接使用相对路径

你可能感兴趣的:(Bug记录,spark,大数据,分布式)