【Pyspark】Spark导入zip文件/上传zip文件

Spark上传zip文件

步骤一、启动spark的时候addfile  zip文件

 

#zip文件原始路径
file_path = "./filename.zip"

#启动spark
spark = SparkSession.builder.appName("space_name").enableHiveSupport().getOrCreate()
sc = spark.sparkContext

# 添加文件到spark的空间,位于根目录下
sc.addFile(file_path)

 

 

步骤二、在udf函数中解压缩：

从根目录读取压缩文件并解压

之后即可以使用解压后的文件

import os
import zipfile

def func(businesstype,route_id_i,locale,languagetype,sentence):
    root = './'
    zip_file_path = os.path.join(root,  'file_name.zip')
    with zipfile.ZipFile(zip_file_path) as zf:
        zf.extractall(root)

    #解压后的路径为根目录下和原始zip文件同名的文件夹
    file_path = './file_name'
    # 可以用路径下的文件进行一些处理工作
    xyz = func2(file_path)
    return xyz
func_udf = udf(func, StringType())

df_out = df.withColumn("new_col", func_udf(df["col1"]))

 

 

python解压缩文件

import os
import zipfile

root = rootdir
file_name = 'file.zip'
zip_file_path = os.path.join(root, file_name)
with zipfile.ZipFile(zip_file_path) as zf:
    zf.extractall(root)

参考文献：

https://stackoverflow.com/questions/58628626/pyspark-unzip-files-which-is-a-good-approach-for-unzipping-files-and-storing-th

https://developer.aliyun.com/ask/131174