spark中删除文件夹

在写spark代码的时候，经常会遇到文件夹路径存在的情况，一般有以下的解决方式

1.在shell脚本中 直接调用hadoop fs -rm path

2.通过设置可直接覆盖文件路径，此方法我没有测试

yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")

val sc=SparkContext(yourSparkConf)

可参考：http://stackoverflow.com/questions/27033823/how-to-overwrite-the-output-directory-in-spark

3.通过Hadoop方式删除已存在的文件目录

val path=newPath("hdfs://xxx");

valhdfs=org.apache.hadoop.fs.FileSystem.get(

new java.net.URI("hdfs://x"), new org.apache.hadoop.conf.Configuration())

if (hdfs.exists(path)) hdfs.delete(path, false)

4.通过spark自带的hadoopconf方式删除

val hadoopConf = sc.hadoopConfiguration

val hdfs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)

val curDayPath =newPath(accumulationCurDayPath)

try{

if(hdfs.exists(curDayPath)){

hdfs.delete(curDayPath,true)

}

}catch{

caseex: java.io.IOException =>

hdfs.close()

casee:Exception=>

hdfs.close()

case_:Throwable=>

hdfs.close()

}

注意：一般spark存在重试机制，（存在多个 attempt id 通过yarn.resourcemanager.am.max-attempts来设置，默认是2）当driver重试的时候，如果采用第一种方式，将会报输出目录存在的错误。因此，我们一般再driver代码中编写删除输出目录的代码。