Q:org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException

参考: http://www.jianshu.com/p/f5ec6c7bb176
提示为文件操作超租期,由于多个task操作写一个文件,其中某个task完成任务后删除了临时文件引起。
解决:
避免太高的并发度同时写一个文件。
所以在调用write.parquet前,先使用repartition合并碎片分区。
因为减少了分区数,下次再读取这份数据进行处理时,减少了启动task的开销。

你可能感兴趣的:(Q:org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException)