异常-hsql 小文件过多

阅读更多

1.背景：

   hive  做 insert overwrite select * from table 操作

   出现异常：

   [Fatal Error] total number of created files now is 100028, which exceeds 100000. Killing the job.

 

2.实际默认限制：

   hive> set hive.exec.max.created.files;

   hive.exec.max.created.files=100000

 

3.解决方案：

   加上：DISTRIBUTE BY  

   其他问题：因为会多一次shuffer 速度变慢，还可能分区不均匀导致问题

 

 

   

 

 

 

参考：

https://confusedcoders.com/data-engineering/etl/hive/hive-dynamix-partition-error-fatal-error-total-number-of-created-files-now-is-100000-which-exceeds-100000-killing-the-job

 

https://sungang-1120.iteye.com/blog/2262234