Hive Moving速度慢原因

原文链接： https://blog.csdn.net/houzhizhen/article/details/52411579

执行hive语句之前，添加参数:set hive.exec.stagingdir=/tmp/hive;

hive做增量合并的时候，到moving就卡住，而且卡很长时间。如图：

参考如下说明：

原文链接：https://blog.csdn.net/houzhizhen/article/details/52411579

事件：　执行一个HIVE查询，在执行到 hive 的 moving data 过程就卡住了，早上来的时候看执行还在那个位置。

处理方法：在hive-site.xml中添加以下参数。

       

     hive.exec.stagingdir        

   /tmp/hive/.hive-staging    

这个参数默认是  会在输出目标目录下先建立一个sessionid目录用于临时存放执行结果。

hive最后在mv的时候，原目录是目标目录的子目录，原目录下的每个文件进行copy操作，如果文件大于默认值（32MB），则会进行distcp操作。如果copy操作，那么数据经过客户端读写一次，如果distcp那么会提交一个任务，不论哪种速度都会非常慢。

hive的MV策略如下：

  1.原文件是非hdfs文件，copyFromLocal

          2.原文件是hdfs文件

          2.1   Encrypted模式

                copy操作，如果文件大于默认值（32MB），则会进行distcp操作。

         2.2  非Encrypted模式

            (1)原目录是目标目录的子目录，原目录下的每个文件进行copy操作，如果文件大于默认值（32MB），则会进行distcp操作。

            (2)其他情况，进行mv操作。