【踩坑实录】-hive参数产生2个文件问题

背景：

执行任务完成后，经常会发现hdfs生成了多个文件

设置以下参数防止hive生成2个文件：

set hive.exec.stagingdir=/tmp/hive-staging/.hive-staging;

处理方法：在hive-site.xml中添加以下参数。

<property>        



     <name>hive.exec.stagingdir</name>        



   <value>/tmp/hive/.hive-staging</value>    



</property>

这个参数默认是<value.hive-staging</value>  会在输出目标目录下先建立一个sessionid目录用于临时存放执行结果。

hive最后在mv的时候，原目录是目标目录的子目录，原目录下的每个文件进行copy操作，如果文件大于默认值（32MB），则会进行distcp操作。如果copy操作，那么数据经过客户端读写一次，如果distcp那么会提交一个任务，不论哪种速度都会非常慢。

hive的MV策略如下：

  1.原文件是非hdfs文件，copyFromLocal

   2.原文件是hdfs文件

          2.1   Encrypted模式

                copy操作，如果文件大于默认值（32MB），则会进行distcp操作。

         2.2  非Encrypted模式

            (1)原目录是目标目录的子目录，原目录下的每个文件进行copy操作，如果文件大于默认值（32MB），则会进行distcp操作。

            (2)其他情况，进行mv操作。

未经允许不得转载：木盒主机 » 【踩坑实录】-hive参数产生2个文件问题