Tez安装配置

介绍：hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率

对于 Tez 0.8.3 及更高版本，Tez 需要 Apache Hadoop 为 2.6.0 或更高版本。 对于 Tez 0.9.0 及更高版本，Tez 需要 Apache Hadoop 为 2.7.0 或更高版本。

一、下载tez的依赖包：http://tez.apache.org 然后解压apache-tez-0.9.1-bin.tar.gz

二、配置

1.在hive中配置Tez

在hive安装目录conf/hive-env.sh文件中确保有如下配置

HADOOP_HOME=/data/hadoop-2.9.2
export HIVE_CONF_DIR=/data/hive-2.3.4/conf

#一般只用追加下面的就行，上面的配置在安装hive时已经配置好
#自己的tez的解压目录
export TEZ_HOME=/data/tez-0.9.1
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export TEZ_JARS=${TEZ_JARS:1}
export HIVE_AUX_JARS_PATH=$TEZ_JARS

2.在hive-site.xml文件中添加如下配置以更改hive计算引擎为tez（默认为MR）

(也可在查询时通过参数set hive.execution.engine=tez指定)

     hive.execution.engine
     tez

3.配置Tez 在Hive的conf目录下创建tez-site.xml文件并添加如下内容

  
     
     tez.lib.uris
     ${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz
  
  
     
     tez.use.cluster.hadoop-libs
     true
  
  
     tez.history.logging.service.class
     org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
  

4.上传Tez压缩包到集群

hdfs dfs -mkdir /tez
hdfs dfs -put /data/apache-tez-0.9.1-bin.tar.gz /tez

5.内存设置

 因为Tez需要基于内存计算，在启动任务前会进行内存检查（检查依据为map与reduce任务所需内存总和），若内存不够时会杀死执行进程。在内存资源预算有限时可以关闭虚拟机内存检查；修改yarn-site.xml如下：

yarn.nodemanager.vmem-check-enabled
false


下面配置可以不用加


   yarn.scheduler.minimum-allocation-mb
   2048
   default value is 1024


    yarn.nodemanager.vmem-pmem-ratio
    2.1
    default value is 2.1

6.校验

启动hive

 

建表插入：

create table aaa(id bigint ,name string)

row format delimited fields terminated by '\t';

insert into table aaa values(4 ,'xiaoming');

 

web界面（8088）：

 

7.TEZ优化参考

缩短提交任务时间

hive：tez.session.am.dag.submit.timeout.secs