Hive On Tez

1、下载Tez

wget http://www-us.apache.org/dist/tez/0.9.2/apache-tez-0.9.2-bin.tar.gz

2、配置Tez

1）将$TEZ_HOME/share/tez.tar.gz 上传至HDFS：hdfs:///cdh5/apps/tez/tez.tar.gz。

hdfs dfs -mkdir -p /cdh5/apps/tez
hdfs dfs -put /opt/cloudera/tez-0.9.2/share/tez.tar.gz /cdh5/apps/tez

2）在$TEZ_HOME/conf下配置tez-site.xml：

	
		tez.lib.uris
		hdfs:///cdh5/apps/tez/tez.tar.gz
	
	
		tez.use.cluster.hadoop-libs
		true
	
	
		tez.runtime.compress
		true
	
	
		tez.runtime.compress.codec
		org.apache.hadoop.io.compress.SnappyCodec
	

将$TEZ_HOME/conf/tez-site.xml复制到所有结点的"$HADOOP_HOME/etc/hadoop"目录。 

3）配置Hive

$HIVE_HOME/conf/hive-env.sh，增加以下内容：

export TEZ_HOME=/opt/cloudera/tez
export TEZ_CONF_DIR=$TEZ_HOME/conf
export HADOOP_CLASSPATH=${TEZ_HOME}/*:${TEZ_HOME}/lib/*:${TEZ_CONF_DIR}:${HADOOP_CLASSPATH}

 $HIVE_HOME/conf/tez-site.xml，内容如下：

 

 

 

     
         tez.lib.uris
         hdfs:///cdh5/apps/tez/tez.tar.gz
      

  $HIVE_HOME/conf/hive-site.xml，修改如下：

	hive.tez.container.size
	1024


	hive.tez.cpu.vcores
	2


    hive.execution.engine
    tez


   hive.prewarm.enabled
   true


    hadoop.embedded.local.mode
    false

 4）环境变量（所有结点）

export TEZ_HOME=/opt/cloudera/tez
export TEZ_CONF_DIR=$TEZ_HOME/conf

$HADOOP_HOME/etc/hadoop/hadoop-env.sh设置"HADOOP_CLASSPATH"

export HADOOP_CLASSPATH=${TEZ_CONF_DIR}:${TEZ_HOME}/*:${TEZ_HOME}/lib/*:${HADOOP_CLASSPATH}

3、验证