hive 安装和配置

Hive必须依赖hadoop，当hadoop_home环境变量配置的时候取环境变量，没有的时候就取
which hadoop 对应的值，如果还没有就直接报错了。




//上传
[hcr@ebsdi-23260-oozie hive-0.11.0]$ rz
//解压
[hcr@ebsdi-23260-oozie hive-0.11.0]$ tar -zxvf hive-0.11.0.tar.gz
//当前目录
[hcr@ebsdi-23260-oozie hive-0.11.0]$ pwd
/home/hcr/local/hive-0.11.0




配置hive
[hcr@ebsdi-23260-oozie local]$ cd /home/hcr/conf/hive/conf
[hcr@ebsdi-23260-oozie conf]$ cp hive-default.xml.template hive-default.xml
[hcr@ebsdi-23260-oozie conf]$ cat hive-env.sh.template >> hive-env.sh


修改配置文件
[hcr@ebsdi-23260-oozie conf]$ vim hive-default.xml
<property>
<name>hive.exec.scratchdir</name>
<value> /tmp/hive-${user.name}</value>
<description>Scratch space for Hive jobs</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>$HOME/tmp/${user.name}</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>$HOME/tmp/${user.name}</value>
<description>
Location of Hive run time structured log file
</description>
</property>

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>







Hdfs目录新建并且赋权


hadoop fs -mkdir /tmp
hadoop fs -chmod a+w /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod a+w /user/hive/warehouse


元数据数据库
可以选择是否配置元数据数据库
配置Metastore用mysql数据库,可以多用户同时访问，默认的是derby只能为每个metastore提供一个hive回话
在mysql 数据库新建数据库赋权限
create user and database for hive in mysql
create database hive;
GRANT all ON hive.* TO hive@'%' IDENTIFIED BY 'hive';


配置hive-site.xml


<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.232.60:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
</configuration>


可以通过传--config选项参数给hive命令以重新定义Hive查找hive-site.xml文
件的目录:
hive --config /home/houchangren/hive/conf --hiveconf hive.root.logger=DEBUG,console










配置hive




可以在运行的时候指定hive-site.xml文件的目录指定对应的配置，这种情况在多个集群中比较方便使用，比如 同时管理5个对应的集群，直接建立5个集群的配置文件夹，运行的时候，直接指定第一个运行


Hive --conf /user/hadoop-1/hive-conf/


其他的同样
Hive --conf /user/hadoop-2/hive-conf/


Hive还允许你想hive命令传递-hiveconf选项来为单个会话设置属性。




使用伪分布集群
Hive –hiveconf fs.default.name=localhost –hiveconf mapred.job.tracker=localhost:8021


使用日志在控台显示
Hive –hiveconf hive.root.logger=DEBUG,console




还可以在hive的运行会话中set个别自定义属性
hive> set hive.enforce.bucketing=ture;
hive> set hive.enforce.bucketing;
hive.enforce.buckting=true




set –v可以显示所有的属性




Hive set属性优先级命令排序
1.Hive set 命令
2.命令行 --hiveconf选项
3.hive-site.xmf
4.hive-default.xml
5.hadoop-site.xml(或等价的core-site.xml, hdfs-site.xml与mapred-site.xml)
6.hadoop-default.xml(或等价的core-default.xml, hdfs-default.xml以及mapreddefault.xml)