Linux下Hive安装

阅读更多

     hive是基于hadoop的一个数据仓库工具，所以在安装hive时确保先搭建好hadoop集群，可以参考本人上一篇博客。
1、下载安装hive，本次以hive-3.1.1为例

     下载完成后解压，配置当前用户环境变量，添加如下部分。

     通过source .bash_profile刷新环境变量以生效。
2、mysql安装
     mysql是用来作为hive的元数据库，首先检查系统是否已经内置安装了mysql，如果已经安装了先卸载。

     卸载完成后通过rpm安装以下4个包。


     通过service mysqld start启动mysql。

     启动成功后，在/var/log/路径下生成有mysql日志。查看日志找到root用户的临时密码。

     用该密码登陆mysql并修改root密码。

     创建hive数据库作为hive的元数据库。

3、配置hive
     进入hive的conf路径下，修改hive-site.xml文件，这里没有，复制一个。

     修改hive-site.xml文件，将之前的所以配置全部清空(复制过来的模板可以不要)，添加mysql连接信息。

     本例中还做了一些其他参数的设置，相关信息可查阅文档了解。

     复制mysql的驱动程序到hive/lib下面。

     通过schematool -dbType mysql -initSchema命令执行mysql元数据库初始化。

     这里出现一个错误，原因是mysql没有启动远程连接，连接mysql修改以下内容。

     修改完毕后重启mysql，再执行初始化mysql，出现以下内容代表元数据库配置成功。

     可以再次登陆mysql查看hive元数据表。

4、至此hive的配置已经完成

5、注意点
     这边在hive使用中发现字段(表名)的中文注释会有乱码，需要修改以下元数据库(mysql)中的编码格式。
     5.1修改表字段注解和表注释
     alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8；
     alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8；
     5.2修改分区字段注释
     alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
     alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
     5.3修改索引注释
     alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

• 
• 大小: 34.7 KB

• 
• 大小: 29.6 KB

• 
• 大小: 7 KB

• 
• 大小: 7.9 KB

• 
• 大小: 42.3 KB

• 
• 大小: 6.4 KB

• 
• 大小: 50.9 KB

• 
• 大小: 29.5 KB

• 
• 大小: 16.2 KB

• 
• 大小: 38.5 KB

• 
• 大小: 55.3 KB

• 
• 大小: 24.4 KB

• 
• 大小: 15.3 KB

• 
• 大小: 48.2 KB

• 
• 大小: 14.1 KB

• 
• 大小: 2.4 KB

• 
• 大小: 18 KB

• 
• 大小: 29 KB

• 查看图片附件