Hive、MySQL安装

嵌入模式

• 元数据信息被存储在Hive自带的Derby数据库中
• 只允许创建一个连接
• 多用于Demo

所需安装包

apache-hive-x.x.x-bin.tar.gz
清华大学开源软件镜像站Hive下载

解压安装包

tar -zxvf apache-hive-x.x.x-bin.tar.gz

配置环境变量

1. 打开/etc/profile文件

   vi /etc/profile
   

2. 将以下内容添加到配置文件的底部

   # 配置Hive的安装目录
   export HIVE_HOME=/root/software/apache-hive-3.1.2-bin
   # 在原PATH的基础上加入Hive的bin目录
   export PATH=$PATH:$HIVE_HOME/bin
   

3. 生效配置文件

   source /etc/profile
   

4. 检查Hive环境是否设置成功

   hive --version
   

修改配置文件 hive-env.sh

1. 切换到 ${HIVE_HOME}/conf 目录下，将hive-env.sh.template文件复制一份并重命名为hive-env.sh

   cp hive-env.sh.template hive-env.sh
   

2. 编辑hive-env.sh

   vi hive-env.sh
   

3. 在文件中配置HADOOP_HOME、HIVE_CONF_DIR以及HIVE_AUX_JARS_PATH参数

   # 配置Hadoop安装路径
   HADOOP_HOME=/root/software/hadoop-3.3.0
   # 配置Hive配置文件存放路径
   export HIVE_CONF_DIR=/root/software/apache-hive-3.1.2-bin/conf
   # 配置Hive运行资源库路径
   export HIVE_AUX_JARS_PATH=/root/software/apache-hive-3.1.2-bin/conf
   

初始化元数据库

schematool -dbType derby -initSchema

Hive连接

hive 或 hive --service cli

本地模式

• 元数据信息被存储在MySQL数据库中
• MySQL数据库与Hive运行在同一台物理机器上
• 多用于开发和测试

安装MySQL

所需安装包

apache-hive-x.x.x-bin.tar.gz
清华大学开源软件镜像站Hive下载

mysql-x.x.x-1.el7.x86_64.rpm-bundle.tar
清华大学开源软件镜像站MySQL下载

解压安装包

tar -zxvf apache-hive-x.x.x-bin.tar.gz

安装MySQL组件

1. 安装mysql-community-common（服务器和客户端库的公共文件）

   rpm -ivh mysql-community-common-x.x.x-1.el7.x86_64.rpm
   

2. 安装mysql-community-libs（MySQL数据库客户端应用程序的共享库）

   rpm -ivh mysql-community-libs-x.x.x-1.el7.x86_64.rpm
   

3. 安装mysql-community-libs-compat（MySQL之前版本的共享兼容库）

   rpm -ivh mysql-community-libs-compat-x.x.x-1.el7.x86_64.rpm 
   

4. 安装mysql-community-client（MySQL客户端应用程序和工具）

   rpm -ivh mysql-community-client-x.x.x-1.el7.x86_64.rpm 
   

5. 安装mysql-community-server（数据库服务器和相关工具）

   rpm -ivh mysql-community-server-x.x.x-1.el7.x86_64.rpm
   

登录MySQL

初始化MySQL的数据库

/usr/sbin/mysqld --initialize-insecure --user=mysql

对于MySQL 5.7.6以后的5.7系列版本，MySQL也可以使用 mysqld --initialize 初始化数据库，该命令会在/var/log/mysqld.log文件中生成一个登录 MySQL 的随机密码，而 mysqld --initialize-insecure 命令不会生成随机密码，而是设置 MySQL 的密码为空。

启动MySQL服务

/usr/sbin/mysqld --user=mysql &

登录MySQL

使用root用户无密码登录MySQL：

mysql -u root

重置MySQL密码

在 5.7 版本后，可以使用 alter user…identified by 命令把root用户的密码修改为“123456”

alter user 'root'@'localhost' identified by '123456';

修改完成使用 exit 或 quit 退出MySQL，验证是否成功

mysql -u root -p 123456

增加远程登陆权限

1. 查看MySQL数据库下的user表信息

   use mysql; #切换成MySQL数据库
   select user,host from user; #查询用户信息
   

2. 实现远程连接（授权法）
   将host字段的值改为%就表示在任何客户端机器上都能以root用户登录到MySQL服务器

   update user set host='%' where host='localhost'; #设置远程登录权限
   flush privileges; #刷新授权
   

Hive内嵌式安装

配置环境变量

1. 打开/etc/profile文件

   vi /etc/profile
   

2. 将以下内容添加到配置文件的底部

   # 配置Hive的安装目录
   export HIVE_HOME=/root/software/apache-hive-3.1.2-bin
   # 在原PATH的基础上加入Hive的bin目录
   export PATH=$PATH:$HIVE_HOME/bin
   

3. 生效配置文件

   source /etc/profile
   

4. 检查Hive环境是否设置成功

   hive --version
   

修改配置文件 hive-env.sh

1. 切换到 ${HIVE_HOME}/conf 目录下，将hive-env.sh.template文件复制一份并重命名为hive-env.sh

   cp hive-env.sh.template hive-env.sh
   

2. 编辑hive-env.sh

   vi hive-env.sh
   

3. 在文件中配置HADOOP_HOME、HIVE_CONF_DIR以及HIVE_AUX_JARS_PATH参数

   # 配置Hadoop安装路径
   HADOOP_HOME=/root/software/hadoop-3.3.0
   # 配置Hive配置文件存放路径
   export HIVE_CONF_DIR=/root/software/apache-hive-3.1.2-bin/conf
   # 配置Hive运行资源库路径
   export HIVE_AUX_JARS_PATH=/root/software/apache-hive-3.1.2-bin/conf
   

Hive元数据配置到MySQL

驱动拷贝

1. 驱动下载
   驱动名称：mysql-connector-java-x.x.xx.tar.gz
   清华大学开源软件镜像站MySQL驱动下载
2. 解压

   tar -zxvf mysql-connector-java-x.x.xx.tar.gz
   

3. 拷贝
   将MySQL驱动包mysql-connector-java-x.x.xx-bin.jar 拷贝到 ${HIVE_HOME}/lib目录下。

   cp mysql-connector-java-x.x.xx-bin.jar apache-hive-x.x.x-bin/lib/
   

配置Metastore到MySQL

在${HIVE_HOME}/conf目录下创建一个名为hive-site.xml的文件，并使用vi编辑器进行编辑：

touch hive-shell.xml
vi hive-site.xml

根据官方文档配置参数官方文档配置参数，拷贝数据到 hive-site.xml 文件中：

 
 
 
javax.jdo.option.ConnectionURL 
jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8 
JDBC connect string for a JDBC metastore 
 
 
 
javax.jdo.option.ConnectionDriverName 
com.mysql.jdbc.Driver 
Driver class name for a JDBC metastore 
 
 
 
javax.jdo.option.ConnectionUserName 
root 
username to use against metastore database 
 
 
 
javax.jdo.option.ConnectionPassword 
数据库用户密码 
password to use against metastore database 
 

初始化元数据库

如果使用的是 2.x 版本的 Hive，那么就必须手动初始化元数据库。使用以下命令进行初始化：

schematool -dbType mysql -initSchema

Hive连接

hive 或 hive --service cli

远程模式

• 元数据信息被存储在MySQL数据库中
• 元数据存储在另一种操作系统上