centos8安装hadoop、hive及配置mysql作为metadata全套教程（伪分布模式）下

mysql 安装

 sudo dnf install @mysql      # 进行安装

sudo systemctl enable --now mysqld   # 启动mysql服务，并使得以后开机自启动

sudo systemctl status mysqld   # 查看mysql状态，看看是否成功启动

sudo mysql_secure_installation   # 进行一些简单配置，比如设置root用户密码，询问是否删除匿名用户等，要注意其中有一个是关于“不进行远程连接的选项”输入no，其余的输入yes就行

mysql -u root -p #登录root用户

image

对mysql进行配置并创建数据库和用户

GRANT all ON *.* TO 'root'@'%' WITH GRANT OPTION;   # 给root用户所有表的操作权，并使它能给其它用户授权

FLUSH PRIVILEGES;    #  刷新权限

create user 'hive'@'%' identified by 'user_hive';    #  创建用户hive并设置密码‘user_hive’

grant all on *.* to 'hive'@'localhost';    #  给用户hive所有权限

FLUSH PRIVILEGES;   # 刷新权限

需要注意的是，你会看到有些教程里@后面是‘localhost’而我这里是‘%’，如果是前者就只能本地登录，如果是后者就可以远程登录。我在执行上面这几个命令时遇到了报错，具体报错内容我这里没有记录，不过我当时的解决方式如下：

use mysql ;    # 打开mysql数据库

select host,user from user ;  # 查看不同用户允许的连接方式

update user set host = ’%’ where user = ’root’;  # 手动更改成允许远程连接

update user set host = ’%’ where user = ’hive’;   # 手动更改成允许远程连接

select host,user from user ;   # 再次查询，确定更改已完成

image

上图就是更改完成后的查询结果，改完之后，你再重新设置权限应该就没有报错了。

然后我们退出mysql，对其进行一些配置，命令如下：

cd /etc/my.cnf.d/   # 进入mysql配置文件目录

vim mysql-server.cnf  # 对mysql-server 进行配置

bind-address=192.168.214.129  # 添加这一行，更改mysql连接时的IP

systemctl restart mysqld.service # 重启服务

netstat -ntlp # 查看mysql服务ip是否发生改变

image

看到这行就说明配置成功了，我们就可以进入下一环节。

hive安装及用mysql储存metadata

我这里安装的hive版本是hive-2.3.4，安装过程很简单就是用你windows电脑下载apache-hive-2.3.4-bin.tar.gz包，然后在远程客户端中用rz命令进行文件上传，再进行tar -zxvf apache-hive-2.3.4-bin.tar.gz 解压。

解压完成后，我们就进入熟悉的软件配置环节，首先要添加环境变量~/.bashrc或者/etc/profile这两个文件选其一，前者只对当前用户生效，后者对所有用户生效，本文选的是前者添加的命令如下：

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HIVE_HOME/bin

然后再source ~/.bashrc使配置生效。接下来我们创建hive的配置文件：

cd $HIVE_HOME/conf  # 进入hive的配置文件目录

cp hive-env.sh.template hive-env.sh  #复制hive-env.sh模板

touch hive-site.xml   # 创建hive-site.xml文件

下一步，修改配置文件内容，先修改hive-env.sh：

HADOOP_HOME=/usr/local/hadoop # hadoop路径

export HIVE_CONF_DIR=/usr/local/hive/conf  # hive的conf路径

export HIVE_AUX_JARS_PATH=/usr/local/hive/lib # jar包的存放路径

再修改hive-site.xml:

  

  

  

  



  hive.default.fileformat

  TextFile





  

  javax.jdo.option.ConnectionURL

  jdbc:mysql://192.168.214.129:3306/onhive

  JDBC connect string for a JDBC metastore





  javax.jdo.option.ConnectionDriverName



  com.mysql.cj.jdbc.Driver

  Driver class name for a JDBC metastore





  

  javax.jdo.option.ConnectionUserName

  hive

  username to use against metastore database





  

  javax.jdo.option.ConnectionPassword

  user_hive

  password to use against metastore database

还有一个关键的事情就是，你需要一个mysql-connector-java-8.0.19.jar，顾名思义就是用java连接mysql因为hive的底层代码是java所以需要这么个东西，你在官网下载完成后把这个文件放到$HIVE_HOME/lib目录下。

现在我们万事俱备只欠东风，只用进行最后一步初始化操作：

schematool -dbType mysql -initSchema

一切配置初始化都已完成，然后我们运行下面的命令打开hive:

start-dfs.sh

hive

注意一般启动完hadoop后要等待30s再启动hive，因为hadoop启动后前30s会有安全模式，此时你启动hive会出现exception。

即便上述所有事情都做完后，我如果没记错的话还会出现两个WARN，其中一个是SLF4J多重绑定，你只要把老版本的jar文件删除就行，另一个我忘记了，不过你可以在网上找到答案，其中一个答案是说64位系统装了32位系统的包，很抱歉这个答案一般是错的。正确答案是什么我已记不清，请自己去寻找。

所有的安装就都已完成，运行后显示如下：

image