大数据环境搭建之安装Hive以及组件Mariadb(MySQL)

我们在搭建大数据学习环境的时候需要搭建组件Hive以及MySQL(MariaDB)的数据库,Hive的本质就是一个MR的计算框架,它是将SQL语句的代码转化为MR的方式去执行的.我们的元数据是存放在MySQL(MariaDB)中的.而实际的数据是存放在HDFS上的,实现了数据的解耦.

首先,安装MariaDB,我们是用yum的方式可以直接安装MariaDB的数据库,CentOS7.x对MySQL不再默认支持,需要安装MySQL的话需要另行配置,这里只作为学习使用MariaDB的安装.

yum install -y mariadb-server /*安装数据库的方式*/

安装完成后在系统中查看是否安装成功

rpm -qa | grep mariadb

 启动数据库:

start mariadb.service

查看MariaDB是否启动成功
netstat -antup | grep 3306   /*3306是默认的端口号*/

 

初始化数据库的账户名和密码: root 111111

mysqladmin -uroot password  /*初始化账户和密码*/

 

 

然后,安装Hive,将apache-hive-1.2.2-bin.tar.gz文件解压到/usr/local/src目录下

在Master节点下,配置Hive的环境变量

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

cp hive-env.sh.template hive-env.sh
touch hive-site.xml

修改hive-env.sh 
因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径：
export JAVA_HOME=/usr/java    ##Java路径
export HADOOP_HOME=/usr/local/hadoop   ##Hadoop安装路径
export HIVE_HOME=/usr/local/hive    ##Hive安装路径
export HIVE_CONF_DIR=/usr/local/hive/conf    ##Hive配置文件路径

修改Hive配置文件
cd apache-hive-1.2.2-bin/conf
vim hive-site.xml

将${system:java.io.tmpdir}统一换成/hive
将${system:user.name}统一换成root
在vim命令行模式下进行统一替换
%s/${system:java.io.tmpdir}/\/hive/g

再将以下部分贴在配置文件尾部：

      javax.jdo.option.ConnectionURL
      jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
      JDBC connect string for a JDBC metastore
  
  
      javax.jdo.option.ConnectionDriverName
      com.mysql.jdbc.Driver
      Driver class name for a JDBC metastore
  
  
      javax.jdo.option.ConnectionUserName
      root
      Username to use against metastore database
  
  
      javax.jdo.option.ConnectionPassword
      111111
      password to use against metastore database
  

增加环境变量
#Master、Slave1、Slave2
vim ~/.bashrc
export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export PATH=$PATH:$HIVE_HOME/bin
#刷新环境变量/
source ~/.bashrc

新建文件夹
进入到hive目录下：cd /usr/local/src/apache-hive-1.2.2-bin
mkdir tmp
mkdir log
mkdir warehouse

将数据库连接工具安装到Hive中

将mysql-connector-java-5.1.44.tar压缩包解压 把mysql-connector-java-5.1.44-bin.jar包cp到Hive安装的lib目录下
/usr/local/src/apache-hive-1.2.2-bin/lib

尝试启动MySQL / MariaDB

 

刷新权限使之生效：
flush privileges;

 到这里,数据库的安装以及Hive的安装就全部结束了,剩下的就是检验安装成果的时候了.

启动MySQL后启动Hive,如果启动Hive的时候报了如下错误:

解决办法: 删除目录 /usr/local/src/hadoop-2.6.5/share/hadoop/yarn/lib下的jline-0.9.94.jarjar包即可解决问题.