5.1.CentOS7下Hive的安装和环境搭建

python编程快速上手（持续更新中…）

推荐系统基础

---

一、准备工作

1、虚拟机安装MySQl

可以参考：8.CentOS7下安装和配置MySQL5.6

安装好MySQL之后 ，进入新建一个用户hadoop并赋权

create user ‘hadoop’@’%’ IDENTIFIED BY ‘123456’;
grant all on . to ‘hadoop’@’%’;

2、虚拟机安装hadoop

可以参考：5.CentOS7下安装和配置Hadoop

3、Hive安装包

同上

二、安装Hive

根目录下新建sofeware目录将安装包拖入

mkdir /software

1、解压，改名

解压至opt目录下

tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/

进入opt目录对其改名

cd /opt
mv hive-1.1.0-cdh5.14.2/ hive

2、修改环境变量

vi /etc/profile

export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

3、修改配置文件

A.在hive的conf目录下新建配置文件

vi /opt/hive/conf/hive-site.xml

添加下方配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <!--管理表存储的位置-->
        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>hdfs://hadoop1:9000/hive/warehouse</value>
        </property>
        <property>
                <name>hive.metastore.local</name>
                <value>true</value>
        </property>
        <!-- 指定hive元数据存储的MySQL地址 -->
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
        </property>
        <!-- 元数据存储数据库的驱动 -->
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <!-- 元数据存储数据库的用户名 -->
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>hadoop</value>
        </property>
        <!-- 元数据存储数据库的密码,(注:这里是mysql自己root用户的密码) -->
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
</configuration>

B.将上面配置文件中需要的目录创建一下

mkdir /opt/hive/warehouse

C.在hive的conf目录下新建配置文件

vi /opt/hive/conf/hive-env.sh

添加下方配置

export HADOOP_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_AUX_JARS_PATH=/opt/hive/lib
export JAVA_HOME=/opt/jdk8
export HIVE_CONF_DIR=/opt/hive/conf

D.进入hive的conf目录下

cd /opt/hive/conf

将文件hive-log4j.properties.template改名

mv hive-log4j.properties.template hive-log4j.properties

E.进入

vi hive-log4j.properties

按下19回车快速定位，将内容修改为

hive.log.dir=/opt/hive/logs

F.完成后将目录创建一下

mkdir /opt/hive/logs

G.进入software拷贝jar到目录下的lib目录

cp /software
cp mysql-connector-java-5.1.0-bin.jar /opt/hive/lib

将mysql-connector的jar包拖入

H.给hive文件赋权

chmod 777 /opt/hive

三、运行Hive

1、先启动hdfs

start-dfs.sh

2、初始化数据库

schematool -initSchema -dbType mysql

3、输入命令

hive

hive启动异常：Cannot create directory /tmp/hive/。。。Name node is in safe mode.

hdfs dfsadmin -safemode leave

4、使用Navicat连接数据库

发现已有hive库，表示hive已成功运行

5、exit退出

6、配置文件上warehouse目录存储在hdfs上

可以使用172.18.2.2:50070查看刚才建的表

异常：Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx

hdfs dfs -chmod -R 777 /tmp