新机配置需要机器上已经安装了wget、vim,更换了yum源、配置好了机器名和固定ip地址、关闭了防火墙;
由于Hive基于MySQL和Hadoop运行,Hadoop基于java,所以机器上还需要安装并配置好 jdk、mysql、Hadoop、zookeeper。
以上工具安装和配置流程前面的文章已经详细介绍过。
tar -zxf hive-1.1.0-cdh5.14.2.tar.gz
mv hive-1.1.0-cdh5.14.2 /opt/soft/hive110
在conf 路径下编辑文件hive-site.xml(此文件不存在,此处编辑的是新文件)
cd hive110/conf
vim hive-site.xml
写(第一个属性可以改路径,这是Hive操作结果在Hadoop里存放的路径)
hive.metastore.warehouse.dir
/hive/warehouse
hive.metastore.local
true
javax.jdo.option.ConnectionURL
jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
ok
hive.server2.authentication
NONE
hive.server2.thrift.client.user
root
hive.server2.thrift.client.password
root
vim /etc/profile
#hive
export HIVE_HOME=/opt/soft/hive110
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
进入 /opt/soft/hive110/lib/ 目录
将自己的 mysql-connector-java-5.1.38.jar 包拖到这个目录下(只要曾经使用过java连接数据库,这个包就可以在自己的maven里找到)
#在MySQL下生成对应重组数据库
schematool -dbType mysql -initSchema
之后可以在自己的mysql中查看到名为hive的数据库:
Hive安装完成
需要先启动Hadoop,检查进程无误后,再启动hive。
hive --service metastore
正确启动该命令后会独占一个窗口。
在新界面中输入指令:
hive
即可进入hive下命令操作,操作指令与MySQL非常相似。在此处创建的数据库、表,可以在Hadoop网页 192.168.188.170:50070 中查看到。
在控制台界面操作 hive 太过不便,所以使用一个非常实用的软件 zeppelin 在网页操作。
tar -zxf zeppelin-0.8.1-bin-all.tgz
mv zeppelin-0.8.1-bin-all soft/zeppelin081
cd /opt/soft/zeppelin081/conf/
cp zeppelin-site.xml.template zeppelin-site.xml
vim zeppelin-site.xml
zeppelin.helium.registry
helium
cp zeppelin-env.sh.template zeppelin-env.sh
vim zeppelin-env.sh
#可以写,也可以在原有注释中找到再删除#
export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop
把 hive 的配置文件拷贝给 zeppelin
cp /opt/soft/hive110/conf/hive-site.xml /opt/soft/zeppelin081/conf/
把Hadoop的hadoop-common-2.6.0.jar包拷贝给zeppelin
cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/zeppelin081/interpreter/jdbc/
把 hive 的 hive-jdbc-1.2.1-standalone.jar 包拷贝给zeppelin
cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/zeppelin081/interpreter/jdbc/
在 zeppelin081/lib/ 路径下粘 java-json.jar
vim /etc/profile
#zeppeline
export ZEPPELIN_HOME=/opt/soft/zeppelin081
export PATH=$PATH:$ZEPPELIN_HOME/bin
source /etc/profile
hive --service hiveserver2
这也是一个独占窗口
(此时Hadoop开启,hive两个服务都开启)
zeppelin-daemon.sh start
网页进入 192.168.188.170:8080/#/
(需要先配置)
点箭头位置新建Hive进行配置,选项改为jdbc,因为zeppelin 默认没有Hive。
修改驱动、url、用户
保存后即可新建文本进行操作