HADOOP docker(四):安装hive

1.hive简介
2.安装hive
2.1 环境准备
2.1.1 下载安装包
2.1.2 设置hive用户的环境变量
2.1.3 hive服务端配置文件
2.1.4 hive客户端配置文件
2.1.4 分发hive配置文件
2.2 启动hive
2.2.1 初始化数据库
2.2.2 创建HDFS目录
2.2.3 启动hive
3.总结

getting start:
https://cwiki.apache.org/confluence/display/Hive/GettingStarted
hive wiki:
https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentation

1.hive简介

hive是一个sql查询引擎,是hadoop平台上的数据仓库工具,通过元数据映射将HDFS上的文件映射成表,并使用sql做计算,计算引擎是mapreduce\spark等。
hive有5个组件:

  1. hive cli
    hive命令行工具
  2. beeline
    使用jdbc连接的命令行工具
  3. metastore
    元数据服务,默认是derby数据,生产上一般改成mysql或者其它数据库。hive 客户端通过此服务来读写hive元数据。如果不启动metasore,hive客户中就必须写明元数据库的所有信息才能访问元数据库,这样不安全。(经验证,实际上如果不使用catalog,那么metastore只能给cli提供元数据服务,其它程序通过hiveserver2能访问元数据库)
  4. hiveserver
    为应用程序提供jdbc接口
  5. catalog
    catalog用于对hive元数据提供统一管理接口。2.1.1版本中,catalog和metastore结合在一起。

2.安装hive

2.1 环境准备

2.1.1 下载安装包

  1. 到这里下载合适的安装包:
    http://mirrors.tuna.tsinghua.edu.cn/apache/hive/

  2. 解压到/opt/hadoop/下

[hive@hadoop1 hadoop]$ ls -l
total 8
drwxr-xr-x  9 hive hadoop 4096 Apr 20 18:15 apache-hive-2.1.1

2.1.2 设置hive用户的环境变量

编辑/home/hive/.bash_profile

HIVE_HOME=/opt/hadoop/apache-hive-2.1.1
export HIVE_CONF_DIR=/opt/hadoop/apache-hive-2.1.1/conf
export HIVE_HOME
PATH=$PATH:$HOME/bin:$HIVE_HOME/bin
export PATH

2.1.3 hive服务端配置文件

  1. hive-env.sh
[hive@hadoop1 conf]$ mv hive-env.sh.template hive-env.sh
[hive@hadoop1 conf]$ vi hive-env.sh
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR=/opt/hadoop/apache-hive-2.1.1/conf

在这里可以控制hive cli启动时的java heap等。

  1. hive-site.xml
    在$HIVE_HOME/conf下创建hive-site.xml
    如果使用内置的derby数据库,hive-site.xml中不做任何设置即可。生产中一般会使用 mysql来存储元数据,并开启metastore和hiveserver服务:
    1)修改hive元数据库
    改成mysql,为了方便,使用root登录

  
    javax.jdo.option.ConnectionUserName
    root
    Username to use against metastore database

 
    javax.jdo.option.ConnectionPassword
    root
    password to use against metastore database

  
    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
    Driver class name for a JDBC metastore
  
    javax.jdo.option.ConnectionURL
    jdbc:mysql://localhost:3306/dockerhive?createDatabaseIfNotExist=true?
    
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
   

hive在hdfs上默认的数据目录是/user/hive/warehouse,如果想自定义数据目录,设置hive.metastore.warehouse.dir

2.1.4 hive客户端配置文件

设置客户端metastore接口。
如果远程客户端想使用hive(如jdbc 工具、beeline等),则必须开启metastore服务,否则只有hive cli能使用hive


  hive.metastore.uris
  thrift://hadoop1:9083,hadoop2:9083
  IP address (or fully-qualified domain name) and port of the metastore host

其它参数使用默认即可。

2.1.4 分发hive配置文件

将上述服务端配置文件放在hadoop1 hadoop2上。如果只想让其它机器通过 hadoop3 hadoop4 hadoop5 hadoop6上

2.2 启动hive

2.2.1 初始化数据库

1.先尝试用derby

[hive@hadoop1 apache-hive-2.1.1]$ $HIVE_HOME/bin/schematool -dbType derby -initSchema
…………
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:     jdbc:derby:;databaseName=metastore_db;create=true
Metastore Connection Driver :     org.apache.derby.jdbc.EmbeddedDriver
Metastore connection User:     APP
Starting metastore schema initialization to 2.1.0
Initialization script hive-schema-2.1.0.derby.sql
Initialization script completed
schemaTool completed

2.如果你配置了mysql数据库,那么初始化mysql数据库:

[hive@hadoop1 apache-hive-2.1.1]$ $HIVE_HOME/bin/schematool -dbType mysql -initSchema
…..
Starting metastore schema initialization to 2.1.0
Initialization script hive-schema-2.1.0.mysql.sql
Initialization script completed
schemaTool completed

注意:下载mysql-connector包到$HIVE_HOME/lib下

2.2.2 创建HDFS目录

1.改变hdfs权限
注意:如果用hdfs用户来安装启动hive,此步忽略。

hive数据默认放在/user/hive/warehousre下。
由于hdfs文件系统是由hdfs用户创建的,这时hive是无权创建文件的,因此给hive用户授权:

[hdfs@hadoop2 hadoop]$ hdfs dfs -mkdir /user/hive
[hdfs@hadoop2 hadoop]$ hdfs dfs -chown -R  hive /user/hive

这样hive就可以读写/user/hive目录了。另外把hdfs /tmp设置为777

[hdfs@hadoop2 hadoop]$ hdfs dfs -chmod 777 /tmp

2.创建hive目录

[hive@hadoop1 apache-hive-2.1.1]$  /opt/hadoop/hadoop-2.7.3/bin/hdfs dfs -mkdir -p /user/hive/warehouse

2.2.3 启动hive

1.启动hive cli:

[hive@hadoop1 apache-hive-2.1.1]$ hive
……
hive>

2.启动metastroe

nohup $HIVE_HOME/bin/hive --service metastore -p 9083 > $HIVE_HOME/metastore_log &

3.启动hiveserver

[hive@hadoop1 ~]$ $HIVE_HOME/bin/hive --service hiveserver2

4.连接beeline

Enter username for jdbc:hive2://hadoop1:10000: hive
Enter password for jdbc:hive2://hadoop1:10000: ****
17/04/20 22:37:34 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop1:10000
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop1:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: hive is not allowed to impersonate hive (state=08S01,code=0)

上网找了一番资料,原因是没设置hadoop用户代理。hadoop用户代理的作用,将hadoop中的superuser模拟成提交业务的用户,业务以superuser提交的,但是显示的作业名地是真正的提交用户。比如user1提交oozie作业到hadoop中,业务就会显示user1,如果不设置用户代理就会全显示为oozie的启动用户(如oozie).

hiveserver2为什么要用到用户代理呢?
原因在于hive.server2.enable.doAs默认为true,该参数表示用实际执行的用户而非启动hiveserver2的用户来显示提交的作业,即user1提交的作业会显示为user1而不是hiveserver2。将该参数设置为true后,所有的业务都显示为启动hiveserver2的用户提交的。
修改hive-site.xml:


    hive.server2.enable.doAs
    false

再启动beeline:

[hive@hadoop5 apache-hive-2.1.1]$ beeline
……..
Connecting to jdbc:hive2://hadoop1:10000
Enter username for jdbc:hive2://hadoop1:10000: hive
Enter password for jdbc:hive2://hadoop1:10000: ****
Connected to: Apache Hive (version 2.1.1)
Driver: Hive JDBC (version 2.1.1)
17/04/21 15:04:32 [main]: WARN jdbc.HiveConnection: Request to set autoCommit to false; Hive does not support autoCommit=false.
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://hadoop1:10000>
0: jdbc:hive2://hadoop1:10000> show databases;
+----------------+--+
| database_name  |
+----------------+--+
| default        |
+----------------+--+
1 row selected (1.991 seconds)

这次就正常了。

这里我们先把hive.server2.enable.doAs参数设置为false.下一章节会传讲如何设置hadoop用户代理。

3.总结

  1. hive有众多可以设置的参数,参数hive官方文档或者$HIVE_HOME/conf/hive-site.default.tempate文件。做实验安装时只需要设置元数据库的信息即可启动。
  2. 要使用hive必须在hive-env.sh中设置HADOOP_HOME,因为hive会读取hadoop的配置信息
  3. hive metastore是给客户端提供元数据服务用的,如果不启动metastore,则客户端必须把元数据库的所有信息写上才能访问,这样很不安全。
  4. hiveserver2为用户提供jdbc接口,包括beeline在内的jdbc程序都依赖于此。
  5. hiveserver2默认提供用户代理功能,因此也必须开启hadoop上的hive用户代理功能。可以选择关闭该功能。

下节将会简述hadoop用户代理。



来自为知笔记(Wiz)


转载于:https://www.cnblogs.com/skyrim/p/7455257.html

你可能感兴趣的:(HADOOP docker(四):安装hive)