Hive基础

Hive是什么

• 我们知道传统数据存储都是存储在关系型数据库中，它们使用一种SQL(结构化查询语言)方言来查询数据库中的数据。由于大数据的爆发，Hadoop的广泛使用，当这些数据迁移到Hadoop之后，用户或者管理员如何对存储在Hadoop上的数据进行查询？Hive出现的主要原因就是为了提供一种SQL查询的方言，来查询存储在Hadoop集群种的数据，这个被称为Hive查询语言(简称HiveQL或HQL)。
• Hive本身并不是一个完整的数据库，这是由于Hadoop和HDFS本身设计所限制的，比如Hive不支持行级别的更新、插入、删除操作。同时由于Hive会将查询转换为MapReduce作业，而MapReduce本身启动需要消耗较长的时间(Hadoop是一个面向批处理的系统)，所以Hive查询延时比较严重，并且Hive不支持事务。
• Hive更适合数据仓库应用程序，来维护海量数据。使用Hive进行静态数据分析，不需要快速响应结果，并且数据本身不会频繁变化，而且可以对数据进行挖掘。
• 由于Hive不支持OLTP(联机事务处理)所需的关键功能，所以如果想要对大规模数据使用OLTP功能的话，可以使用NoSQL数据库，比如HBase或Cassandra。

注意：Hive和大多数SQL方言一样，并不符合ANSI SQL标准，不过HiveQL和Mysql的SQL方言比较接近。

如何使用Hive

在Hive的发行版中有多个模块可供访问Hive：CLI、HWI(Hive网页界面)、JDBC、ODBC、Thrift Server。

hive结构

所有的命令和查询都会进入到Driver模块，通过该模块对输入进行编译、对需求计算进行优化，然后按照指定步骤执行(通常启动多个MapReduce来执行)。
需要注意的是，启动MR任务的时候，Hive不会生成Java的MapReduce程序，而是通过一个表示“job执行计划”的XML文件驱动执行内置的、原生的Mapper和Reducer模块。

Hive安装

下载Hive安装包http://www.apache.org/dyn/closer.cgi/hive/ hive现在有1.x版本和2.x版本，其中1.x可支持Hadoop1和Hadoop2，而2.x版本指支持Hadoop2。因为hive基于Hadoop，所以需要确保Hadoop安装成功。hive只需要在一个节点安装即可。

1. 解压包
   tar -zxvf apache-hive-2.1.1-bin.tar.gz

2. 添加hive安装路径
   vim /etc/profile或者~/.bash_profile
   export HIVE_HOME=/opt/hadoop/apache-hive-2.1.1-bin
   export PATH=PATH

3. 在HDFS创建指定目录，并给用户组写权限
   hadoop fs -mkdir /tmp
   hadoop fs -mkdir /user/hive
   hadoop fs -chmod g+w /tmp
   hadoop fs -chmod g+w /user/hive

4. mysql创建hive metastore库
   在上面hive结构中，我们有一个MetaStore是用来存储hive的元数据信息，一般metastore信息存储到关系型数据库中的。如果不配置，hive会默认使用内嵌的Derby数据库，Derby数据库本身容量小，并且不支持多客户端使用，所以一般使用mysql来存储metastore信息。

5. 文件配置
   配置hive-env.sh：
   添加HADOOP_HOME和HIVE_CONF_DIR配置。
   配置hive-site.xml，这个文件如果不存在，则自己创建。
   

   
    
    
    
    
    
    javax.jdo.option.ConnectionURL
    jdbc:mysql://xxx.xxx.xxx.xxx:3306/hive?createDatabaseIfNotExist=true
    JDBC connect string for a JDBC metastore
    
    
    
    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
    Driver class name for a JDBC metastore
    
    
    
    javax.jdo.option.ConnectionUserName
    root
    username to use against metastore database
    
    
    
    javax.jdo.option.ConnectionPassword
    123
    password to use against metastore database
    
    
    
    hive.metastore.warehouse.dir
    /user/hive/warehouse
    location of default database for the warehouse
    
    
    

6. 添加mysql连结器mysql-connector-java-5.1.42-bin.jar
   下载：https://dev.mysql.com/downloads/connector/j/
   解压缩后copy到$HIVE_HOME/lib/里面。

7. hive信息初始化到mysql 中
   schematool -dbType mysql -initSchema
   

   
    which: no hbase in (/opt/hadoop/apache-hive-2.1.1-bin/bin:/opt/hadoop/hadoop-2.7.3/bin:/opt/hadoop/hadoop-2.7.3/sbin:/usr/java/jdk1.8.0_131/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/opt/hadoop/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/opt/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
    Metastore connection URL: jdbc:mysql://10.5.234.238:3306/hive?createDatabaseIfNotExist=true
    Metastore Connection Driver : com.mysql.jdbc.Driver
    Metastore connection User: root
    Starting metastore schema initialization to 2.1.0
    Initialization script hive-schema-2.1.0.mysql.sql
    Initialization script completed
    schemaTool completed
    

   
   这时候mysql中会自动创建一个hive库。

8. 进入hive
   直接输入hive命令，测试一下
   

   
    hive> show tables;
    OK
    Time taken: 1.012 seconds
    

hive命令行

输入hive - -help

 Usage ./hive  --service serviceName 
 Service List: beeline cleardanglingscratchdir cli hbaseimport hbaseschematool help hiveburninclient hiveserver2 hplsql hwi jar lineage llapdump llap llapstatus metastore metatool orcfiledump rcfilecat schemaTool version
 Parameters parsed:
 --auxpath : Auxillary jars
 --config : Hive configuration directory
 --service : Starts specific service/component. cli is default
 Parameters used:
 HADOOP_HOME or HADOOP_PREFIX : Hadoop install directory
 HIVE_OPT : Hive options
 For help on a particular service:
 ./hive --service serviceName --help
 Debug help: ./hive --debug —help
 

通过hive --service serviceName来启动服务，Service List包含了所有的服务。
--auxpath：来指定用冒号分隔的jar包，包含用户自定义的扩展等。
--config：覆盖$HIVE_HOME/conf目录下的配置的
--service：启动指定服务或组件，默认是cli
如果要查看每个服务如何使用，可以通过./hive --service serviceName --help来查看。

CLI命令行界面

hive --service cli --help

 usage: hive
 -d,--define  Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B. 用来定义变量比如：hive -d a=12
 --database  Specify the database to use. 指定所使用的数据库，默认是default
 -e  SQL from command line. 不用进入hive，直接在命令行中输入sql，如 :hive -e "show databases"
 -f  SQL from files. 指定一个sql文件执行，如果在CLI中，通过source然后指定文件路径，也可以执行指定文件的sql。
 -H,--help Print help information
 --hiveconf  Use value for given property. 配置hive相关的属性
 --hivevar  Variable subsitution to apply to hive commands. e.g. --hivevar A=B.用户定义变量，和-d一样
 -i  Initialization SQL file. 允许用户指定一个文件，当CLI启动前会执行这个文件。这个文件以hiverc结尾，一般这个文件用来设置每次用户启动CLI的一些配置，比如刚才的:hiveconf hive.cli.print.current.db=true;
 -S,--silent Silent mode in interactive shell. 静默模式，不打印”ok”和“Time take”等信息。
 -v,--verbose Verbose mode (echo executed SQL to the
 console)
 

在CLI中可以使用set命令显示和修改变量值，在CLI中也可以看到system和env的属性变量，但是env的变量是只读不能更改的。

 set env:HOME;
 env:HOME=/home/hadoop
 set;//打印env所有变量
 set a;//显示a的值
 set a=13;//修改变量的值
 

在HiveQL中可以直接使用变量，比如：

 hive -d a = age;
 hive>create table user(${hivevar:a} int);
 

hivevar:a中hivevar是可以省略的，hivevar和define使用是一样的。
--hiveconf用来定义hive的配置，比如：
hive --hiveconf hive.cli.print.current.db=true
开启这个属性，在CLI提示符前会打印当前使用的数据库:
hive (default)>

历史命令

hive会将最近100条执行命令放到$HOME/.hivehistory中

在CLI中执行shell

在CLI中可以不退出就能执行shell命令，只需要在命令前加!，并且以分号(;)结尾即可。比如
hive> ! ls;
在CLI中执行shell不支持需要用户输入的交互式命令、不支持管道功能、不支持文件名自动补齐功能(不支持通配符)。

在CLI中使用Hadoop的dfs命令

在CLI中可以操作HDFS，只需要直接输入dfs即可，比如：
hive>dfs -help;
hive脚本
hive脚本是以.hql结尾的，在脚本中使用--进行注释
查询显示字段名称
可以通过设置hive.cli.print.header=true;来打印每次查询显示表头信息。

关注我

欢迎关注我的公众号，会定期推送优质技术文章，让我们一起进步、一起成长！
公众号搜索：data_tc
或直接扫码：

欢迎关注我