Hive客户端调用的几种方式

hive命令指的是hive_home/bin/hive.sh，hive表示用来执行交互式查询和批量处理的脚本。hive可以直接敲hive命令进入interactive模式，也可以hive -e 执行简单命令或者hive -f 执行一个sql脚本文件。具体官方给出的用法如下：

Hive Command Line Options

To get help, run "hive -H" or "hive --help".
Usage (as it is in Hive 0.9.0):

usage: hive
 -d,--define           Variable substitution to apply to Hive
                                  commands. e.g. -d A=B or --define A=B
 -e          SQL from command line
 -f                     SQL from files
 -H,--help                        Print help information
 -h                     Connecting to Hive Server on remote host
    --hiveconf    Use value for given property
    --hivevar          Variable substitution to apply to hive
                                  commands. e.g. --hivevar A=B
 -i                     Initialization SQL file
 -p                         Connecting to Hive Server on port number
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

Version information

As of Hive 0.10.0 there is one additional command line option:

--database       Specify the database to use

Note: The variant "-hiveconf" is supported as well as "--hiveconf".

Examples

See Variable Substitution for examples of using the hiveconf option.

• Example of running a query from the command line

  $HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

• Example of setting Hive configuration variables

  $HIVE_HOME/bin/hive -e 'select a.col from tab1 a' --hiveconf hive.exec.scratchdir=/home/my/hive_scratch  --hiveconf mapred.reduce.tasks=32

• Example of dumping data out from a query into a file using silent mode

  $HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt

• Example of running a script non-interactively from local disk

  $HIVE_HOME/bin/hive -f /home/my/hive-script.sql

• Example of running a script non-interactively from a Hadoop supported filesystem (starting in Hive 0.14)

  $HIVE_HOME/bin/hive -f hdfs://:/hive-script.sql
  $HIVE_HOME/bin/hive -f s3://mys3bucket/s3-script.sql 

• Example of running an initialization script before entering interactive mode

  $HIVE_HOME/bin/hive -i /home/my/hive-init.sql

下面我们具体看一下三种用法的详细介绍：

官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Cli 

方式1：hive –f  /root/shell/hive-script.sql（适合多条sql组成的文件）

 

hive-script.sql类似于script一样，直接写查询命令就行

 

例如：

[root@cloud4 shell]# vi hive_script3.sql

select * from t1;

select count(*) from t1;

不进入交互模式，执行一个hive script 

这里可以和静音模式-S联合使用,通过第三方程序调用，第三方程序通过hive的标准输出获取结果集。

 $HIVE_HOME/bin/hive -S -f /home/my/hive-script.sql （不会显示mapreduct的操作过程）

那么问题来了：如何传递参数呢？

demo如下：

start_hql.sh  内容：

#!/bin/bash
# -S 打印输出mapreduce日志
hive \
  -hivevar id=1  \
  -hivevar col2=2  \
  -S -f test.sql

test.sql 内容：
-- 数据库
use tmp; 
-- 表名
select * 
from tmp_jzl_20140725_test11
where 
id='${hivevar:id}' and col2='${hivevar:col2}';
 

方式2：hive -e  'sql语句'（适合短语句）

直接执行sql语句 

例如：
[root@cloud4 shell]# hive -e 'select * from t1'
静音模式：

[root@cloud4 shell]# hive -S -e 'select * from t1'  (用法与第一种方式的静音模式一样，不会显示mapreduce的操作过程)
此处还有一亮点，用于导出数据到linux本地目录下
例如：

[root@cloud4 shell]# hive -e 'select * from t1'  > test.txt
有点类似pig导出分析结果一样，都挺方便的

方式3：hive （直接使用hive交互式模式）

都挺方便的
介绍一种有意思的用法：
1.sql的语法

 

#hive     启动

 

hive>quit;     退出hive

hive> show databases;   查看数据库

hive> create database test;  创建数据库

hive> use default;    使用哪个数据库

hive>create table t1 (key string); 创建表
对于创建表我们可以选择读取文件字段按照什么字符进行分割
例如：
hive>create table t1(id ) '/wlan' 
partitioned by (log_date string)  表示通过log_date进行分区
row format delimited fields terminated by '\t'   表示代表用‘\t’进行分割来读取字段
stored as textfile/sequencefile/rcfile/;  表示文件的存储的格式

存储格式的参考地址：http://blog.csdn.net/yfkiss/article/details/7787742
textfile 默认格式，数据不做压缩，磁盘开销大，数据解析开销大。
可结合Gzip、Bzip2使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。
实例：

[plain] view plaincopy

1. > create table test1(str STRING)  

2. > STORED AS TEXTFILE;   

3. OK  

4. Time taken: 0.786 seconds  

5. #写脚本生成一个随机字符串文件，导入文件：  

6. > LOAD DATA LOCAL INPATH '/home/work/data/test.txt' INTO TABLE test1;  

7. Copying data from file:/home/work/data/test.txt  

8. Copying file: file:/home/work/data/test.txt  

9. Loading data to table default.test1  

10. OK  

11. Time taken: 0.243 seconds  

SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。
SequenceFile支持三种压缩选择：NONE, RECORD, BLOCK。 Record压缩率低，一般建议使用BLOCK压缩。
示例：

[plain] view plaincopy

1. > create table test2(str STRING)  

2. > STORED AS SEQUENCEFILE;  

3. OK  

4. Time taken: 5.526 seconds  

5. hive> SET hive.exec.compress.output=true;  

6. hive> SET io.seqfile.compression.type=BLOCK;  

7. hive> INSERT OVERWRITE TABLE test2 SELECT * FROM test1;   

rcfile是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块上，避免读一个记录需要读取多个block。其次，块数据列式存储，有利于数据压缩和快速的列存取。RCFILE文件示例：

 

 

实例：

[plain] view plaincopy

1. > create table test3(str STRING)  

2. > STORED AS RCFILE;  

3. OK  

4. Time taken: 0.184 seconds  

5. >  INSERT OVERWRITE TABLE test3 SELECT * FROM test1;  

 

总结：
相比textfile和SequenceFile，rcfile由于列式存储方式，数据加载时性能消耗较大，但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取，因此，整体来看，rcfile相比其余两种格式具有较明显的优势。
 

 

hive>show tables;  查看该数据库中的所有表

hive>show tables  ‘*t*’;    //支持模糊查询

 

hive>show partitions t1;  //查看表有哪些分区 

hive>drop table t1 ; 删除表

hive不支持修改表中数据，但是可以修改表结构，而不影响数据

 

有local的速度明显比没有local慢：

 

hive>load data inpath '/root/inner_table.dat' into table t1;   移动hdfs中数据到t1表中

hive>load  data local inpath '/root/inner_table.dat' into table t1;  上传本地数据到hdfs中

hive> !ls;  查询当前linux文件夹下的文件
hive> dfs -ls /; 查询当前hdfs文件系统下  '/'目录下的文件