hive学习笔记之-数据操作

1. 导入数据到管理表

因为Hive不支持事务，所以没有行级别的insert,update,delete操作，仅支持使用加载的方式把数据导入到表中。

 

--加载数据到分区表的例子

LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'

OVERWRITE INTOTABLE employees

PARTITION(country = 'US', state = 'CA');

 

上面是上一节创建的表语句，如果没分区目录不存在，则建表时会创建../US/CA目录。

如果不是分区表，则可忽略PARTITION子句。

 

--创建分区管理表

CREATE TABLE IF NOT EXISTS logmsgs1 (

hms  INT,

severity  STRING,

server  STRING,

process_id  INT,

message  STRING)

PARTITIONED BY (year INT, month INT, day INT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

 

[licz@nticket1 data]$ ls log20

log20140120  log20140120_1

 

--导入目录下所有文件数据

hive (mydb)>load data local inpath '/app/hadoop/data/log20'

           > overwrite into table logmsgs1partition (year = 2014,month = 1,day = 20);

 

INPATH子句后可以是目录，也可以是单个文件，如果是目录则是导入目录下所有文件的数据。

 

2. 从查询语句中插入数据

--插入单个分区

--示例1

INSERT OVERWRITE TABLE employees

PARTITION (country = 'US', state = 'OR')

SELECT * FROM staged_employees se

WHERE se.cnty ='US' AND se.st = 'OR';

 

--示例2

INSERT OVERWRITE TABLE logmsgs1

PARTITION (year= 2014,month = 1,day =  22)

SELECT hms,severity,server,process_id,message

 FROM logmsgs WHERE year = 2014 and month = 1and day=22;

 

--插入多个分区

--示例1

FROM staged_employees se

INSERT OVERWRITE TABLE employees

PARTITION (country = 'US', state = 'OR')

SELECT * WHERE se.cnty = 'US' AND se.st = 'OR'

INSERT OVERWRITE TABLE employees

PARTITION (country = 'US', state = 'CA')

SELECT * WHERE se.cnty = 'US' AND se.st = 'CA'

INSERT OVERWRITE TABLE employees

PARTITION (country = 'US', state = 'IL')

SELECT * WHERE se.cnty = 'US' AND se.st = 'IL';

 

--示例2

FROM logmsgs

INSERT OVERWRITETABLE logmsgs1

PARTITION (year= 2014,month = 1,day =  20)

SELECThms,severity,server,process_id,message WHERE day=20

INSERT OVERWRITETABLE logmsgs1

PARTITION (year= 2014,month = 1,day =  21)

SELECThms,severity,server,process_id,message WHERE day=21;

 

3. 动态分区插入

如果表中有许多分区各方面，按上面插入语句会要写很多的SQL，而且查询语句要对应上不同的分区，这样就插入语句用起来就会很繁琐。

Hive中有这样的支持动态分区插入的功能，它能跟分区字段的内容自动创建分区，并在每个分区插入相应的内容。

SELECT语句中要包含分区字段，如下所示：

INSERT OVERWRITE  TABLE employees

PARTITION(country, state)

SELECT ..., se.cnty, se.st

FROM staged_employees se;

 

示例

--删除原来的分区

hive (mydb)>alter table logmsgs1 drop partition (year=2014,month=1,day=20);

Dropping the partition year=2014/month=1/day=20

hive (mydb)>alter table logmsgs1 drop partition (year=2014,month=1,day=22);

Dropping thepartition year=2014/month=1/day=22

 

hive (mydb)>show partitions logmsgs1;

year=2014/month=1/day=21

 

 

--要动态插入分区必需设置hive.exec.dynamic.partition.mode=nonstrict

hive (mydb)>FROM logmsgs

           > INSERT OVERWRITE TABLE logmsgs1

           > PARTITION (year, month , day )

           > SELECThms,severity,server,process_id,message,year,month,day;

 FAILED: SemanticException [Error 10096]:Dynamic partition strict mode requires at least one static partition column. Toturn this off set hive.exec.dynamic.partition.mode=nonstrict

hive (mydb)>set hive.exec.dynamic.partition.mode;

hive.exec.dynamic.partition.mode=strict

hive (mydb)> set hive.exec.dynamic.partition.mode=nonstrict;

 

--动态插入分区

hive (mydb)>FROM logmsgs

           > INSERT OVERWRITE TABLE logmsgs1

           > PARTITION (year, month , day )

           > SELECT hms,severity,server,process_id,message,year,month,day;

 

--分区会自动创建

hive (mydb)>show partitions logmsgs1;

year=2014/month=1/day=20

year=2014/month=1/day=21

year=2014/month=1/day=22

 

同样的，也可以混合dynamic和static分区使用

INSERT OVERWRITE ABLE employees

PARTITION (country = 'US', state)

SELECT ...,se.cnty, se.st

FROM staged_employees se

WHERE se.cnty ='US';

 

 

hive (mydb)>FROM logmsgs

           > INSERT OVERWRITE TABLE logmsgs1

           > PARTITION (year=2014, month=1 ,day )

           > SELECT hms,severity,server,process_id,message,day

           > WHERE year=2014 and month=1;

Total MapReduce jobs = 3

Launching Job 1 out of 3

…

OK

Time taken: 8.146 seconds

 

动态插入参数说明：

 

要设置动态插入操作，可能需要以下的参数设置：

hive> sethive.exec.dynamic.partition=true;

hive> sethive.exec.dynamic.partition.mode=nonstrict;

hive> sethive.exec.max.dynamic.partitions.pernode=1000;

hive> INSERTOVERWRITE TABLE employees

> PARTITION (country, state)

> SELECT ..., se.cty, se.st

> FROM staged_employees se;

 

4.用create as创建表

--创建表并加载查询内容

CREATE TABLE ca_employees

AS SELECT name,salary, address

FROM employees

WHERE sstate ='CA';

 

可以看到用法和SQL是一样的。这个特性不能用于创建外部表，但可以从外表里读取数据来创建管理表。

 

5. 导出数据

如果数据文件已经是被格式化的，只要简单copy目录就可以了

hadoop fs -cpsource_path target_pat

 

否则要INSERT …DIRECTORY …,语句进行导出，如下：

hive (mydb)>INSERT OVERWRITE LOCAL DIRECTORY '/tmp/logmsgs1'

           > SELECT hms,server,process_id

           > FROM logmsgs1

           > WHERE year = 2014 and month = 1and day in(20,21);

注意：加LOCAL子句是导到文件系统，不加LOCAL子句是导入到HDFS

hive (mydb)>!ls /tmp/logmsgs1;

000000_0

 

hive (mydb)>dfs -cat /tmp/logmsgs1/000000_0;

62410.1.5.17465768

11162410.1.5.17465769

11162410.1.5.17465770

11162510.1.5.17465771

 

可以看到字段之间的是连接在一起的，没有了限定符。因为^A和^B分隔符不能被显示（rendered.）

 

--导出表中的数据到多个目录

FROM staged_employees se

INSERT OVERWRITEDIRECTORY '/tmp/or_employees'

SELECT * WHERE se.cty = 'US' and se.st = 'OR'

INSERT OVERWRITEDIRECTORY '/tmp/ca_employees'

SELECT * WHERE se.cty = 'US' and se.st = 'CA'

INSERT OVERWRITEDIRECTORY '/tmp/il_employees'

SELECT * WHEREse.cty = 'US' and se.st = 'IL';

 

如果像上面导出结果一样没有限定符的话，我们可能导出的数据可能就是一个问题，无法使用。所以我们需要先对查询数据做处理，或是导入到一个临时表里（Hive没有关系数据库的临时表，只能先生成一个表后再用完再删除），或是在导出时直接格式化如下所示

 

hive (mydb)>INSERT OVERWRITE DIRECTORY '/tmp/logmsgs2'

           > SELECT hms,',',server,',',process_id

           > FROM logmsgs1

           > WHERE year = 2014 and month = 1and day in(20,21);

hive (mydb)>dfs -cat /tmp/logmsgs2/000000_0;

111624,10.1.5.17,465769

111624,10.1.5.17,465770

111625,10.1.5.17,465771

111625,10.1.5.105,465772

111625,10.1.5.17,465773

 

另一种有用的方法：

替换hive导出文件字段默认分隔符

       Hive建表的时候虽然可以指定字段分隔符，不过用insert overwrite local directory这种方式导出文件时，字段的分割符会被默认置为\001,一般都需要将字段分隔符转换为其它字符，可以使用下面的命令:
     sed -e 's/\x01/|/g' file 
可以将|替换成自己需要的分隔符，file为hive导出的文件。

例如 ，

--替换分隔符为tab键后，输入到t1.txt文件中

sed -e 's/\x01/\t/g' 000000_01 > t1.txt

[licz@nticket1 bill]$ vi t1.txt   
27.0    1327661724-15677344     -1.0
27.0    1327661560-15807853     1.0
27.0    1327661560-15807853     2.0
27.0    1327661560-15807853     -1.0
27.0    1327661041-16002756     1.0
27.0    1327661041-16002756     2.0
27.0    1327661041-16002756     -1.0
27.0    1327661347-16462474     -1.0
27.0    1327661397-16003897     1.0

--导出文件

sftp> get t1.txt  
Downloading t1.txt from /tmp/bill/t1.txt
  100% 294 bytes    294 bytes/s 00:00:00     
/tmp/bill/t1.txt: 294 bytes transferred in 0 seconds (294 bytes/s)