Hive Insert命令

大数据根本不存在改一个值。

 

Hive Insert命令

2017年03月17日 15:52:17 post_yuan 阅读数：22861

个人分类： Hive 大数据

版权声明：本文为博主原创文章，如需转载，请注明出处。 https://blog.csdn.net/Post_Yuan/article/details/62887619

Hive 加载数据主要有两种方式，一种是用Load直接加载文件，可以是从本地文件系统，也可以是从HDFS文件系统；Load方式不做任何的转换，只是纯粹的文件复制移动，关于Load加载详情，请见我的另一篇文章： http://blog.csdn.net/post_yuan/article/details/62883565

除了Load加载数据，Hive也支持Insert命令，下面就来详细介绍Hive不同的版本在Insert方面的支持和改进，

标准语法

INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)](z, y) select_statement1 FROM from_statement;

高级语法(Multiple Inserts)

FROM from_statement
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2]
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2];

高级语法(Dynamic Partition Inserts)

INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;

描述

• INSERT OVERWRITE会覆盖表或分区中已存在的数据
• INSERT INTO以追加数据的方式插入到表或分区，原有数据不会删除
• Insert可以插入表或分区，如果表是分区表，则Insert时需要指定插入到哪个分区
• 从Hive 1.1.0版本，TABLE关键字是可选的
• 从Hive 1.2.0版本，INSERT INTO可以指定插入到哪些字段中，如INSERT INTO t(x,y,z)

动态分区插入

当INSERT往分区表插入数据时，我们可以指定分区字段名和值，分区字段的值是可选的，如果指定分区字段值，我们称之为静态分区，否则称之为动态分区。动态分区创建根据插入数据的列决定。在Hive 0.9.0版本以前，动态分区插入默认是关闭的，在Hive 0.9.0版本及更高版本，默认是打开的。关于动态分区插入，有几个相关的配置：

参数	默认值	注释
hive.exec.dynamic.partition	true	设置为true表示启用动态分区插入
hive.exec.dynamic.partition.mode	strict	strict模式时用户必须至少指定一个静态分区；nonstrict模式时所有分区都可能是动态分区
hive.exec.max.dynamic.partitions.pernode	100	每个mapper/reducer节点允许创建的最大动态分区数
hive.exec.max.dynamic.partitions	1000	总共允许创建的最大动态分区数
hive.exec.max.created.files	100000	一个MR job中允许创建多少个HDFS文件
hive.error.on.empty.partition	false	当动态分区插入产生空值时是否抛出异常

从查询语句写入到文件系统

Hive支持从查询语句直接写入到文件系统，此处不做详细介绍

INSERT VALUES

Hive 0.14版本开始，支持INSERT…VALUES语法，具体语法如下，

INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES values_row [, values_row ...]

values_row:
(value [, value ...])
value可以为null或者任意SQL语法