hive中的增删改如何实现
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive 中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO ... VALUES 添加数据，使用 UPDATE ... SET 修改数据。但是随着云计算和hadoop的发展越来越多的传统系统需要云化，这其中必然涉及到数据的增删改查，如何根据hive的特点实现相应的功能是不能回避的，以下就是本人在hive改造oracle存储过程中的解决办法。
Update语法：
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1)]
Select [column]...,[update data]... FROM from_statement
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val2)]
Select [column]... FROM [tablename1 left outer join (select [column] ... From from_statement) ON equality_expression ( AND equality_expression )* where [right table column is NULL] [WHERE where_condition]]
INSERT OVERWRITE TABLE tablename2 [PARTITION (partcol1=val)]
Select * from tablename1 where partition_name=’va1’ or partition_name=val2;
eg:A表数据如下id(String) name(String)
----------------------------
1 aaa
2 bbb
3 ccc
-----------------------------
要求更新2 bbb为2 ddd
hive脚本如下(TMP_A为分区表):
insert overwrite table TMP_A partition (p='one') select id,"ddd" from A where id = 2;
insert overwrite table TMP_A partition (p='two') select a.id,a.name from A a left outer join (select id from TMP_A where name='one') b on (a.id=b.id) where b.id is NULL:
insert overwrite table A select * from TMP_A where p='one' or p='two';
Delete语法：
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement
[WHERE where_condition]
[join table]
eg:A表数据如下
id(String) name(String)
----------------------------
1 aaa
2 bbb
3 ccc
-----------------------------
要求删除2 bbb
hive脚本如下：
insert overwrite table A select id,name from A where id !=2;
ADD语法
通过分区增加。
如果目标表不是分区表则需要借助中间表，将目标表中的数据放入中间表的一个分区，然后将要增加的数据放入中间表的另一个分区，然后：insert overwrite table 目标表select中间表的两个分区的数据。
如果目标表有分区则直接将要增加的数据放入目标表的一个分区。
如果要增加的数据来自hive表则用insert overwrite .... select ...语句将数据放入目标表分区
如果要增加的数据来自文件则用load data.... tablename partition...