Overwrite在hive内部表及外部表特性
overwrite在hive内部表及外部表特性。overwrite即为重写的意思， 指定了OVERWRITE，会有以下效果：
•目标表（或者分区）中的内容（如果有）会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
•如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。
•目标表（或者分区）中的内容（如果有）会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
•如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。
一、内部表测试
1. 内部表建表语句：
create table tb_in_base
(
id bigint,
devid bigint,
devname string
) partitioned by (job_time bigint) row format delimited fields terminated by ',';
create table tb_in_up
(
id bigint,
devid bigint,
devname string
) partitioned by (job_time bigint) row format delimited fields terminated by ',';
2. 以下为load overwrite 相关测试
测试数据：
[hadoop@mwtec-50 tmp]$ vi tb_in_base
1,121212,test1,13072912
2,131313,test2,13072913
3,141414,test3,13072914
4,151515,test5,13072915
5,161616,test6,13072916
6,171717,test7,13072917
导入hdfs：
hadoop fs -put /tmp/tb_in_base /user/hadoop/output/
tb_in_base表数据导入：
load data inpath '/user/hadoop/output/tb_in_base' into table tb_in_base partition(job_time=030729);
不使用overwrite新增加一条记录：
[hadoop@mwtec-50 tmp]$ vi t1
7,181818,test8,13072918
导入hdfs:
hadoop fs -put /tmp/t1 /user/hadoop/output/t1
导入tb_in_base表：
---------------------------------------------------------
发现新增一条id为7的记录
测试数据：
[hadoop@mwtec-50 tmp]$ vi t2
8,191919,test9overwrite,13072918
导入hdfs: hadoop fs -put /tmp/t1 /user/hadoop/output/t1
使用overwrite导入：
1. 导入不同分区：
load data inpath '/user/hadoop/output/t2' overwrite into table tb_in_base partition(job_time=030730);
导入后结果:
------------------------------------------------------------------------------------------
2. 导入相同分区：
load data inpath '/user/hadoop/output/t2' overwrite into table tb_in_base partition(job_time=030729);
导入后结果：
-------------------------------------------------------------------------------------
注：注意区分load data local inpath 及 load data inpath区别。
3. 测试 insert into 与 insert overwrte 区别
---------------------------------------------------------------------------
查询tb_in_up目前为空表。
将tb_in_base内部表的数据，通过insert into 到内部表tb_in_up中。
insert into table tb_in_up partition (job_time=030729) select id,devid,devname from tb_in_base limit 1 ;
-------------------------------------------------------------------------------
注：hive的默认数据是default，故有defalult.tb_in_up
执行后查询结果：
-------------------------------------------------------------------------------------
再次执行 insert into table 语句：
insert into table tb_in_up partition (job_time=030729) select id,devid,devname from tb_in_base where id <3 ;
执行后结果新增加id为1、2两条记录：
------------------------------------------------------------------------------------
使用overwrite table 测试：
执行语句：
insert overwrite table tb_in_up partition (job_time=030729) select id,devid,devname from tb_in_base where id >3 and id<6 ;
执行过程：
---------------------------------------------------------------------------------
执行结果：
导入其他分区：
执行语句：
insert overwrite table tb_in_up partition (job_time=030730) select id,devid,devname from tb_in_base where id >3 and id<6 ;
操作过程：
-----------------------------------------------------------------------------
执行结果：
-------------------------------------------------------
结果分析： 使用insert into table 数据只做增加操作；
使用insert overwrite table 将删除当前指定的数据存储目录的所有数据（即只会删除指定分区数据不会删除其他分区的数据），再导入新的数据。
二、mysql 外部表测试
1. 内部表建表语句：
--hive建表语句：
CREATE EXTERNAL TABLE tb_in_mysql(
developerid int,
productid int,
dnewuser int
) row format delimited fields terminated by ',';
CREATE EXTERNAL TABLE tb_mysql(
developerid int,
productid int,
dnewuser int
)
STORED BY 'com.db.hive.mysql.MySQLStorageHandler' WITH SERDEPROPERTIES ("mapred.jdbc.column.mapping" = "developerid,productid,dnewuser" )
TBLPROPERTIES (
"mapred.jdbc.input.table.name" = "tb_mysql",
"mapred.jdbc.onupdate.columns.ignore" = "developerid,productid",
"mapred.jdbc.onupdate.columns.sum" = "dnewuser",
"mapred.jdbc.url" = "jdbc:mysql://192.168.241.94:3307/db",
"mapred.jdbc.username" = "db",
"mapred.jdbc.password" = "db"
);
--mysql建表语句
CREATE TABLE tb_mysql (
`developerid` int(11) NOT NULL DEFAULT '0',
`productid` int(11) NOT NULL DEFAULT '0',
`dnewuser` int(11) NOT NULL DEFAULT '0'
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
测试数据：
1,1212,10
2,1313,9
3,1414,13
4,1515,50
5,1616,70
6,1717,80
7,18818,100
导入hdfs:
hadoop fs -put /tmp/tb_mysql /user/hadoop/output/
导入hive表：
load data inpath '/user/hadoop/output/tb_mysql' into table tb_in_mysql;
使用insert into table 往外部表tb_mysql写入数据：
insert into table tb_mysql select developerid,productid,dnewuser from tb_in_mysql where developerid=1;
执行过程：
--------------------------------------------------------------------------------------------------
执行结果:
mysql> select * from tb_mysql;
+-------------+-----------+----------+
| developerid | productid | dnewuser |
+-------------+-----------+----------+
| 1 | 1212 | 10 |
+-------------+-----------+----------+
1 row in set
再次执行以下步骤：
insert into table tb_mysql select developerid,productid,dnewuser from tb_in_mysql where developerid=2;
执行结果：
mysql> select * from tb_mysql;
+-------------+-----------+----------+
| developerid | productid | dnewuser |
+-------------+-----------+----------+
| 1 | 1212 | 10 |
| 2 | 1313 | 9 |
+-------------+-----------+----------+
2 rows in set
使用overwrite 进行测试：
insert into table tb_mysql select developerid,productid,dnewuser from tb_in_mysql where developerid=5;
执行过程：
---------------------------------------------------------------------------------------------------
执行结果：
mysql> select * from tb_mysql;
+-------------+-----------+----------+
| developerid | productid | dnewuser |
+-------------+-----------+----------+
| 1 | 1212 | 10 |
| 2 | 1313 | 9 |
| 3 | 1414 | 13 |
| 5 | 1616 | 70 |
+-------------+-----------+----------+
结果分析：
在外部表中使用into table 与overwrite table 效果一致
额外测试：overwrite table是否会更新数据
--------------------------------------------------------------------------------------------
测试结果：overwrite table 不更新mysql内容。
使用into table 进行测试是否会更新mysql数据
语句：
insert into table tb_mysql select developerid,1111111 as productid,dnewuser from tb_in_mysql where developerid=5;
Total MapReduce jobs = 1
执行过程：
------------------------------------------------------------------------------------------
执行结果：
测试结果：into table 不更新mysql结果表内容。
分析结果：
内部表：
1. insert intotable 指定相同分区可以进行不断的写入新数据，指定不同分区也可写入新数据。
2. insertoverwrite table 指定相同分区会先将之将的数据旧删除，再进行写入新数据；指定不同的分区则直接写入新数据。
3. 使用load data 数据只会增加当前表的数据；使用load dataoverwrite将删除当前指定的数据存储目录的所有数据（即只会删除指定分区数据不会删除其他分区的数据），再导入新的数据。
mysql 外部表：
使用insert into table 与insert overwritetable 不会修改旧数据，只会将新数据直接写入数据库。