overwrite在hive内部表及外部表特性

overwrite在hive内部表及外部表特性。overwrite即为重写的意思， 指定了OVERWRITE，会有以下效果：


•目标表（或者分区）中的内容（如果有）会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
 
•如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。

一、内部表测试

1. 内部表建表语句：

create table  tb_in_base

(

   id  bigint,

   devid bigint,

    devname string

) partitioned by (job_time bigint) row format delimited fields terminated by ',';

create table  tb_in_up

(

   id  bigint,

   devid bigint,

   devname string

) partitioned by (job_time bigint) row format delimited fields terminated by ',';

2. 以下为load overwrite 相关测试

测试数据：

[hadoop@mwtec-50 tmp]$ vi tb_in_base

1,121212,test1,13072912

2,131313,test2,13072913

3,141414,test3,13072914

4,151515,test5,13072915

5,161616,test6,13072916

6,171717,test7,13072917

导入hdfs：

hadoop fs -put /tmp/tb_in_base /user/hadoop/output/

tb_in_base表数据导入：

load data inpath '/user/hadoop/output/tb_in_base' into table tb_in_base partition(job_time=030729);

不使用overwrite新增加一条记录：

[hadoop@mwtec-50 tmp]$ vi t1

7,181818,test8,13072918

导入hdfs:

 hadoop fs -put /tmp/t1  /user/hadoop/output/t1

导入tb_in_base表：

发现新增一条id为7的记录

测试数据：

[hadoop@mwtec-50 tmp]$ vi t2

8,191919,test9overwrite,13072918

导入hdfs: hadoop fs -put /tmp/t1  /user/hadoop/output/t1

使用overwrite导入：

1. 导入不同分区：

 load data inpath  '/user/hadoop/output/t2' overwrite into table tb_in_base partition(job_time=030730);

导入后结果:

2. 导入相同分区：

load data inpath  '/user/hadoop/output/t2' overwrite into table tb_in_base partition(job_time=030729);

导入后结果：

注：注意区分load data local inpath 及 load data inpath区别。

3. 测试 insert  into 与 insert overwrte 区别

查询tb_in_up目前为空表。

将tb_in_base内部表的数据，通过insert into 到内部表tb_in_up中。

insert into table tb_in_up partition (job_time=030729) select id,devid,devname from tb_in_base limit 1 ;

注：hive的默认数据是default，故有defalult.tb_in_up

执行后查询结果：

再次执行 insert into table 语句：

 insert into table tb_in_up partition (job_time=030729) select id,devid,devname from tb_in_base where id <3 ;  

执行后结果新增加id为1、2两条记录：

使用overwrite table 测试：

执行语句：

 insert overwrite table tb_in_up partition (job_time=030729) select id,devid,devname from tb_in_base where id >3 and id<6 ;

执行过程：

执行结果：

导入其他分区：

执行语句：

 insert overwrite table tb_in_up partition (job_time=030730) select id,devid,devname from tb_in_base where id >3 and id<6 ;

操作过程：

执行结果：

结果分析： 使用insert into table 数据只做增加操作；使用insert overwrite table 将删除当前指定的数据存储目录的所有数据（即只会删除指定分区数据不会删除其他分区的数据），再导入新的数据。

二、mysql 外部表测试

1. 内部表建表语句：

--hive建表语句：

CREATE EXTERNAL TABLE tb_in_mysql(

developerid int,

productid int,

dnewuser int

) row format delimited fields terminated by ',';

CREATE EXTERNAL TABLE tb_mysql(

developerid int,

productid int,

dnewuser int

)

STORED BY 'com.db.hive.mysql.MySQLStorageHandler' WITH SERDEPROPERTIES ("mapred.jdbc.column.mapping" = "developerid,productid,dnewuser" )

TBLPROPERTIES (

"mapred.jdbc.input.table.name" = "tb_mysql",

"mapred.jdbc.onupdate.columns.ignore" = "developerid,productid",

"mapred.jdbc.onupdate.columns.sum" = "dnewuser",

"mapred.jdbc.url" = "jdbc:mysql://192.168.241.94:3307/db",

"mapred.jdbc.username" = "db",

"mapred.jdbc.password" = "db"

);

--mysql建表语句

 CREATE TABLE tb_mysql (

  `developerid` int(11) NOT NULL DEFAULT '0',

  `productid` int(11) NOT NULL DEFAULT '0',

  `dnewuser` int(11) NOT NULL DEFAULT '0'

) ENGINE=MyISAM DEFAULT CHARSET=utf8;

测试数据：

1,1212,10

2,1313,9

3,1414,13

4,1515,50

5,1616,70

6,1717,80

7,18818,100

导入hdfs:

hadoop fs -put /tmp/tb_mysql /user/hadoop/output/

导入hive表：

 load data inpath '/user/hadoop/output/tb_mysql' into table tb_in_mysql;

使用insert into table 往外部表tb_mysql写入数据：

insert into table tb_mysql select developerid,productid,dnewuser from tb_in_mysql where developerid=1;

执行过程：

执行结果:

mysql> select * from tb_mysql;

+-------------+-----------+----------+

| developerid | productid | dnewuser |

+-------------+-----------+----------+

|           1 |      1212 |       10 |

+-------------+-----------+----------+

1 row in set

再次执行以下步骤：

insert into table tb_mysql select developerid,productid,dnewuser from tb_in_mysql where developerid=2;

执行结果：

mysql> select * from tb_mysql;

+-------------+-----------+----------+

| developerid | productid | dnewuser |

+-------------+-----------+----------+

|           1 |      1212 |       10 |

|           2 |      1313 |        9 |

+-------------+-----------+----------+

2 rows in set

使用overwrite 进行测试：

insert into table tb_mysql select developerid,productid,dnewuser from tb_in_mysql where developerid=5;

执行过程：

执行结果：

mysql> select * from tb_mysql;

+-------------+-----------+----------+

| developerid | productid | dnewuser |

+-------------+-----------+----------+

|           1 |      1212 |       10 |

|           2 |      1313 |        9 |

|           3 |      1414 |       13 |

|           5 |      1616 |       70 |

+-------------+-----------+----------+

结果分析：

在外部表中使用into table 与overwrite table 效果一致

 

额外测试：overwrite table是否会更新数据

测试结果：overwrite table 不更新mysql内容。

使用into table 进行测试是否会更新mysql数据

语句：

insert into table tb_mysql select developerid,1111111 as productid,dnewuser from tb_in_mysql where developerid=5;

Total MapReduce jobs = 1

执行过程：

执行结果：

测试结果：into table 不更新mysql结果表内容。

分析结果：

内部表：

1. insert intotable 指定相同分区可以进行不断的写入新数据，指定不同分区也可写入新数据。

2. insertoverwrite table 指定相同分区会先将之将的数据旧删除，再进行写入新数据；指定不同的分区则直接写入新数据。

3. 使用load data 数据只会增加当前表的数据；使用load dataoverwrite将删除当前指定的数据存储目录的所有数据（即只会删除指定分区数据不会删除其他分区的数据），再导入新的数据。

mysql 外部表：

使用insert into table 与insert overwritetable 不会修改旧数据，只会将新数据直接写入数据库。