hive导入数据的三种方式

首先我们在hive中要建好一个表，这里用比较难的方式来假设，假设是外部表并且是分区表stg.test，按bus_date（string）分区。

方式一：上传数据后修复

首先上传数据到HDFS中：

hadoop fs -mkdir -p /user/hive/warehouse/stg/test/bus_date=20191101 #创建文件夹
hadoop fs -put /opt/datas/test.txt(要上传的文件)  /user/hive/warehouse/stg/test/bus_date=20191101（上传的目标文件夹）;

查询刚才上传的数据：

select * from stg.test where bus_date='20191101';

发现是查不到数据的，然后执行执行修复命令：

hive> msck repair table stg.test;

再次查询数据发现有了。

方式二：上传数据后添加分区

首先上传数据到HDFS中：
如方式1.

接着执行添加分区命令：

alter table stg.test add partition(bus_date='20191101'）

然后查询数据发现有了。
目前抽数常用的方式就是这种，因为执行sql语句并且传递脚本其他部分也要使用的参数：包括库名、表名、分区字段名、分区字段值这四个参数。

方式三：创建文件夹后load数据到分区

首先创建目录：
如方式1的第一句代码。

然后上传数据：

load data local inpath '/opt/datas/test.txt' into table stg.test partition(bus_date='20191101');

最后查询数据也有了。如果直接上传不采用脚本的话，这种方式是最快的。最适合一次性使用。所以我也用了这种方式从其他服务器上导入csv文件。