HIVE 总结 四 Hive DML数据操作

HIVE 总结 四 Hive DML数据操作

本篇总结hive操作的数据的语法语句,这是常用的sql语法,毕竟用的多的还是CRUD

1.数据导入

1. 语法

   load data [local] inpath ‘数据的path’ [overwrite] into table student [partition (partcol1=val1,…)];

   （1）load data:表示加载数据

   （2）local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表

   （3）inpath:表示加载数据的路径

   （4）overwrite:表示覆盖表中已有数据，否则表示追加

   （5）into table:表示加载到哪张表

   （6）student:表示具体的表

   （7）partition:表示上传到指定

   举个栗子

   创建一张表

   create table student(id int, name string) row format delimited fields terminated by ‘\t’;

   加载本地文件到hive

   load data local inpath ‘/opt/data2txt’ into table student;

   加载HDFS文件到hive中

   load data inpath ‘/user/muxue/student.txt’ into table student;

   加载数据覆盖表中已有的数据

   load data inpath ‘/user/muxue/student.txt’ overwrite into table student;

2. 通过查询语句向表中插入数据（Insert）

   1）创建一张表
   create table student2(id int, name string) row format delimited fields terminated by ‘\t’;

   2）基本模式插入数据
   insert into table student2 values(1,‘wangwu’),(2,‘zhaoliu’);

   3）根据查询结果插入数据

   insert overwrite table student2
   select id, name from student where id < 1006;

   insert into：以追加数据的方式插入到表或分区，原有数据不会删除
   insert overwrite：会覆盖表中已存在的数据
   注意：insert不支持插入部分字段，并且后边跟select语句时，select之前不能加as，加了as会报错，一定要跟下面的as select区分开。

3. 查询语句中创建表并加载数据（As Select）

   create external table if not exists student5(
   id int, name string ) as select id,name from student3 where id >10

4. 创建表时通过Location指定加载数据路径

   1）上传数据到hdfs上
   hadoop fs -mkdir -p /stu3;
   hadoop fs -put stu3.txt /stu3

   2）创建表，并指定在hdfs上的位置
   create external table if not exists student5(
   id int, name string )
   row format delimited fields terminated by ‘\t’
   location ‘/student’;

   3）查询数据
   hive (default)> select * from student5;

5. Import数据到指定Hive表中

   注意：先用export导出后，再将数据导入。并且因为export导出的数据里面包含了元数据，因此import要导入的表不可以存在，否则报错。

   import table student2  from
    '/user/hive/warehouse/export/student';
   

2.数据导出

1. Insert导出

   1. 将查询的结果导出到本地

      insert overwrite local directory ‘/opt/module/hive/datas/export/student’

      select * from student;

   2. 将查询的结果格式化导出到本地

      insert overwrite local directory ‘/opt/module/hive/datas/export/student1’

      ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’

      select * from student;

   3. 将查询的结果导出到HDFS上(没有local)

      insert overwrite directory ‘/user/muxue/student2’

      ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’

      select * from student;

      注意：insert 导出，导出的目录不用自己提前创建，hive会帮我们自动创建，但是由于是overwrite，所以导出路径一定要写具体，否则很可能会误删数据。这个步骤很重要，切勿大意

2. Hadoop命令导出到本地

   dfs -get /user/hive/warehouse/student/student5.txt

   /opt/student3.txt;

3. Hive Shell 命令导出

   bin/hive -e ‘select * from default.student4;’ >

   /opt/student4.txt;

4. Export导出到HDFS上

   export table default.student to

   ‘/user/hive/warehouse/export/student’;