往HIVE表中导入导出数据的几种方式详解

一:往HIVE表中导入导出数据
语法结构:[ ]带括号的表示可选择字段
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO
TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
各种参数说明:
1 -hive只对导入该表中的数据按照自己的方式 处理,对于错误的数据不管,超出直接丢弃。
2 -  Load 操作只是单纯的复制/移动操作,将数据文件移动到 Hive 表对应的位置 所以也可以直接hadoop fs -put  ./1.txt   /user/hive/warehouse/web_log.db/staff/ 将数据直接导入到hive表对应的位置。hive对导入的数据没有查错的功能,只是按自己的表字段进行匹配,格式匹配不了的默认用Null替代, hive属于读时模式。   
3 - LOCAL关键字, 如果指定了 LOCAL, load 命令会去查找本地文件系统中的 filepath。 如果没有指定 LOCAL 关键字,则根据inpath中的uri查找文件
4 - OVERWRITE 关键字, 如果使用了 OVERWRITE 关键字,则目标表(或者分区)中的 内容会先被全部被删除 ,然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。 如果目标表(分区)已经有一个文件,并且文件名和 filepath 中的文件名冲突,那么现有的文件会被新文件所替代。  
    
1.往Hive表导入数据方式      
1、本地导入(本地导入以后1.txt文件本地还有备份的)
    load data local inpath 'local_path/file' into table 表名称 ;
     ex: load data  local inpath ./1.txt into table staff;

2、HDFS导入(导入完以后hdfs上的1.txt文件就不存在了)
     load data inpath 'hdfs_path/file' into table 表名称 ;
     ex: load data inpath '/user/jerry.txt' into table jerry;//不能少了单引号
         load data  inpath'hdfs://hadoop102:8020/user/jerry.txt' into table jerry;

3,覆盖导入:本地文件导入,hdfs文件导入加了overwrite参数而已
        1. load data local inpath 'path/file' overwrite into table 表名称 ;
          ex: load data  local inpath ./1.txt  ovewrite  into table staff;
        2.load data inpath 'path/file' overwrite into table 表名称 ;
          ex:load data inpath '/user/jerry.txt'  overwrite into table jerry;

4、查询导入(其实就是创建新表)
       create table track_log_bak as select * from db_web_data.track_log;
5、insert查询结果插入hive中(insert导入必须基于别的表查询导入的)将查询结果插入Hive表
    语法结构 (overwrite在前面,load的ove rwrite在后面)
    INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)]
    select_statement1 FROM from_statement
       覆盖-overwrite-显示指定-使用频率高
       追加-append-默认方式 (用into)
       insert  into table staff (这里没有as) select * from track_log;
       insert overwrite table staff2 select id,name from staff where id<100;
2.从Hive表导出数据方式(也是查询方式导出,跟导入区别insert后面一个是table,一个是directory)           
1、hive中数据导出到本地
 标准语法 INSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT ... FROM ...
 例如:insert overwrite local directory "/home/admin/Desktop/1/2"
       row format delimited  fields terminated by '\t'
       select * from db_hive_demo.emp ;(row 这一行可以不加)
  温馨提示:会递归创建目录,一定要选择文件夹,否则会覆盖目录,造成数据丢失
2、insert查询结果导出到HDFS
     insert overwrite  directory 'hdfs://hadoop102:8020/user/hive/warehouse/emp2/emp2'
     select * from emp where empno >7800;
3、Bash shell覆盖追加导出
         例如:$ bin/hive -e "select * from staff;"  > /home/z/backup.log
4、Sqoop把hive数据导出到外部

你可能感兴趣的:(Hive编程和数据仓库)