Hive的基本操作

HIVE基本操作

库操作

创建库

 create database if not exists xxuu_test;

查询库

 show databases;
 show databases like 'xxuu_*'

库信息

 //查询库的hdfs路径
 desc database xxuu_test;
 desc database extended xxuu_test;

删除库

 drop database if exists xxuu_test;

切换库

 use xxuu_test;

表操作

创建表

(内部表，外部表，分区表，分桶表)

语法说明：

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]

• CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
• EXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
• COMMENT：为表和列添加注释。
• PARTITIONED BY创建分区表
• CLUSTERED BY创建分桶表
• SORTED BY不常用
• ROW FORMAT DELIMITED
  [FIELDS TERMINATED BY char]
  [COLLECTION ITEMS TERMINATED BY char]
  [MAP KEYS TERMINATED BY char]
  [LINES TERMINATED BY char]
  |SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]
  用户在建表的时候可以自定义SerDe或者使用自带的SerDe。如果没有指定ROW FORMAT 或者ROW FORMAT DELIMITED，将会使用自带的SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的SerDe，Hive通过SerDe确定表的具体的列的数据。
  SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。
• STORED AS指定存储文件类型
  常用的存储文件类型：SEQUENCEFILE（二进制序列文件）、TEXTFILE（文本）、RCFILE（列式存储格式文件）
  如果文件数据是纯文本，可以使用STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。
• LOCATION ：指定表在HDFS上的存储位置。
• LIKE允许用户复制现有的表结构，但是不复制数据。

1. 创建Table 内部表

create table if not exists dim_wd_djzclx(
 djzclxdl_dm string,
 djzclxdlmc string,
 djzclxzl_dm string,
 djzclxzlmc string,
 djzclxxl_dm string,
 djzclxxlmc string,
 gybz string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

2. 创建External Table 外部表

create EXTERNAL table if not exists ext_dim_wd_djzclx(
 djzclxdl_dm string,
 djzclxdlmc string,
 djzclxzl_dm string,
 djzclxzlmc string,
 djzclxxl_dm string,
 djzclxxlmc string,
 gybz string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION '/opt/gengxu/external/ext_dim_wd_djzclx'; 

3. 创建Partition 分区表

create  table if not exists par_dim_wd_djzclx(
djzclxdl_dm string,
djzclxdlmc string,
djzclxzl_dm string,
djzclxzlmc string,
djzclxxl_dm string,
djzclxxlmc string,
gybz string
)
partitioned by (djzclxdl_dm string) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';

4. 创建Bucket Table 桶表

删除表

drop table dim_wd_djzclx

导出导入

文件方式

导出数据

INSERT OVERWRITE LOCAL DIRECTORY '/app/hadoop_output_data/dim_wd_djzclx' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from dim_wd_djzclx;

查询数据

cat /app/hadoop_output_data/dim_wd_djzclx/000000_0   

导入数据

load data local inpath '/opt/gengxu/hadoop_output_data/dim_wd_djzclx/000000_0' overwrite into table dim_wd_djzclx;