Hive的基本操作

文章目录

  • HIVE基本操作
    • 库操作
    • 表操作
    • 导出导入
      • 文件方式

HIVE基本操作

库操作

创建库

 create database if not exists xxuu_test;

查询库

 show databases;
 show databases like 'xxuu_*'

库信息

 //查询库的hdfs路径
 desc database xxuu_test;
 desc database extended xxuu_test;

删除库

 drop database if exists xxuu_test;

切换库

 use xxuu_test;

表操作

创建表

(内部表,外部表,分区表,分桶表)

语法说明:

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]
  • CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。
  • EXTERNAL关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。
  • COMMENT:为表和列添加注释。
  • PARTITIONED BY创建分区表
  • CLUSTERED BY创建分桶表
  • SORTED BY不常用
  • ROW FORMAT DELIMITED
    [FIELDS TERMINATED BY char]
    [COLLECTION ITEMS TERMINATED BY char]
    [MAP KEYS TERMINATED BY char]
    [LINES TERMINATED BY char]
    |SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]
    用户在建表的时候可以自定义SerDe或者使用自带的SerDe。如果没有指定ROW FORMAT 或者ROW FORMAT DELIMITED,将会使用自带的SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的SerDe,Hive通过SerDe确定表的具体的列的数据。
    SerDe是Serialize/Deserilize的简称,目的是用于序列化和反序列化。
  • STORED AS指定存储文件类型
    常用的存储文件类型:SEQUENCEFILE(二进制序列文件)、TEXTFILE(文本)、RCFILE(列式存储格式文件)
    如果文件数据是纯文本,可以使用STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。
  • LOCATION :指定表在HDFS上的存储位置。
  • LIKE允许用户复制现有的表结构,但是不复制数据。

1. 创建Table 内部表

create table if not exists dim_wd_djzclx(
 djzclxdl_dm string,
 djzclxdlmc string,
 djzclxzl_dm string,
 djzclxzlmc string,
 djzclxxl_dm string,
 djzclxxlmc string,
 gybz string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

2. 创建External Table 外部表

create EXTERNAL table if not exists ext_dim_wd_djzclx(
 djzclxdl_dm string,
 djzclxdlmc string,
 djzclxzl_dm string,
 djzclxzlmc string,
 djzclxxl_dm string,
 djzclxxlmc string,
 gybz string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION '/opt/gengxu/external/ext_dim_wd_djzclx'; 

3. 创建Partition 分区表

create  table if not exists par_dim_wd_djzclx(
djzclxdl_dm string,
djzclxdlmc string,
djzclxzl_dm string,
djzclxzlmc string,
djzclxxl_dm string,
djzclxxlmc string,
gybz string
)
partitioned by (djzclxdl_dm string) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';

4. 创建Bucket Table 桶表

删除表

drop table dim_wd_djzclx

导出导入

文件方式

导出数据

INSERT OVERWRITE LOCAL DIRECTORY '/app/hadoop_output_data/dim_wd_djzclx' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from dim_wd_djzclx;

查询数据

cat /app/hadoop_output_data/dim_wd_djzclx/000000_0   

导入数据

load data local inpath '/opt/gengxu/hadoop_output_data/dim_wd_djzclx/000000_0' overwrite into table dim_wd_djzclx;

你可能感兴趣的:(hadoop)