hive的基本操作

hive的使用方式

1.使用CLI

直接使用hive命令即可进入客户端。

2. 使用hiveserver2服务

1. 修改hdfs-site.xml，core-site.xml
   • 在hdfs-site.xml加上dsf.webhdfs.enabled-->true
   • core-site.xml加入hadoop.proxyuser.hadoop.hosts-->*
     ......groups-->*
2. 把hive启动为一个后台服务，只有启动为后台服务之后，才能让HJDBC,ODBC等程序去连接hive

• nohup command &
  nohup 的意思： no hang up 不挂起
  输入命令：nohup hiverser2 & 2>~/hive_err.log 1>~/hive_std.log
  日志：0代表标准输入，1代表标准输出，2代表异常输出
  nohup hiverser2 & 2>/dev/null 1>/dev/null
  进入黑洞，所有日志都不保存
  输入jps 出现 RunJar进程表示启动成功

• 使用beeline客户端工具去连接hiveserver2

  1. $ beeline
  2. >!connect jdbc:hive2://hadoop02:10000

HQL的使用

关于库的DDL

1. 创建库
   create database if not exists hadoop;
   创建时使用if not exists 忽略异常
   删除时，使用 if exists 忽略异常
   适用于创建表

2. 查询库列表信息
   show databases;

3. 查询正在使用的库
   select current_database();

4. 切换库
   use dname;

5. 查询库的详细信息
   desc database dname;
   desc database extended dname;

6. 删除库
   drop database dname;
   drop database dname restrict;
   如果已经有表是不能删除的。
   drop database dname cascade;
   级联的方式删除数据库

7. 修改库/基本不用

关于表的DDL

1. 创建表
   create

• comment 表注释

• partioner by(col_name data_type...)
  分区字段不能在表字段中出现

• clustered by (col_name,....) 分桶
  [sorted by (col_name[asc|desc],...)]是否排序按照哪个字段排序
  into num_buckets BUCKETS 整个表分成多少个桶
  分桶表的字段必须是表字段中的一部分

• row format row_format 行的分隔符以什么字符终止
  row format delimited fields terminated by "," lines terminated by "\n"

• stored as file_format 存储什么文件
  file_format:

  1. textfile 普通文本
  2. sequencefile 序列化文本
  3. rcfile行列存储相结合的文件
  4. 自定义文件格式

• location hdfs_path
  创建表的时候可以指定表的路径。
  内外部表都是可以指定hdfs的存储路径的。
  最佳实践是：如果一份数据已经存储在hdfs上并且要让多个客户端使用，就用外部表。

• set hive.exec.mode.local.auto=true;
  hive尝试本地模式运行
  会话断或者reset就自动失效;

• 复制表
  create table student_1 like student;
  复制一张表的定义，不包含数据

• CTAS
  create table .... as select ...

• set property
  查看配置文件

6个表DDL的例子

• 创建内部表：create table student (id int, name string) row format delimited fields terminated by ',';

• 创建外部表： create external studen_ext row format delimited fields terminated by ',' location '/hive/student';
  desc 表名就可以看到表结构是externaltable

• 分区表：
  create table student_ptn(id int , name string) partitioned by (city string) row format delimited fields terminated by ','

  create table t01_ptn02 (count int) partitioned by (username string,month string) row format delimited fields terminated by ',';

  添加分区：alter table student_ptn add partition(city="beijing")

  city 是分区字段，如果有还有如zip那目录结构就是/city=beijing/zip=10011

  分区字段不能使用表中存在的字段
  如果某张表是分区表，某个分区就是这张表目录下的一个分区目录
  数据文件只能放在分区文件夹中，不能放在表文件夹下。

  查看分区： show partitions student_ptn;

• 分桶表
  create table studen_bck (id int , name string) clustered by (id) sorted by (id asc,name desc) into 4 buckets row format delimited fields terminated by ','

• 使用CTAS创建表
  就是从一个查询sql结果来创建一个表进行存储
  create table studnet_ctas as select * from student where id <10;

• 复制表结构
  create table sut_copy like student;

  无论被复制的表是内部表还是外部表，如果在table的前面没有加exteral那么复制出来的新表都是内部表

查看命令

show tables;
show tables in dname;
show tables like 'stu*';//使用正则表达式

• 查看表的详细信息
  desc studnet;
  desc extended student;
  desc formatted student;
  show partitions stu; //查看分区信息

• show functions;//查看函数

• desc function extended substring;//查看函数用法

• show create table stu;//查看建表的详细语句

修改表

1. 修改表名
   alter table stu rename to new_stu;

2. 修改字段定义

   • 增加一个字段
     alter table stu **add columns **(sex string,age int);
   • 修改一个字段定义
     alter talbe stu change age new_age string;
   • 删除一个字段
     不支持
   • 替换所有字段
     alter table stu replace columns(id int,name string);
     int类型可以转成string，string转不成int
     但hive-1.2.2版本可以任意替换
     hive schema on read //hive是读模式的数据仓库
   • 修改分区信息

     • 添加静态分区：alter table stu_ptn add partioner(city="chongqing") partioner(city="kunming") ......;

     • 修改分区
       一般来说只会修改分区数据的存储目录alter table stu_ptn partioner(city='beijing') set location '/stu_ptn_beijing';

     • 删除分区
       alter table stu_ptn drop partition (city='beijing')

3. 清空表
   truncate table stu;

4. 删除表
   drop table stu;

DML数据操纵语言

导入数据

1. load方式装载数据
   hive模式是读模式，可以导入任何数据

   • load data local inpath "/home/" into table student;
     从Linux本地导入数据到student表中。
     会把数据文件上传进/user/hive/warehouse/student

   • load data inpath "/stu/test.txt" into table stu;
     从hdfs上导入数据
     如果数据已经在hdfs上，就不要再创建内部表。
     因为这样会把这份数据移动到/user/hive/warehouse/目录下
     内部表删除时就会把这份数据删掉。

   • hadoop fs -put file user/hive/warehouse/studnet/
     直接上传到上传到hive表中

   • load data local inpath "....." overwrite into talbe;
     覆盖导入

2. inser 方式插入数据
   • insert into student (id,name,sex,age,department)values(1111,'ss','f',12,'nn'),(xx,xxx,xxx,);
     insert方式，首先创建一张零时表如values_tmp_table_1 来保存inser语句的结果，然后再将记录插入到表中
   • insert into table student_c select *from student where age<=18;

多重插入

1. 创建一张分区表create table stu_ptn_age(id int,name string, sex String )partioned by （age int）.....
2. 从stu表中，把数据分成三类，插入到stu_ptn这张表的三个分区中：
   导入数据到分区表时，这个分区可以不存在。会自动创建

   insert into table  stu_ptn_age partition(age=18) select id,name,sex,department from student where age <=18;
   insert into table  stu_ptn_age partition(age=19) select id,name,sex,department from student where age =19;
   insert into table  stu_ptn_age partition(age=20) select  id,name,sex,department from student where age >=20;
   

   这种方式比较耗时

• 可以使用多重插入来降低任务复杂度
  主要减少的是原表的数据扫描次数

    from sudent
    insert into table stu_ptn_age partition(age=18) select id,name,sex,department where age<=18 ;
    insert into table stu_ptn_age partition(age=19) select id,name,sex,department where=19;
    insert into table stu_ptn_age partition(age=20) select id,name,sex,department where >=20;
  

• 清空表truncate时不会清空age=xx的分区信息

• select * from stu_ptn;
  分区字段也会显示。
  在使用过程中分区字段和普通字段是一样的。

• 分区的信息存储在partition表中

问题： 如果真实的需求是每一个年龄一个分区？

动态分区插入

1. 创建一张测试表：create stu_ptn_dpt .....partition by (department string)....
2. 插入数据会报错：insert into table t01_ptn partition(username,month) select count,username,month from table01;
3. set hive.exec.dynamic.partition.mode=nonstrict
   如果一张表有多个分区字段：那么在进行动态分区插入是，一定要有一列是静态分区；如果不像受这样的限制就把模式设置为nonstrict。

• 如果往分区表中插入数据，不要使用load方式，这容易使分区内的数据混乱，除非在非常确定的情况下

3. insert方式导出数据
   insert overwrite local directory "/home/hadoop/tem/stu_le18" select * from student where age<=18;
   这种方式要注意路径，因为是overwriter
   在查看到处数据时使用：sed -e 's/\x01/\t/g' file.txt 替换默认的Ctrl+a字段分隔符。

字符串替换：s命令
sed 's/hello/hi/g' sed.txt              
##  在整行范围内把hello替换为hi。如果没有g标记，则只有每行第一个匹配的hello被替换成hi。

多点编辑：e命令
sed -e '1,5d' -e 's/hello/hi/' sed.txt
##  (-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用hello替换hi。
命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。

sed --expression='s/hello/hi/' --expression='/today/d' sed.txt
##  一个比-e更好的命令是--expression。它能给sed表达式赋值。

查询

1. distinct去重

2. show function;271个内置函数--2.3.3
   UDF 单行函数，输入1，输出1；
   UDAF 多对一函数，输入n 输出1
   UDTF 一对多函数 输入1，输出n

3. 不支持update和delete
   因为是hive是数据仓库，联机事务分析

4. 支持in 和 exits
   select * from student where in (18,19)
   老版本不支持，hive推荐使用semi join半连接

5. 支持 case when

select id,t_job,t_edu **case** t_edu 
when "硕士" then 1 
when "本科" then 2 
else 3 
end as level 
from lagou limit 1,100;

select count(distinct age )from join .. on ..where ... goup by ... having ... cluster by ...distribute by ..sort by .. order by ... limit ....

4. order by 全局排序 select * from studnet order by age desc

5. sort by
   局部排序，每个分区内有序，但是你会发现同一个age的条目会被分到不同分区中，因为没有进行hash散列。
   一个sql就是一个mr程序，局部排序就是指，有多个reduceTask执行的话，那么最终，每个reduceTask的结果是有序的，如果只有一个reduceTask sort by = order by
   set mapreduce.job.reduces =3;
   select * from student sort by age desc;
   如果使用* 号查询出来的是随机进行分区的。

6. distribute by
   分桶操作
   select * from student distribute by age sort by age desc;
   分桶就是把age求hash值之后模以桶数得到的结果就知道要分到哪个桶中，分桶的个数就是reduceTask的个数。
   sort by是进行局部排序，所以每个桶中的数据是有序的

7. cluster by
   cluster by age = distribute by age sort by age;
   distribute by id sort by id,age != cluster by id sort by age;
   cluster by 不能和sort by 同用。
   如果要散列一个字段之后进行多个分区的排序只能用distributed和sort组合。