数据库_2： HIVE

hive架构

• 独立于集群之外，可以视为Hadooop的客户端
• Metastore是Hive的元数据集中存放池

• 用户接口：CLI

• Thrift服务器
  以服务器模式运行，供客户连接
  thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。

• 元数据存储 （METASTORE）
  存储在关系数据库：MySQL中
  存储各种表与分区的信息

• Hive数据存储在HDFS上

hive的数据存储

• 表、分区、桶、外部

HIVE 语法

基本类型

数据类型	长度	示例
TINYINT	1字节	11
SMALLINT	2字节	11
INT	4字节	11
BIGINT	8字节	11
FLOAT	4字节	11.0
DOUBLE	8字节	11.0
BOOLEAN	true/false	TRUE
STRING	字符序列	‘hadoop’

复杂结构

• struct
• map
• array

存储格式

stored as
* TEXTFILE
* SEQUENCEFILE
* RCFILE
* 自定义格式

数据格式

\n......
^A......\001
^B......\002
^C......\003

表

• 创建表： create DATABASE test
• show tables
• DESC tables

分区

PARTITIONED BY

加载数据

load data inpath ‘……’ inti tables test;

插入数据

insert overwrite table test SELECT * FROM source
insert overwrite table test PARTITION (part=’a’ ) SELECT * FROM source

导出数据

INSERT OVERWRITE DIRECTORY ………. hdfs
INSERT OVERWRITE LOCAL DIRECTORY……… 本地

select 、where

GROUP BY

先按照一个列或者多个列分组在，再聚合函数
SLECT COUNT(*) FROM STTUDENT GROUP BY age;

• 查询字段不在group by 则需要使用聚合函数

SELECT name, AVG(age) FROM student GROUP BY classID;

join

ORDER BY /SORT BY

• order by全局排序，必须由一个reduce完成
• sort by 局部排序

distirbuted by

• 类似于partitoned

UDF

add jar /home/hadoop/udf.jar
create temproaary function mycount as ‘….’