hive基础及系统架构

1、hive是什么

　　hive是建立在hadoop上的数据仓库，提供数据的提取、转化和加载。

2、hive的数据存储

　　1】hive的数据存储基于hdfs

　　2】存储结构主要包括：数据库、文件、表、索引、视图

　　3】hive默认可以直接加载文本文件（TextFile）,还支持SecquenceFile、RCFile

　　4】创建表时，指定hive数据的列分隔符与行分隔符，hive即可解析数据

3、hive的系统架构

　　

　　1）、用户接口：包括jdbc、cli、webui

　　2）、元数据存储：通常存储在关系数据库中，如mysql、derby

　　　　例：存储元数据到mysql中：

a  安装MySQL数据库

     yum install -y mysql-server mysql mysql-deve

b、重启mysql服务

     service mysqld restart

c、登陆MySQL，并授予权限

     mysql -u root -p ***

    分配权限：grant all privileges on *.* to 'root'@'hadoop-yarn' identified by 'root123';

    刷新权限：flush　privileges

d、创建hive专用的元数据库：“hive”

            create database hive;

        e.hive的hive-site.xml的配置

 

  javax.jdo.option.ConnectionURL
 jdbc:mysql://192.168.1.121:3306/hive?characterEncoding=utf-8
 JDBC connect string for aJDBCmetastore


 javax.jdo.option.ConnectionDriverName
 com.mysql.jdbc.Driver
 Driver class name for aJDBCmetastore


 javax.jdo.option.ConnectionUserName
 hive
 username to use againstmetastoredatabase


 javax.jdo.option.ConnectionPassword
 hive
 password to use againstmetastoredatabase


 hive.metastore.schema.verification
 false

 

　　3）、解释器、优化器、编译器、执行器

　　4）、Hadoop：用hdfs进行存储，mapreduce进行计算

 

转载于:https://www.cnblogs.com/kwzblog/p/7466612.html