Hive安装配置及基本操作

1 Hive 安装地址

• Hive 官网地址 http://hive.apache.org/
• 文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted
• 下载地址 http://archive.apache.org/dist/hive/
• github 地址 https://github.com/apache/hive

2 Hive 安装部署

• Hive 安装及配置

  • 把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下

  • 解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面

    tar -zxvf apache-hive-1.2.1-bin.tar.gz -C/opt/module/
    

  • 修改 apache-hive-1.2.1-bin.tar.gz 的名称为 hive

    mv apache-hive-1.2.1-bin/ hive
    

  • 修改/opt/module/hive/conf 目录下的 hive-env.sh.template 名称为 hive-env.sh

    mv hive-env.sh.template hive-env.sh
    

  • 配置 hive-env.sh 文件

    -- 配置 HADOOP_HOME 路径
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    -- 配置 HIVE_CONF_DIR 路径
    export HIVE_CONF_DIR=/opt/module/hive/conf
    

• Hadoop 集群配置

  • 必须启动 hdfs 和 yarn sbin/start-dfs.sh,sbin/start-yarn.sh
  • 在 HDFS 上创建/tmp 和/user/hive/warehouse 两个目录并修改他们的同组权限可写
    • bin/hadoop fs -mkdir /tmp
    • bin/hadoop fs -mkdir -p /user/hive/warehouse
    • bin/hadoop fs -chmod g+w /tmp
    • bin/hadoop fs -chmod g+w /user/hive/warehouse

3 Hive 基本操作

• 启动 hive - bin/hive
• 查看数据库 - hive> show databases;
• 打开默认数据库 - hive> use default;
• 显示 default 数据库中的表 - hive> show tables;
• 创建一张表 - hive> create table student(id int, name string);
• 显示数据库中有几张表 hive> show tables;
• 查看表的结构 hive> desc student;
• 向表中插入数据 `hive> insert into student values(1000,"ss");
• 查询表中数据 hive> select * from student;
• 退出 hive hive> quit;

整体操作和sql很像，需要注意的是，字段类型与mysql并不一样

4 配置Mysql作为元数据存储

• 驱动拷贝

  • cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

• 配置 Metastore 到 MySql

  • 在/opt/module/hive/conf 目录下创建一个 hive-site.xml

    touch hive-site.xml
    vi hive-site.xml
    

  • 根据官方文档配置参数，拷贝数据到 hive-site.xml 文件中https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

    
        
            javax.jdo.option.ConnectionURL
            jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true
            JDBC connect string for a JDBC metastore
        
        
            javax.jdo.option.ConnectionDriverName
            com.mysql.jdbc.Driver
            Driver class name for a JDBC metastore
        
        
            javax.jdo.option.ConnectionUserName
            root
            username to use against metastore database
        
        
            javax.jdo.option.ConnectionPassword
            000000
            password to use against metastore database
        
    
    

• 配置完毕后，如果启动 hive 异常，可以重新启动虚拟机。（重启后，别忘了启

  动 hadoop 集群）