Hive安装配置

Hive安装配置

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

上面还是书面语，hive 是数据仓库，不是数据库，主要面向数据分析和数据挖掘任务，它仅仅是查询其它地方的数据，而本身并不负责存储，不仅如此，即使是元数据（比如表结构、表的相关信息）它都不负责，而是需要其它的关系型数据库来存储，比如mysql,它自身也有一个derb数据库，所以你可以选择元数据的存储工具。

hive的安装有三种模式，local模式、单用户模式和多用户模式，在此我就先尝试local模式使用自带的数据库，其它后续补充。开始干。

• 1、同样开启master机器（仅安装在master上），将apache-hive-2.3.2-bin.tar利用FlashFTP上传到master的/home/hadoop目录。

• 2、在/home/hadoop目录下输入命令，解压hive到/usr/local目录下，执行命令
  sudo tar –xzvf apache-hive-2.3.2-bin.tar –C /usr/local

• 3、进入到/usr/local目录下，修改文件名，执行命令
  sudo mv apache-hive-2.3.2-bin hive

• 4、修改hive文件所有者为hadoop用户，执行命令
  sudo chown -R hadoop:hadoop hive

• 5、修改/usr/local/hive/conf目录下的配置文件，首先将配置模板hive-default.xml.template复制为hive-site.xml,命令
  cp hive-default.xml.template hive-site.xml
  这个文件比较长，所以建议把这个hive-site.xml通过FlashFTP传到windows机器上用一些工具来修改

  • 1）、将hive.metastore.schema.verification，修改为false；
  • 2）、创建/usr/local/hive/tmp目录，替换文件中的${system:java.io.tmpdir}
  • 3）、替换${system:user.name}为hadoop
    (以上替换可以使用，查找替换方式)替换之后将hive-site.xml上传到master，替换掉原来的。

• 6、进入/usr/local/hive目录，执行命令schematool -initSchema -dbType derby，初始化数据库，会在这个目录下生成metastore_db，运行hive时需要仍然在这个目录下，否则找不到之前建过的表。

• 7、配置环境变量，输入命令sudo vim /etc/profile,写入

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:/usr/local/hive/bin

保存并退出，执行source /etc/profile使文件生效。

• 8、首先需要启动hdfs,start-dfs.sh,然后在/usr/local/hive目录下，输入命令hive启动hive。