hadoop2.2完全分布式集群+hive+mysql存储元数据配置
一直在忙公司的项目,也没时间学些东西,最近刚闲下来就学一学hive和hbase的东东,本次只讲述hadoop完全分布式环境下用mysql存储元数据的hive的配置
完全分布式集群环境
virtualBox
centos6.4mini hadoop-master 192.168.1.252 master
centos6.4mini hadoop-slave1 192.168.1.251 slave
机子配置不太好 只能两个节点了
1.jdk6+版本安装配置 安装步骤略
2.mysql安装 执行命令yum install mysql-server下载安装好即可,启动mysql服务 service mysqld start,设置root密码,mysqladmin -u root -p password 123456,
3.hive-0.13.1版本 解压到指定目录(/home/yufan/program/hive),
打开hive下conf文件夹,复制一份hive-default.xml.templete文件到当前目录并且重命名为hive-site.xml，打开hive-site.xml，进行简单配置,如下
保存以后讲该文件复制到hadoop的/etc/hadoop/下
在hive-en.sh.templete里边添加jdk和hadoop根目录路径
hive安装到master即可
作为测试环境以上配置够了,生产环境应该会更具业务配置更多.
5.在hadoop集群中格式化后启动集群，然后新建两文件夹作为hive数据缓存目录
hadoop fs -mkdir /home/yufan/hivetmp/tmp
hadoop fs -mkdir /home/yufan/hivetmp/warehouse
6.在/etc/profile文件中添加HIVE_HOME根路径配置,classpath中添加hive文件夹下lib路劲,在path中添加hive文件夹下bin路径,source /etc/profile重建文件使之生效
7.执行以下命令测试hive安装配置
@1.hive 此时会输出一大堆信息 等等。。。。
@2.hive>create database hive_yufan; 此时会提示OK
@3.hive>show databases; 此时会输出hive_yufan
@4.hive>exit;退出
@5.mysql -u root -p 登陆mysql数据库 输入密码,
@6.mysql>show databases;此时会看到数据库hive_yufan以及mysql自带的数据库信息
@7.exit;
@8.浏览器中打开http://192.168.1.252:50070,再打开的网页界面中点击Browse the filesystem,会看到一个table,第一列是可点的,一次点进去是这样的
home/yufan/hivetmp/tmp和warehouse 这两路径在hadoop集群中新建过 而且在hive-site.xml中也曾配置过 是不是很眼熟啊？没错就是这个配置了，
点击warehouse之后就会看到刚才新建的数据库hive_yufan了
8.截图
以上是基本配置,后续学习继续添加，以备日后学习和回顾只用，有不足之处请指正