1.配置Hadoop环境
2.安装MySQL数据库
3.配置MySQL相关
4.上传hive安装包,解压,重命名
5.设置环境变量
6.修改hive配置文件
7.上传MySQL连接驱动
8.初始化元数据
9.启动Hive
我们可以是在伪分布式下安装Hive的,可以先看看伪分布式下的集群环境有没有错误的情况:
输入命令:start-all.sh
jps查看伪分布式的所有进程是否完善
也可以通过浏览器查看集群情况:
1.在地址栏输入http://192.168.204.128:50070查看HDFS分布式文件系统的Web可视化界面#ky002是我的虚拟机的主机名。
2.在地址栏输入192.168.204.128:18088查看Hadoop YARN平台的可视化界面
安装mysql
先检查系统是否装有mysql
rpm -qa | grep mysql
返回空值,说明没有安装
``!
如果没有找到wget命令:
yum install -y wget
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum install mysql-community-server
启动mysql 服务
service mysqld start
进入mysql命令
mysql -p
基本的sql语句回顾
show databases;
退出
exit
yum -y install mariadb*
启动mysql服务
systemctl start mariadb #启动MariaDB
进入mysql命令:
mysql -p
基本的sql语句回顾
show databases;
退出
exit
1.在Mysql中创建数据库存储元数据,在mysql命令窗口输入命令
create database hivedb;
2.给mysql设置密码:
第一种是:
set password for 'root'@'localhost'=password('root');
grant all privileges on *.* to root@'%' identified by 'root' with grant option;
让设置立即生效
flush privileges;
第二种
创建用户bee,密码为123123;
create user 'bee'@'%' identified by '123123';
授权用户bee拥有数据库实例hiveDB的所有权限;
grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';
4.让设置立即生效
flush privileges;
配置好远程连接后,我们可以切换到Windows操作系统,打开可视化MySQL客户端
应用程序,创建新的连接,输入服务器IP地址和远程连接的密码root,测试连接
#### 4.上传hive安装包,解压,重命名
新建文件夹:
mkdir /home/hive
上传Hive安装文件压缩包
rz命令,如果没有rz命令,安装一个yum install -y lrzsz
解压hive安装文件压缩文件
tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /home/hive
重新命名hive压缩文件
lln -s apache-hive-2.1.1-bin hive
vi/etc/profile
在文件末尾增加一段(hive包含bin文件的目录)
export HIVE_HOME=/home/hive/hive
export PATH=${HIVE_HOME}/bin:$PATH
让环境变量生效
source /etc/profile
cd /home/hive/hive/conf #Hive的配置文件目录
修改hive-env.sh
如果没有这个文件
cp hive-env.sh.template hive-env.sh
将以下内容写到hive-env.sh(/etc/profile)
JAVA_HOME=/export/server/jdk1.8#自己的jdk安装目录
HADOOP_HOME=/export/server/hadoop-2.7.2#自己的Hadoop安装目录
export HIVE_HOME=/home/hive/hive
2.删除hive-site.xml 如果没有这个文件,在conf目录,vi hive-site.xml
配置文件如下:
hive-site.xml
配置文件如下:
-
-
javax.jdo.option.ConnectionURL
//所连接的MySQL数据库实例
jdbc:mysql://ky002:3306/hivedb?createDatabaseIfNotExist=true
-
javax.jdo.option.ConnectionDriverName
//连接的MySQL数据库驱动
com.mysql.jdbc.Driver
-
javax.jdo.option.ConnectionUserName
//连接的MySQL数据库用户名
bee
-
javax.jdo.option.ConnectionPassword
//连接的MySQL数据库密码
123123
上传驱动到/home/hive/hive/lib
先:cd /home/hive/hive/lib
rz命令上传
schematool -initSchema -dbType mysql
启动hadoop集群:statr-all.sh
启动mysql服务:service mysqld start
在安装了hive的机器上输入hive
简单查看数据库:Show databases;
hive创建数据库:create database bigdata;
show database;