系列文章:
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署(2n+1台虚拟机)
第四章 Hadoop高可用集群搭建(HA)
第五章 Hive的安装与配置
待更新
第九章 spark独立模式部署(Standalone)
第十章 spark配置历史服务
第十一章 搭建Spark高可用(HA)
第十二章 spark配置Yarn模式(混合部署模式)
待更新
启动hive前需要开启Hadoop和MySQL。
1、下载hive安装包。
https://archive.apache.org/dist/hive
2、上传到Linux的某个目录下并解压。
3、进入解压后的安装包,执行bin/hive即可使用。
配置完后,请仔细检查配置文件的内容是否正确。
查看是否安装MySQL,没有安装则如下:
1、安装MySQL服务。
下载 mysql、mysql-server、mysql-devel:
yum install mysql mysql-server mysql-devel
无法使用yum,请配置yum仓库,参考 第一章 Hadoop集群搭建的准备。
安装mysql-server报错,执行以下命令后再次安装即可。
rpm -Uvh http://dev.mysql.com/get/mysql-community-release-eI7-5.noarch.rpm
2、启动MySQL服务:
service mysqld start
或者/etc/init.d/mysqld start
3、输入mysql,启动mysql命令行模式,执行以下命令:
(1)设置用户名及密码
use mysql;
update user set Password=password('123456') where user='root';
(2)设置允许远程登录
grant all privileges on *.* to 'root'@'%' identified by '123456' with GRANT option;
(3)强制写入
flush privileges;
4、Hive配置
(1)进入hive安装包的conf文件夹,将hive-env.sh.template配置文件模板重命名为hive-env.sh,并配置Hadoop环境变量,文件中添加以下内容:
export HADOOP_HOME=/export/servers/hadoop-2.7.4
(2)配置hive-site.xml文件
添加:
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>mysql连接协议</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>JDBC连接驱动</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>用户名</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>密码</description>
</property>
</configuration>
(3)将MySQL连接驱动的jar包上传到hive安装包的lib文件夹下。
https://downloads.mysql.com/archives/c-j
例如:mysql-connector-java-5.1.32.jar。
与本地几乎相同,只需要将hive-site.xml文件中的localhost修改为具有MySQL服务的节点IP即可。
1、Hive CLI交互工具
进入hive安装包,执行/bin/hive。
2、远程服务方式
(1)将hive安装包分发给另外两台服务器。(scp命令)
(2)在hadoop01下的hive安装包中执行/bin/hiveserver2。(hive服务启动后窗口无反应,即已启动RunJar进程。)
(3)在hadoop02下的hive安装包中执行远程连接命令/bin/beeline。
输入远程连接协议,连接指定的hive服务(hadoop01)的主机号和端口号(默认10000):
!connect jdbc:hive2://hadoop01:10000
接着输入连接hive服务器的用户名root和密码123456。