Impala CDH5.14.0安装部署
因为impala没有提供tar包供我们进行安装，只提供了rpm包，所以我们在安装impala的时候，需要使用rpm包来进行安装，rpm包只有cloudera公司提供了，所以我们去cloudera公司网站进行下载rpm包即可，但是另外一个问题，impala的rpm包依赖非常多的其他的rpm包，可以一个个的将依赖找出来，也可以将所有的rpm包下载下来，制作成我们本地yum源来进行安装。我们这里就选择制作我们本地的yum源来进行安装
下载依赖包
http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz
挂载一块新磁盘
df -lh
fdisk -l
开始分区
fdisk /dev/sdb 这个命令执行后依次输 n p 1 回车 回车 w
fdisk -l
格式化我们的分区
mkfs -t ext4 -c /dev/sdb1 格式化我们的分区
mkdir /data02
将我们的分区挂载到/data02目录下
mount -t ext4 /dev/sdb1 /data02
df -lh
将我们的挂载磁盘设置开机启动，避免开机之后挂载的磁盘就没了
echo "/dev/sdb1 /data02 ext4 defaults 0 0" >> /etc/fstab
挂载完成后在安装MySQL的节点确定MySQL已经启动。
制作本地yum源
yum -y install httpd
service httpd start
cd /etc/yum.repos.d
vim localimp.repo
# 写入以下内容
[localimp]
name=localimp
baseurl=http://*.*.*.*/cdh5.14.0/
gpgcheck=0
enabled=1
创建Apache httpd的读取链接
ln -s /data02/cdh/5.14.0 /var/www/html/cdh5.14.0
将制作好的localimp配置文件发放到所有需要安装impala的节点上去
以3台节点为例，安装规划
| 服务名称 | node01 | node02 | node03 |
|---|---|---|---|
| impala-catalog | 不安装 | 不安装 | 安装 |
| impala-state-store | 不安装 | 不安装 | 安装 |
| impala-server | 安装 | 安装 | 安装 |
主节点node03执行以下命令进行安装
yum install impala -y
yum install impala-server -y
yum install impala-state-store -y
yum install impala-catalog -y
yum install impala-shell -y
从节点node01与node02安装以下服务
yum install impala-server -y
配置Impala
修改hive-site.xml
vim /hive-1.1.0-cdh5.14.0/conf/hive-site.xml
- 添加以下参数
<property>
<name>hive.metastore.urisname>
<value>thrift://node03.hadoop.com:9083value>
property>
<property>
<name>hive.metastore.client.socket.timeoutname>
<value>3600value>
property>
配置完之后分发到所有的节点之上
scp hive-site.xml node01:$PWD
scp hive-site.xml node02:$PWD
node03 启动Hive的metadata服务
后台启动
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &
一定要保证mysql的服务正常启动，否则metastore的服务不能够启动
所有hadoop节点修改hdfs-site.xml
# 所有节点创建
mkdir -p /var/run/hdfs-sockets
- 在hdfs-site.xml添加以下内容
vim /hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.client.read.shortcircuitname>
<value>truevalue>
property>
<property>
<name>dfs.domain.socket.pathname>
<value>/var/run/hdfs-sockets/dnvalue>
property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millisname>
<value>10000value>
property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabledname>
<value>truevalue>
property>
注意权限问题
chown -R hadoop:hadoop /var/run/hdfs-sockets/
重启hdfs
创建hadoop与hive的配置文件的连接
所有节点执行以下命令创建链接到impala配置目录下来
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml
ln -s /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
ln -s /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf/hive-site.xml
所有节点修改impla默认配置
vim /etc/default/impala
IMPALA_CATALOG_SERVICE_HOST=node03
IMPALA_STATE_STORE_HOST=node03
所有节点创建mysql的驱动包的软连接
ln -s /hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar
所有节点修改bigtop的java路径
vim /etc/default/bigtop-utils
export JAVA_HOME=/export/servers/jdk1.8.0_141
启动Impala服务
主节点node03启动以下三个服务进程
service impala-state-store start
service impala-catalog start
service impala-server start
从节点启动node01与node02启动impala-server
service impala-server start
浏览器页面访问：
访问impalad的管理界面
http://node03:25000/
访问statestored的管理界面
http://node03:25010/
