kudu集群安装配置

本次记录为在线安装kudu,需要所有机器联网。本次安装机器为三台虚拟机:

master节点:

  • 192.168.20.133

tserver节点

  • 192.168.20.133
  • 192.168.20.134
  • 192.168.20.135

所有节点最好关闭防火墙,或打开特定端口,否则读取tablet可能会出问题

所有节点配置NTP服务

NTP服务即Network Time Protocol网络时间服务,是用来同步集群中各个服务器的时间的协议。如果集群中的各个主机时间不同步可能会产生各种问题。

本集群中选择使用192.168.20.133主节点为时钟同步服务器,其他节点为客户端同步时间到该节点。

安装NTP

每个节点执行:

yum -y install ntp

修改配置文件

  • 每个节点执行

    vi /etc/ntp.conf
    

    注释掉以下四行:

    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    
  • 修改192.168.20.133节点上的配置文件

    vi /etc/ntp.conf
    

    加入如下内容

    restrict 192.168.20.0 mask 255.255.255.0 notrap nomodify   # 给192.168.20.0网段,子网掩码为255.255.255.0的局域网机的机器有同步时间的权限
    server  192.168.20.133   prefer                            # prefer代表优先使用此ip做同步
    server 127.127.1.0                                         # 当所有服务器都不能使用时,使用本机作为同步服务器
    fudge   127.127.1.0 stratum 10
    
  • 修改192.168.20.134和192.168.20.135节点上的配置文件

    vi /etc/ntp.conf
    

    加入以下内容

    server  192.168.20.133 prefer
    server  127.127.1.0
    fudge   127.127.1.0 stratum 10
    

启动NTP服务

service ntpd start

chkconfig ntpd on

检验

检查ntp服务是否成功输入:ntpstat

输出如下则启动成功并且同步已完成

synchronised to local net at stratum 11 
time correct to within 11 ms
polling server every 64 s

安装kudu

本步骤操作需要每个节点都执行

安装依赖

yum -y install cyrus-sasl-plain lsb

配置kudu的yum源

cd /etc/yum.repos.d

如果为CentOS6或RHEL 6,则执行:

wget http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/cloudera-kudu.repo

如果为CentOS7或 RHEL 7 ,则执行:

wget http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/cloudera-kudu.repo

下载安装kudu

yum install kudu kudu-master kudu-tserver kudu-client0 kudu-client-devel -y

配置并启动kudu

安装完成,在/etc/kudu/conf目录下有两个文件:master.gflagfile和tserver.gflagfile

本文使用192.168.20.133作为kudu-master,192.168.20.133、192.168.20.134和192.168.20.135作为kudu-tserver节点

所以192.168.20.133节点需要修改master.gflagfile和tserver.gflagfile文件,而192.168.20.134和192.168.20.135只需要修改tserver.gflagfile文件

  • 修改kudu-master启动配置

    vi /etc/default/kudu-master
    

    修改以下内容,主要是修改ip:

    export FLAGS_rpc_bind_addresses=192.168.20.133:7051
    
  • 修改每个节点的kudu-tserver启动配置

    vi /etc/default/kudu-tserver
    

    修改以下内容,主要是修改ip为当前节点ip

    export FLAGS_rpc_bind_addresses=192.168.20.133:7050
    
  • master.gflagfile的配置修改

    --fromenv=rpc_bind_addresses
    --fromenv=log_dir
    
    --fs_wal_dir=/data/lib/kudu/master
    --fs_data_dirs=/data/lib/kudu/master
    --default_num_replicas=1        # 此参数可以调整备份数量,默认为3
    
  • tserver.gflagfile 的配置修改

    --fromenv=rpc_bind_addresses
    --fromenv=log_dir
    
    --fs_wal_dir=/data/lib/kudu/tserver
    --fs_data_dirs=/data/lib/kudu/tserver
    --tserver_master_addrs=192.168.20.133:7051   # 此参数指定master
    

    注意,这里的–tserver_master_addrs指明了集群中master的地址,指向同一个master的tserver形成了一个kudu集群

  • 创建master.gflagfile和tserver.gflagfile文件中指定的目录,并将所有者更改为kudu,执行如下命令:

    mkdir -p /data/lib/kudu/master /data/lib/kudu/tserver
    
    chown -R kudu:kudu /data/lib/kudu/
    
  • 修改 /etc/security/limits.d/90-nproc.conf 文件,解除kudu用户的线程限制

    vi /etc/security/limits.d/90-nproc.conf
    

    加入以下两行内容

    kudu       soft    nproc     unlimited
    impala     soft    nproc     unlimited
    
  • 启动kudu

    master节点(192.168.20.133)执行:

    service kudu-master start
    service kudu-tserver start
    

    192.168.20.134和192.168.20.135执行:

    service kudu-tserver start
    

验证kudu集群是否可用

下载kudu可视化管理工具:访问链接,页面底部下载kudu-plus。

通过连接、创建表、添加数据和检索数据等操作即可测试集群是否可用。

你可能感兴趣的:(java,实用散知识)