Cloudera Manager 装配小型Hadoop集群

Cloudera Manager 安装小型Hadoop集群

Cloudera提供了几种安装方法,具体可以参见Cloudera文档。这里我介绍的方法是用Cloudera Manager来安装。Cloudera Manager提供三种选项,区别可见Cloudera文档:

  • Free edition
  • 60 Days trial of enterprise edition, 60天以后自动切换为free edition
  • Enterprise edition

环境:

  • OS X Mountain Lion
  • VMWare Fusion
  • Cent OS 6.2
  • Cloudera Manager 4.5 , the latest version at present
  • 安装三台虚拟机作为三个节点,都使用命令行界面,因为我的笔记本资源有限,使用图形界面太耗资源。

首先,利用VMWare安装一台命名为Base虚拟机,只安装最基本的软件,这里我安装了perl和openssh-clients,关闭iptables,SELinux。注意事项如下:

  • 取消VMWare easy install,网卡使用Bridge模式。在启动界面,选择适合的内核再进入编辑模式,输入expert text,使用文本界面安装。安装过程中根据自己需要选择合适的CPU数量,内存大小。
  • 安装完毕,现在需要设置Cent OS。因为我们是用全文本模式安装,重启之后网卡还需要作一些设置才能启动。
    #vi /etc/resolve.conf
    search example.com
    nameserver 192.168.1.1
     
    #vi /etc/sysconfig/network
    NETWORKING=yes
    HOSTNAME=changelater.example.com
    GATEWAY=192.168.1.1
     
    #vi /etc/selinux/config
    SELINUX=disabled
    
     
    #chkconfig iptables off
     
    #vi /etc/sysconfig/network-scripts/ifcfg-eth0
    DEVICES=eth0
    ONBOOK=yes
    PROTO=static
    IPADDR=192.168.1.200
    NETMASK=255.255.255.0
     启动网卡:
    #/etc/init.d/network restart
     
    #yum -y perl openssh-clients
     然后安装VMWare-Tools,略过,网上教程一搜一把。
    #vi /etc/hosts
    
    192.168.1.201 n1.example.com n1
    192.168.1.202 n2.example.com n2
    192.168.1.203 n3.example.com n3
     
    #ssh-keygen 两次回车
    #cd .ssh
    #cp id_rsa authorized_keys
    #vi /etc/ssh/ssh_config
    StrictHostKeyChecking no
    
     
    yum update
     到此,base准备完毕。这个节点最好备份一下,将来稍作设置就可以作为新的节点加入集群。
  • 用VMWare制作Base节点的三个拷贝,cdh4-1, cdh4-2, cdh4-3,这样就有了三个节点。
  • 启动cdh4-1,cdh4-2,cdh4-3。并分别设置,这里我以cdh4-1为例。
    #vi /etc/sysconfig/network
    HOSTNAME=n1.example.com
     
    #cd /etc/sysconfig/network-scripts
    #mv ifcfg-eth0 ifcfg-eth1
    #vi ifcfg-eth1
    IPADDR=192.168.1.201
     
    #/etc/init.d/network restart
    #init 6

你可能感兴趣的:(cdh)