大数据集群安装（1、分布式集群准备工作）

分布式集群准备工作安装手册

一、VMare Workstation的安装

二、Ubuntu的安装(必须所有系统的用户名相同,主机名不同)

三、联网

四、设置HOST:

Sudo vi/etc/hosts

#for hadoop
10.28.23.116    ubuntu0
10.28.23.117    ubuntu1
10.28.23.111    ubuntu3
10.28.23.113    ubuntu4
10.28.23.115    ubuntu2
10.28.23.135    ubuntu5
10.28.23.125    ubuntu6
10.28.23.128    ubuntu7
10.28.23.121    ubuntu9
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

 

注释掉localhost等配置：

#127.0.0.1   localhost.localdomain localhost

#::1    localhost6.localdomain6 localhost6

 

设置好后安装ssh

sudoapt-get install openssh-server

用scp将hosts文件复制到其他所有机器如：

Scp /etc/hosts ubuntu0:/etc

四、JDK的安装

ubuntu14.04 安装配置jdk1.8

第一步：Oracle官网下载jdk-8u20-linux-x64.tar.gz

第二步：解压安装

sudo mkdir  /opt/hadoop

sudo tar zxvfjdk-8u20-linux-x64.tar.gz -C /opt/hadoop

第三步：修改环境变量

   sudo gedit /etc/profile

添加：

#set javaenvironment

exportJAVA_HOME=/opt/hadoop/jdk1.8.0_20 

exportJRE_HOME=${JAVA_HOME}/jre 

exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    

exportPATH=${JAVA_HOME}/bin:$PATH 

保存退出，输入以下命令使之立即生效。

第四步：配置默认JDK版本

为了将我们安装的JDK设置为默认JDK版本，还要进行如下工作。

执行代码:

sudo update-alternatives--install /usr/bin/java java /opt/hadoop/jdk1.8.0_20/bin/java 300 

sudoupdate-alternatives --install /usr/bin/javac javac/opt/hadoop/jdk1.8.0_20/bin/javac 300 

执行代码：

sudoupdate-alternatives --config java

系统会列出各种JDK版本，如下所示：

sudo update-alternatives--config java 

有 3 个候选项可用于替换 java (提供 /usr/bin/java)。 

  选择       路径     优先级  状态 

  * 0           /usr/lib/jvm/java-6-openjdk/jre/bin/java   1061     自动模式 

 1  /usr/lib/jvm/java-6-openjdk/jre/bin/java   1061     手动模式 

2/usr/lib/jvm/java-6-sun/jre/bin/java      63        手动模式 

 3/usr/lib/jvm/java-7-sun/bin/java          300       手动模式 

     

 要维持当前值[*]请按回车键，或者键入选择的编号：3 

update-alternatives:使用/usr/lib/jvm/java-7-sun/bin/java 来提供 /usr/bin/java(java)，于 手动模式 中。 

第五步：测试

  java-version （会显示如下信息，说明已配置成功）

 java version"1.8.0"

 ava(TM) SERuntime Environment (build 1.8.0-b147)

 JavaHotSpot(TM) Client VM (build 21.0-b17, mixed mode)

第六步：将jdk主目录用scp复制到其他所有机器如：

Scp/opt/hadoop/jdk1.8.0_20 ubuntu0:/opt/hadoop

第七步：将环境变量/etc/profile也复制到其他所有机器如：

Scp/etc/profile ubuntu0:/etc

五、ssh通信

1.建立ssh服务

mkdir ~/.ssh

cd ~/.ssh

2. 生成密钥对

ssh-keygen -t rsa  --------------------然后一直按回车键，就会按照默认的选项将生成的密钥保存在.ssh/id_rsa文件中。

3. cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 

这步完成后，正常情况下就可以无密码登录本机了，即sshlocalhost，无需输入密码。

　4.　$scp .ssh ubuntu0:/home/hadoop   ------把.ssh文件复制到其他所有机器,统一秘钥

 

　5.　$ chmod 644 authorized_keys （这个很重要）  

    执行下面，重启一下ssh服务

       $sudo service ssh restart