阿里云搭建集群的过程记录(一)

参考网址:

1、http://www.bcmeng.com/hadoop-zookeeper-hbase/
(阿里云ECS的Hadoop2.6.0|Zookeeper3.4.6|Hbase0.98.13集群搭建)

2、https://help.aliyun.com/knowledge_detail/6943447.html(安全组和安全组规则介绍)


一、购买服务器

如果是学生,可先进行学生认证

二、SSH登录阿里云

在终端输入:ssh root@你的阿里云实例的公网IP 

三、内网连通+SSH免密码访问


场景:有ABCD四台云服务器,A作为master存在,其他三台为slave,首先要实现A可以SSH免密码访问BCD。

3.1 配置ABCD各自的hostname和hosts文件

这两个文件都在/etc文件夹下,下面以A为例:

hostname文件:A(或其他名字)

hosts文件:A的内网IP   A(必须与A中hostname中的内容一致)
          B的内网IP   B(必须与B中hostname中的内容一致)
          C的内网IP   C(必须与C中hostname中的内容一致)
          D的内网IP   D(必须与D中hostname中的内容一致)

3.2 A和BCD三台机器实现内网互通

具体实现请参考下图(阿里云提供):
![内网互通](https://img-blog.csdn.net/20151227185843526)

3.3 在A上的命令:

ssh-keygen -t rsa (连续三次回车,即在本地生成了公钥和私钥,不设置密码)

ssh root@B/C/D的公网IP "mkdir .ssh;chmod 0700.ssh"        
(需要输入密码, 注:必须将.ssh的权限设为700)

scp ~/.ssh/id_rsa.pub root@B/C/D的公网IP:.ssh/id_rsa.pub (需要输入密码)

ssh root@B(服务器的名字或内网IP) "mkdir .ssh;chmod 0700 .ssh"

scp ~/.ssh/id_rsa.pub root@B(服务器的名字或内网IP):.ssh/id_rsa.pub

3.4 在B上的命令:

touch /root/.ssh/authorized_keys (如果已经存在这个文件, 跳过这条)

chmod 600 ~/.ssh/authorized_keys 
(# 注意: 必须将~/.ssh/authorized_keys的权限改为600, 该文件用于保存ssh客户端生成的公钥,可以修改服务器的ssh服务端配置文件/etc/ssh/sshd_config来指定其他文件名)

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 
(将id_rsa.pub的内容追加到 authorized_keys 中)

3.5 测试
在A上输入:ssh root@B(B服务器的名字或内网IP)
如果配置正确,应该直接登录到了B上

四、安装jdk

1、从官网下载jdk(注意是Ubuntu版本)

2、从本地scp到A服务器(master)
scp local root@A(A服务器的名字或公网IP):/root/hadoop/jdk
local是刚下载好的jdk在本地的路径

3、从A服务器scp到B/C/D(slave)
scp /root/hadoop/jdk root@B(/C/D):/root/hadoop/jdk

4、解压
tar zxvf /root/hadoop/jdk -C /root/hadoop
5、配置环境变量
vi ~/.bashrc
在文件后面添加如下四句:

export JAVA_HOME = /root/hadoop/jdk1.8.0_65
export JRE_HOME = ${JAVA_HOME}/jre
export CLASSPATH = ${JAVA_HOME}/lib:${JRE_HOME}/lib
export CLASSPATH = ${JAVA_HOME}/bin:$PATH

刷新环境变量
source ~/.bachrc
6、测试
java -version

你可能感兴趣的:(hadoop的那些事)