SSH无密登录配置及群起集群

1.配置ssh

　　a.语法

　　　　ssh另一台电脑的IP地址

　　b.无密钥配置

　　　　1）原理

　　　　

 

 　　　　2）生成公钥和私钥(在hadoop11机子上)

　　　　　　进行hadoop用户的目录下

　　　　　　

 

 　　　　　　命令：ls -al

　　　　　　

 

 　　　　　　进行.ssh目录下

　　　　　　　　命令:ssh-keygen -t rsa

　　　　　　　　三次“回车键”就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

　　　　　　　　

　　　　 　　　　将公钥拷贝到要免密登录的目标机器上(在hadoop11机子上),需要输入密码

 

　　　　　　　　　　ssh-copy-id hadoop12

　　　　　　　　　　ssh-copy-id hadoop13

　　　　　　　　如果连接本机，也需要输入密码

　　　　　　　　　　命令： ssh-copy-id hadoop11

　　　　　　　　　　会生成

　　　　　　　　　　

 

　　　　　　　　　　因为使用namenode需要操作其他节点的datanode，所以需要.ssh

 　　　　　　　　　　注意：在hadoop11使用root账号生成一遍公钥私钥

　　　　　　　　　　　　　如没有.ssh文件夹，输入 命令：ssh localhost,然后按照提示输入yes,再输入root的密码就可以生成.ssh文件夹

　　　　　　　　　　　　　在hadoop12使用hadoop账号生成公钥私钥，因为resourceManager需要控件其他节点上的nodemanager

2.群起集群

　　a.配置slaves

　　 修改vi slaves (在$HADOOP/etc/hadoop/slaves目录 下)

　　在该文件中增加以下内容

　　　　hadoop11

　　　　hadoop12

　　　　hadoop13

　　配置完后，用xsync slaves 命令同步其他机器上

　　注意：如之前有未关闭的datanode,namenode，需要先关闭

　　　　命令：hadoop-daemon.sh stop datanode

　　　　　　　hadoop-daemon.sh stop namenode

　　 b.启动集群

       　　1)如果集群是第一次启动，则需要格式化namenode(格式化前，一定要先停止上次启动的所有namenode和datanode进程 ，然后再删除data和log数据)

　　　　　　hdfs namenode -format

　　　　2)启动HDFS(在hadoop11机器下)

　　　　　　start-dfs.sh (该命令包含NameNode,DataNode,SecondaryNameNode)

　　　　3)启动YARN(在hadoop12机器下)

　　　　　　start-yarn.sh

　　c.集群停止

　　　　1）分别启动、停止HDFS

　　　　　　start-dfs.sh / stop-dfs.sh

　　　　2) 启动、停止YARN

　　　　　　start-yarn.sh / stop-yarn.sh