【Spark亚太研究院系-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)

  1. 安装ssh

Hadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下:

【Spark亚太研究院系-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)

输入“Y”进行安装并等待自动安装完成。

【Spark亚太研究院系-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)

【Spark亚太研究院系-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)

安装ssh完成后启动服务

以下命令验证服务是否正常启动:

可以看到ssh正常启动;

设置免密码登录,生成私钥和公钥:

【Spark亚太研究院系-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)

在/root/.ssh中生成两个文件:id_rsa和id_rsa.pub,id_rsa为私钥,id_rsa.pub为公钥,我们将公钥id_rsa.pub追加到 authorized_keys中,因为authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容:

看看现在能否免密码登录ssh

输入“yes”继续登录:

【Spark亚太研究院系-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)

表明我们成功登录;

使用以下命令可以退出localhost 

再次登录进localhost的时候就不需要密码了,如下图所示:

【Spark亚太研究院系-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)

你可能感兴趣的:(spark技术,spark课程,spark热点,spark教程)