hadoop(2)--伪分布式集群安装

1,将hadoop安装包上传到服务器上,我采用的是2.4.1,是一个比较老的版本,能说明问题就可以啦,解压:tar -zxvf hadoop-2.4.1.tar.gz -C app/ 将安装包解压到app目录下


hadoop(2)--伪分布式集群安装_第1张图片

现在进入app中的hadoop-2.4.1,认识一下hadoop都有什么东西


hadoop(2)--伪分布式集群安装_第2张图片

进入etc配置文件  cd etc/hadoop


hadoop(2)--伪分布式集群安装_第3张图片

还有一个hadoop-env.sh这个是hadoop的环境配置,正式开车,撸起袖子配置

①,要给hadoop配置jdk,因为hadoop使用java开发的,肯定需要jdk,好了安装jdk

将下载的jdk上传到服务器并解压

tar -zxvf jdk-8u161-linux-x64.tar.gz -C app/

配置环境变量

sudo vi /etc/profile


在末尾加上

export JAVA_HOME=/home/songlj/app/jdk1.8.0_161

export PATH=$PATH:$JAVA_HOME/bin


hadoop(2)--伪分布式集群安装_第4张图片

生效:source /etc/profile

测试是否安装成功java -version

hadoop(2)--伪分布式集群安装_第5张图片

如上图,则说明安装成功!

接下来就是配置hadoop的环境   vi hadoop-env.sh


hadoop(2)--伪分布式集群安装_第6张图片

修改JAVA_HOME


hadoop(2)--伪分布式集群安装_第7张图片

修改完,保存,进入第二部

②,核心配置,core-site.xml


hadoop(2)--伪分布式集群安装_第8张图片

③,修改hdsf-site.xml


hadoop(2)--伪分布式集群安装_第9张图片

④,配置mapred-sit.xml

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml


hadoop(2)--伪分布式集群安装_第10张图片

⑤,配置yarn,[资源调度的框架]yarn-site.xml


hadoop(2)--伪分布式集群安装_第11张图片

这样就配置完了

文件系统初次使用需要格式化,hdfs也不例外

hdfs namenode -format

hadoop(2)--伪分布式集群安装_第12张图片

看到successfully就是格式化成功了

那么现在就启动 start-dfs.sh


hadoop(2)--伪分布式集群安装_第13张图片

每次询问都需要输入密码,依次是nameNode   datanode   secondNameNode


hadoop(2)--伪分布式集群安装_第14张图片

测试yarn   start-yarn.sh


hadoop(2)--伪分布式集群安装_第15张图片


hadoop(2)--伪分布式集群安装_第16张图片

到这里伪分布式集群已经安装完毕

望指正,不吝赐教

你可能感兴趣的:(hadoop(2)--伪分布式集群安装)