CentOs7安装hadoop3(二)

一、准备工作

  1. 配置hadoop环境变量
$ vi /etc/profile
 export HADOOP_HOME=/usr/hadoop
 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
:wq
$ source /etc/profile

然后通过Hadoop version查看结果

二、搭建伪分布式

1.进入配置文件目录

$ cd /usr/hadoop/etc/hadoop/
$ ls

2.配置core-site.xml 文件 vi core-site.xml

// 在<configuration> 标签里面加上以下代码
<property>
     <name>fs.defaultFSname>
     <value>hdfs://localhost/value> //默认端口为:8020;
property>

3.配置hdfs-site.xml 文件 vi hdfs-site.xml

// 在<configuration> 标签里面加上以下代码
<property>
     <name>dfs.replicationname> //副本数
     <value>1value> //伪分布式一额节点
property>

4.配置 mapred-site.xml 文件 vi mapred-site.xml

// 在<configuration> 标签里面加上以下代码
<property>
     <name>mapreduce.framework.namename>
     <value>yarnvalue>
property>

5.配置 yarn-site.xml 文件 viyarn-site.xml

<property>
     <name>yarn.resourcemanager.hostnamename>
     <value>localhostvalue>
property>
<property>
     <name>yarn.nodemanager.aux-servicesname>
     <value>mapreduce_shufflevalue>
property>

6.初始化化hdfs :hadoop namenode -format(这就像从新安装系统一样)

7.启动 start-all.sh

注意:这是甚吗????
这是由于缺少用户定义所以我们要分别对启动和关闭脚本进行配置
8. 配置 start-dfs.sh 和 stop-dfs.sh


//把以下代码复制到文件的空白处 :wq 保存退出
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

9.配置 start-yarn.sh 和 stop-yarn.sh

//把以下代码复制到文件的空白处 :wq 保存退出
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

10.这次在运行 start-all.sh 使用jps查看进程

红框内的5个进程缺一不可,如果没有有一个没有启动,必须关闭所有所有经常,从新启动;

三、SSH安装与使用

  1. 为甚吗要安装SSH?
    众所周知,hadoop是集群部署的,假如你有个上千台服务器,当hadoop互相访问的时候,你一个一个互相输入登陆密码,你是不是会疯。所有SSH就能让你互相免密登陆,解决手动输入密码的问题。
  2. SSH怎么解决的免密登陆问题?
  3. 怎么设置呢?
$ rpm -qa | grep ssh //查询是否安装

如图就是安装了SSH

4.如果没有请通过下面代码安装

$ yum install openssh

5.生成密钥

$ ssh-keygen -t rsa

6.进入ssh密钥目录,把公钥复制一份发往目标主机

$ cd ~/.ssh
$ ls
$ cp id_rsa.pub ~./ssh/authorized_keys //以自身主机为例

7.登陆一下

$ ssh localhost

如图结果,代表成功。

四、尾巴

  1. 如有错误欢迎大家指出,我会及时更正,有什么不懂也可以留言提问,互相交流吗。
  2. 这次搭建遇到了很多问题,如果想最快的解决问题,还是要看它报甚吗错,一个一个错误的排查,这样更能让你快速的解决问题,也能让自己更加进步。如果是在看不懂问题的所在出,请baidu一下,会有网友遇到你也曾经遇到的坑的;
  3. 也许大家觉得这没什么,但是我会认真对待,把它当成我的笔记、心得、这样才能提升自己。

欢迎访问我的个人博客

你可能感兴趣的:(笔记,linux,hadoop)