Hadoop2.7.1伪分布式配置

Hadoop2.7.1伪分布式配置

前言
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。这里主要讲解在CentOS6.5环境中Hadoop的伪分布式安装配置。

01. 关闭防火墙

临时关闭:

service iptables stop

永久关闭:

chkconfig iptables off

02. 需要修改主机名,要求主机名中没有“_”和“-”

vim /etc/sysconfig/network

修改HOSTNAME选项,例如

HOSTNAME=hadoop01

保存退出,重新生效

source /etc/sysconfig/network

03. 将IP和主机名进行映射:

vim /etc/hosts

添加IP 主机名,例如

192.168.245.130 hadoop01

保存退出

04. 重启

reboot

05. 产生密钥

ssh-keygen

免密互通,需要盲敲密码

ssh-copy-id root@hadoop01

06. 如果没装JDK,先安装JDK,然后下载Hadoop的压缩包

07. 解压Hadoop的安装包

tar -xvf hadoop-2.7.1_64bit.tar.gz

08. 进入hadoop安装的目录的etc/hadoop目录下

cd hadoop-2.7.1/etc/hadoop

09. 修改hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/home/presoftware/jdk1.8
export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop

保存退出,并且重新生效

source hadoop-env.sh

10. 编辑core-site.xml

vim core-site.xml

添加:

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/software/hadoop-2.7.1/tmp</value>
</property>

11. 编辑hdfs-site.xml

vim hdfs-site.xml

添加:

<property>
    <name>dfs.replication</name>
	<value>1</value>
</property>

12. 复制mapred-site.xml.template

cp mapred-site.xml.template mapred-site.xml

编辑mapred-site.xml

vim mapred-site.xml

添加:

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

13. 编辑yarn-site.xml

vim yarn-site.xml

添加:

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

14. 编辑slaves文件

vim slaves

添加主机名,例如:

hadoop01

15. 配置环境变量

vim /etc/profile

添加:

export HADOOP_HOME=/home/software/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出,并且重新生效

source /etc/profile

16. Hadoop第一次启动之前需要格式化:

hadoop namenode -format

17. 启动Hadoop

start-all.sh

如果启动成功,则通过jps命令,能查看到6个进程:

Jps
NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

可以通过50070以及8088端口访问

注意:

  1. 如果少了XXXNode,那么修改core,hdfs,删除hadoop-2.7.1/tmp,然后重新格式化重新启动
  2. 如果XXXXManager,那么修改mapred,yarn,重新启动
  3. 命令找不到,hadoop-env.sh配置错误,profile配置错了

你可能感兴趣的:(SpringCloud)