CentOS6.5下搭建Hadoop环境详细步骤

1.搭建Hadoop环境需要先安装和测试JDK,具体步骤可以参考

http://blog.csdn.net/zp8126/article/details/78205854

2.下载hadoop-2.6.5.tar.gz

  可以在官网下载:http://hadoop.apache.org/#Download+Hadoop

也可以在CSDN下载:http://download.csdn.net/download/zp8126/10016375

3.cd /opt/software进入存放软件包目录。(此目录是自己创建的用来专门存放安装包的目录)

4.使用xshell客户端的rz命令上传到linux服务器(虚拟机安装的linux),界面如下图:

 CentOS6.5下搭建Hadoop环境详细步骤_第1张图片

5.cp hadoop-2.6.5.tar.gz /usr/hadoop拷贝文件到/usr/hadoop目录下

6.进入/usr/hadoop/目录

a) tar -xvf hadoop-2.6.5.tar.gz解压到当前目录下

b) cd hadoop-2.6.5进入目录,ls列表查看安装目录下的文件。如下图:

CentOS6.5下搭建Hadoop环境详细步骤_第2张图片

7.切换进入/usr/hadoop/hadoop-2.6.5/etc/hadoop/如下图:

 CentOS6.5下搭建Hadoop环境详细步骤_第3张图片

8.vi hadoop-env.sh,添加内容:export JAVA_HOME=/usr/java/jdk1.8.0.144,如下图:

 CentOS6.5下搭建Hadoop环境详细步骤_第4张图片

9.$hadoop_home/etc/hadoop目录下执行命令vi core-site.xml,并修改文件core-site.xml,添加内容如下:

fs.default.name

hdfs://zhang:9000

fs.defaultFS

hdfs://zhang:9000

hadoop.tmp.dir

/hadoop/temp/

10.$hadoop_home/etc/hadoop目录下执行命令vi hdfs-site.xml编辑文件,内容如下:

dfs.replication

1

dfs.name.dir

/hadoop/hdfs/name

dfs.data.dir

/hadoop/hdfs/data

11.$HADOOP_HOME/etc/hadoop目录下查看是否有配置文件mapred-site.xml文件。默认下没此文件,可以通过重命名mv mapred-site.xml.template mapred-site.xml改成此文件名。然后vi mapred-site.xml修改此文件内容:

mapreduce.framework.name

yarn

12.$HADOOP_HOME/etc/hadoop目录下执行命令vi yarn-site.xml,修改内容如下:

yarn.resourcemanager.hostname

zhang

yarn.nodemanager.aux-services

mapreduce_shuffle

13.执行命令vi /etc/profile,Hadoop的安装目录配置到环境变量中,

JAVA_HOME=/usr/java/jdk1.8.0_144

HADOOP_HOME=/usr/hadoop/hadoop-2.6.5

 

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

export PATH JAVA_HOME CLASSPATH

14.然后执行source /etc/profile,让配置文件生效。

15.格式化NameNode。在任意目录下(配置Hadoop环境变量的情况下)执行命令

Hdfs namenode -format或者hadoop namenode -format,实现格式化。

执行结束后,如图:

 CentOS6.5下搭建Hadoop环境详细步骤_第5张图片

16.启动hadoop进程,首先执行start-dfs.sh(注意中间没有空格);没有配置ssh免密登录之前,会不停的需要输入yes和密码,最后界面如图:

 CentOS6.5下搭建Hadoop环境详细步骤_第6张图片

17.输入命令service iptables stoo,关闭防火墙后,打开浏览器输入:

http://192.168.1.219:50070/就可以进入如下界面

 CentOS6.5下搭建Hadoop环境详细步骤_第7张图片

 

18.启动yarn,执行start-yarn.sh启动yarn计算进程。

 CentOS6.5下搭建Hadoop环境详细步骤_第8张图片

同样在浏览器中:http://192.168.1.219:8088/打开主页面:

 CentOS6.5下搭建Hadoop环境详细步骤_第9张图片

19.问题总结

a) 在上面配置的一系列*-site.xml中用的主机名都可以更换为ip.

b) 如果使用主机名配置时,需要注意修改系统主机名和映射文件

 CentOS6.5下搭建Hadoop环境详细步骤_第10张图片

c) 修改主机名:vi /etc/sysconfig/network

HOSTNAME=wang

d) 配置映射

 

 e) 重启reboot,之后就可以使用主机名访问了 ,但是使用主机名访问只能虚拟机内

有效。外部主机访问还是需要ip

f) 另外注意:启动yarndfs时,如果不想重复输入密码,则需要进行ssh免密码登录配置。

 

你可能感兴趣的:(CentOS6.5下搭建Hadoop环境详细步骤)