1.搭建Hadoop环境需要先安装和测试JDK,具体步骤可以参考
http://blog.csdn.net/zp8126/article/details/78205854
2.下载hadoop-2.6.5.tar.gz
可以在官网下载:http://hadoop.apache.org/#Download+Hadoop
也可以在CSDN下载:http://download.csdn.net/download/zp8126/10016375
3.cd /opt/software进入存放软件包目录。(此目录是自己创建的用来专门存放安装包的目录)
4.使用xshell客户端的rz命令上传到linux服务器(虚拟机安装的linux),界面如下图:
5.cp hadoop-2.6.5.tar.gz /usr/hadoop拷贝文件到/usr/hadoop目录下
6.进入/usr/hadoop/目录
a) tar -xvf hadoop-2.6.5.tar.gz解压到当前目录下
b) cd hadoop-2.6.5进入目录,ls列表查看安装目录下的文件。如下图:
7.切换进入/usr/hadoop/hadoop-2.6.5/etc/hadoop/如下图:
8.vi hadoop-env.sh,添加内容:export JAVA_HOME=/usr/java/jdk1.8.0.144,如下图:
9.在$hadoop_home/etc/hadoop目录下执行命令vi core-site.xml,并修改文件core-site.xml,添加内容如下:
10.在$hadoop_home/etc/hadoop目录下执行命令vi hdfs-site.xml编辑文件,内容如下:
11.在$HADOOP_HOME/etc/hadoop目录下查看是否有配置文件mapred-site.xml文件。默认下没此文件,可以通过重命名mv mapred-site.xml.template mapred-site.xml改成此文件名。然后vi mapred-site.xml修改此文件内容:
12.在$HADOOP_HOME/etc/hadoop目录下执行命令vi yarn-site.xml,修改内容如下:
13.执行命令vi /etc/profile,把Hadoop的安装目录配置到环境变量中,
JAVA_HOME=/usr/java/jdk1.8.0_144
HADOOP_HOME=/usr/hadoop/hadoop-2.6.5
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
14.然后执行source /etc/profile,让配置文件生效。
15.格式化NameNode。在任意目录下(配置Hadoop环境变量的情况下)执行命令
Hdfs namenode -format或者hadoop namenode -format,实现格式化。
执行结束后,如图:
16.启动hadoop进程,首先执行start-dfs.sh(注意中间没有空格);没有配置ssh免密登录之前,会不停的需要输入yes和密码,最后界面如图:
17.输入命令service iptables stoo,关闭防火墙后,打开浏览器输入:
http://192.168.1.219:50070/就可以进入如下界面:
18.启动yarn,执行start-yarn.sh启动yarn计算进程。
同样在浏览器中:http://192.168.1.219:8088/打开主页面:
19.问题总结
a) 在上面配置的一系列*-site.xml中用的主机名都可以更换为ip.
b) 如果使用主机名配置时,需要注意修改系统主机名和映射文件
c) 修改主机名:vi /etc/sysconfig/network
把HOSTNAME=wang
d) 配置映射
e) 重启reboot,之后就可以使用主机名访问了 ,但是使用主机名访问只能虚拟机内
有效。外部主机访问还是需要ip
f) 另外注意:启动yarn和dfs时,如果不想重复输入密码,则需要进行ssh免密码登录配置。