搭建单节点Hadoop应用环境

虚拟机: VirtualBox 5

Server操作系统: 
Ubuntu Server 14.04.3 LTS

如果对虚拟机空间和性能不做考虑, 且不习惯用Linux命令, 你也可以使用Ubuntu Desktop版本, 配合VirtualBox的增强功能包, 操作简便, 可实现和主机相互拖拽文件, 以及共享剪贴板等等, 但虚拟机的资源消耗较大.
也可以使用CentOS 6的各个版本, 比如LiveCD版.

Hadoop版本: 2.6.2

 

准备工作

添加Hadoop专用用户

optional, 出于安全性和便于管理的角度考虑, 建议单独为hadoop添加用户. 本例中用户名为hm

安装相关软件包:

• SSH:   本例使用openssh-server, 和openssh-client(一般Linux发行版都有默认安装)
• JAVA: 本例使用openjdk-7-jdk (如果有多个openjdk版本, 请选择devel版本, 否则jps命令有可能无法使用)

检查软件包是否已经安装

输入命令

hm@u14s64:~$ dpkg -l|grep -e ssh

可以查看ssh软件包的安装状态. ii代表已经成功安装. 同理, 把ssh换做jdk即可查看jdk的安装情况.

如果尚未安装上述软件包, 使用命令apt-get进行安装. 

hm@u14s64:~$ sudo apt-get install openssh-server
hm@u14s64:~$ sudo apt-get install openjdk-7-jdk

如报错

E: Package 'openssh-server' has no installation candidate

运行一下apt-get update即可. 仍然有问题, 可以尝试去更新/etc/apt/source.list, 换个好一点的源, 比如mirrors.163.com/ubuntu等等.

验证安装结果

1. jps - JVM进程查看工具, 将来要用于查看Hadoop守护进程

hm@u14s64:~$ jps

应该可以看到至少有jps进程存在.

2. ssh - 单机免密码登录 (hadoop伪分布模式和分布模式需要用到)

hm@u14s64:~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
hm@u14s64:~$ cat .ssh/id_dsa.pub >> .ssh/authorized_keys
hm@u14s64:~$ ssh localhost

成功登录后, 输入exit退出当前ssh登录. 以后再输入ssh localhost就可以直接无密码登录.

如果再次登录仍需要密码, 可能是authorized_keys的权限设置不对, 请修改后再测试

hm@u14s64:~$ sudo chmod 600 .ssh/authorized_keys

 

安装Hadoop

下载解压

从官网下载安装包, 这里使用2.6.2版本, 通过psftp把hadoop安装包上传到本server. e.g. /home/hm/hadoop-2.6.2.tar.gz

解压文件到你的安装目录, 这里我把它安装在/home/hm/hadoop目录下:

hm@u14s64:~$ tar -xzvf hadoop-2.6.2.tar.gz -C ~
hm@u14s64:~$ mv hadoop-2.6.2 hadoop

确认权限

输入ls -la 确认hadoop文件夹及包含的所有文件所属的user和group是hm.

hm@u14s64:~$ ls -la
hm@u14s64:~$ ls -la hadoop/

如果不是, 输入下面的命令改变拥有权: (保证hm用户可以正常运行hadoop的各个命令)

hm@u14s64:~$ sudo chown -R -v hm:hm hadoop/

修改环境变量

hm@u14s64:~/hadoop$ vi etc/hadoop/hadoop-env.sh

找到export JAVA_HOME=${JAVA_HOME}, 修改为绝对路径 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

使用yarn框架的话, 建议同时修改文件 etc/hadoop/yarn-env.sh, 找到下面这行:
#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
修改为: export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

注意: 如果不知道JDK安装路径, 使用下面的命令查找: (第一行命令用于确定server上jdk的软件包名称)

hm@u14s64:~/hadoop$ dpkg -l|grep -e jdk
hm@u14s64:~/hadoop$ dpkg -L openjdk-7-jdk

Optional:
如果想在其他路径下运行hadoop命令, 需要先运行下面的命令:

hm@u14s64:~/hadoop$ export HADOOP_PREFIX=/home/hm/hadoop/
hm@u14s64:~/hadoop$ export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

如果要对所有用户永久生效, 则去/etc/profile文末添加这两行, 保存后, 运行source profile命令可以使其立即生效. (不推荐)

在Ubuntu Server版中, 如果只对当前用户永久更改的话, 则将上述两个export加到.profile文件末尾: (推荐)

hm@u14s64:~/hadoop$ vi ~/.profile
hm@u14s64:~/hadoop$ source ~/.profile

测试jdk设置是否成功

hm@u14s64:~/hadoop$ bin/hadoop

此时应该能显示hadoop命令的usage选项

 

Local(Standalone)模式

这是Hadoop的默认模式, 运行在单个Java进程里, 主要用于debug.

下面我们做个演示, 拷贝hadoop自己的一些配置文件到input目录模拟需要处理的大数据, 运用MapReduce来分析dfs开头的字串的出现次数以及名字, 最后把结果输出到屏幕上

1 hm@u14s64:~/hadoop$ mkdir input
2 hm@u14s64:~/hadoop$ cp etc/hadoop/*.xml input
3 hm@u14s64:~/hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.2.jar grep input output 'dfs[a-z.]+'
4 hm@u14s64:~/hadoop$ cat output/*

可以看到符合dfs开头的单次总共出现一次, 名为"dfsadmin"

 

Pseudo-Distributed Mode (伪分布模式)

修改hadoop配置文件

一般来说总共有4个配置文件可以修改: (demo的具体修改见后文)

core-site.xml　　　　配置全局属性
hdfs-site.xml　　　　配置hdfs分布式文件系统相关属性
mapred-site.xml　　 配置旧框架MapReduce相关属性
yarn-site.xml　　　　配置新框架yarn相关属性

注意, mapred-site.xml比较特殊:

• 使用MapReduce框架时, 通过该文件对MapReduce相关属性进行配置.
• 使用yarn框架时, 该文件的新属性mapreduce.framework.name必须配置. 
  通常情况下这个配置的值都设置为 yarn, 如果没有配置这项, 那么提交的 yarn job 只会运行在Local模式，而不是分布式模式.
  此外, 新框架也可以通过该属性来支持第三方 MapReduce 开发框架, 比如 SmartTalk/DGSG 等非 Yarn 架构.

想查看默认配置, 或者查看配置项解释, 可以在本地hadoop解压包里面, 搜索core-default.xml或者其他xxx-default.xml来参考. 一般位于share/doc/hadoop/hadoop-project-dist/hadoop-common中.

也可以去 http://hadoop.apache.org/docs/ 选择你需要的版本, 点击左下侧的configuration中对应的xml文件即可. 

不同Hadoop版本的属性名称有差别, 本例采用了较新的Hadoop 0.23.X 配置写法. 详细对比请看 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

 

etc/hadoop/core-site.xml
输入命令

hm@u14s64:~/hadoop$ sudo vi etc/hadoop/core-site.xml

添加fs.defaultFS属性来指定默认文件系统的URI. 由于是单点伪分布式, host设为localhost. port设置要尽量避免冲突的可能性. 可以用netstat -anp | grep portNumber命令来查看端口使用状态.

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:49000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml

同上, 使用vi设置缺省的hdfs数据块的默认副本数, 非伪分布式模式下, 如果有多个slave, 可以把默认副本数设置成至少和slave数量一致. 本例并无多个slave, 因此设置成1即可.

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 

使用旧MapReduce框架的单点伪分布式配置 (运行MapReduce Job)

格式化文件系统

注意, 默认情况下, 该操作会使用/tmp/hadoop-{username}/dfs/name作为hdfs的common storage路径, 如果之后再次格式化NameNode发生错误, 可以去删除tmp下对应目录来解决. 重启server也会自动删除tmp下的文件. 

hm@u14s64:~/hadoop$ bin/hdfs namenode -format

启动NameNode和DataNode的守护进程(deamon)

hm@u14s64:~/hadoop$ sbin/start-dfs.sh

仔细看输出的信息, 会看到

Starting secondary namenodes [0.0.0.0]
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.

SecondaryNameNode(snn)是作为NameNode的灾难备份而存在的, 我们的演示中暂时用不到, 所以直接忽略这个错误即可.

此时输入命令jps, 查看jvm中的相关进程, 可以看到我们需要的守护进程都已经开启了:

• SecondaryNameNode
• DataNode
• NameNode
• Jps

守护进程相关的log放在~/hadoop/logs文件夹中, 这些内容非常重要, 将来debug可以依靠这些log.

配置HDFS

hm@u14s64:~/hadoop$ bin/hdfs dfs -mkdir -p /user/hm

既然是伪分布式, 我们接下来都不在本地进行文件操作, 而是去hdfs里面. 可以用命令

hm@u14s64:~/hadoop$ bin/hdfs dfs -ls /user/hm

查看hdfs中的文件和文件夹.

接下来将input文件放到我们的分布式系统上去

hm@u14s64:~/hadoop$ bin/hdfs dfs -mkdir /user/hm/input
hm@u14s64:~/hadoop$ bin/hdfs dfs -put etc/hadoop/*.xml input

运行MapReduce Job

hm@u14s64:~/hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.2.jar grep input output 'dfs[a-z.]+'

把hdfs上的output文件夹拿到本地来查看结果, 或者直接在hdfs上查看结果:

hm@u14s64:~/hadoop$ bin/hdfs dfs -get output output
hm@u14s64:~/hadoop$ cat output/*

hm@u14s64:~/hadoop$ bin/hdfs dfs -cat /user/hm/output/*

停止HDFS守护进程

完工后, 停掉hdfs守护进程(daemon), 可以用jps检验

hm@u14s64:~/hadoop$ sbin/stop-dfs.sh

 

使用新yarn框架的单点伪分布式配置 (运行Yarn Job)

修改etc/hadoop/mapred-site.xml

默认情况下这个文件不存在, 所以先从模板新建一个

hm@u14s64:~/hadoop$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

设置好Framework名称

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

配置HDFS

接下来和旧框架的步骤一样:
先格式化分布式文件系统(如果没重启, 接上面的步骤操作, 这个可以省略)
启动NameNode和DataNode daemon
然后创建好用户目录和input目录, 上传input数据 (没重启, 接上面操作的话, 这步也省略, 但是记得把output目录删除, 命令: hm@u14s64:~/hadoop$ bin/hdfs dfs -rm -r -f /user/hm/output )

启动yarn框架的守护进程

两个守护进程: ResourceManager和NodeManager

hm@u14s64:~/hadoop$ sbin/start-yarn.sh

可以用jps命令检查, 正确启动, 则可以看到, 除了NameNode, DataNode和SecondaryNameNode, 多了ResourceManager和NodeManager两个进程.

运行MapReduce Job

hm@u14s64:~/hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.2.jar grep input output 'dfs[a-z.]+' 

对比输出信息, 可以看到和旧框架的运行方式有诸多不同. 

如果运行出错, 可以根据具体的container id, 去logs文件夹查找root cause.

同样, 运行output命令可以查看最终结果.

结束守护进程

任务完成, 运行下面的命令结束yarn守护进程

hm@u14s64:~/hadoop$ sbin/stop-yarn.sh

如果不再用到hdfs的守护进程, 则

hm@u14s64:~/hadoop$ sbin/stop-dfs.sh