hadoop（一）CentOS7安装单机版Hadoop2.7.3

CentOS7安装单机版Hadoop2.7.3

前期准备

• 安装java，拷贝oracle官网下载的jdk-8u111-linux-x64.rpm到虚拟机内。并安装：

  rpm -i jdk-8u111-linux-x64.rpm
  
  

• 设定java路径为环境变量,编辑/etc/profile文件，加入一行：

  export JAVA_HOME=/usr/java/latest
  
  

• 通过source命令应用JAVA_HOME环境变量，并验证

  echo $JAVA_HOME  //输出空路径
  source /etc/profile
  echo $JAVA_HOME  //此时输出正确的JAVA_HOME
  
  

• 拷贝hadoop-2.7.3.tar.gz到用户路径下。

• 解压缩

  tar -xf hadoop-2.7.3.tar.gz
  
  

• 获得hadoop-2.7.3目录，进入该目录下。

以standalone形式运行hadoop程序

具体请参考： http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html

第一步，以单机模式运行Hadoop程序：

• 为Hadoop配置Java运行路径，编辑Hadoop-2.7.3路径下的 etc/hadoop/hadoop-env.sh 文件加入java路径，如下行：

   export JAVA_HOME=/usr/java/latest
  
  

• 执行Hadoop自带的mapReduce示例：

  //在Hadoop-2.7.3路径下创建input目录
  $ mkdir input
  //将hadoop的配置拷贝到刚创建的input目录下
  $ cp etc/hadoop/*.xml input
  //对input路径下的文件执行Hadoop自带示例中的MapReduce程序，并将输出写入到output目录中。**这里增加了2>>err.txt，由于Hadoop的输出一闪而过，通过这条参数将其输出到err.txt文件中。**
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input/ output/ 'dfs[a-z.]+' 2>>err.txt
  $ cat output/*
  
  

• 执行后，查看err.txt文件发现报错，暂时不知道报错原因：

  EBADF:Bad file descriptor
  
  

• 通过命令查看output目录内的输出

  1 dfsadmin
  
  

• 注意如果要再次运行该mapReduce程序，要先删除output命令，否则会出现output目录已经存在的报错。

第二步，搭建伪分布式（开启HDFS）

• 根据Apache的教程，配置core-site.xml和hdfs-site.xml

• 安装ssh

• 格式化分布式文件系统

  $ bin/hdfs namenode -format

• 启动分布式文件系统，中间需要确认几次输入yes。分别启动namenode, datanode, secondarynamenode。

  $ sbin/start-dfs.sh

• 浏览器访问http://localhost:50070可以看到远程访问hdfs的页面，启动HDFS成功。

• 在hdfs上创建input目录

  bin/hdfs dfs -mkdir /input
  
  

• 将文件系统中Hadoop-2.7.3安装目录下的配置路径etc/hadoop中所有的配置文件拷贝到hdfs上的/input目录中

  bin/hdfs dfs -put etc/hadoop/* /input
  
  

• 在HDFS上运行之前的mapReduce示例，并将错误日志输出到err2.txt：

    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' 2>>err2.txt
  
  

• 可以看到仍然包含bad file description异常。这个异常后面再去找原因。

• 查看刚才mapReduce计算的输出

  $ bin/hdfs dfs -cat /output/*
  
  

• 如果要关闭hdfs使用：

  $ sbin/stop-dfs.sh
  
  

第三步，在单节点上开启yarn

• 根据Apache的官方教程，编辑两个配置文件mapred-site.xml和yarn-site.xml

• 键入命令启动yarn

  sbin/start-yarn.sh
  
  

• 如果要关闭yarn键入命令：

  sbin/stop-yarn.sh
  
  

总结

• 最初只给虚拟机分配了2G的内存，单核CPU。在运行上面的MapReduce例子时会出现卡死的情况。分析日志发现同时有OutOfMemory和TimeOut两种异常。通过增加CPU到4核，内存到5G，在yarn上能够顺利的运行MapReduce例子了。