Hadoop之旅（1）—单机与伪集群安装、简单经典案例

1、准备工作

环境：centsOS7.0、jdk1.8

发行版 ：Hadoop2.5.0

2、Hadoop目录结构

bin：Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。

etc：Hadoop配置文件所在的目录，包括core-site.xml、hdfs-site.xml、mapred-site.xml等从Hadoop 1.0继承而来的配置文件和yarn-site.xml等

include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用，这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写写MapReduce程序。

lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。

libexec：各个服务对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如目录、启动参数（比如JVM参数）等基本信息。

sbin：Hadoop管理脚本所在目录，主要包含HDFS和YARN中各类服务的启动的启动/关闭脚本。

share：Hadoop各个模块编译后的jar包所在目录。

3、单机版安装(Local (Standalone) Mode)

步骤1：将安装包hadoop-2.5.0.tar.gz存放到某一目录下，并解压步骤。

步骤2：修改解压后的目录中的文件夹etc/hadoop下的xml配置文件（如果文件不存在，则自己创建）果文件不存在，则自己创建）

修改 hadoop-env.sh文件修改以下配置：

export JAVA_HOME=/usr/local/java/jdk1.8.0_121

3.1、单机版—案例1

# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output 'dfs[a-z.]+'

案例1结果

# cat output/*

3.2、单机版—案例2（经典案例统计单词的次数）

# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount  wordinput wordoutput

4、搭建伪分布式

4.1、HDFS部署搭建（经典案例统计单词次数-在MaoReduce运行）

etc/hadoop/core-site.xml

    
        fs.defaultFS
        hdfs://czy-1:8888
    
	
    
        hadoop.tmp.dir
        /usr/local/chenzhengyou/hadoop/standalone/hadoop-2.5.0/data/tmp
    
	

etc/hadoop/hdfs-site.xml

    
    
        dfs.replication
        1
    

4.1.2、格式化hdfs

4.1.3、几个命令

创建：bin/hdfs dfs -mkdir -p user/chenzy/wordcount/input
上传：bin/hdfs dfs -put -p wcinput/word.input chenzhengyou/mapreduce/wordcount/input（红色的是本地的）

4.1.4、启动界面（2.5版本界面看着很舒服）

启动：

   sbin/hadoop-daemon.sh start namenode
   sbin/hadoop-daemon.sh start datanode

4.2.1、YARN搭建部署（经典案例统计单词次数-在yarn运行）

etc/hadoop/yarn-site.xml

	
	
        mapreduce.framework.name
        yarn
    
	
	
        yarn.resourcemanager.hostname
        czy-1
    

etc/hadoop/mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

4.2.2、启动界面