Hadoop启动模式，基本配置，启动方式

Local (Standalone) Model

MapReduce程序运行在本地，启动jvm
启动本地模式：
1、配置hadoop-env.sh配置文件中的java_home路径
2、在hadoop安装目录下：mkdir input
3、在input目录下创建任意文件
4、统计input文件夹下所有文件中的单词的数量：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount input output

Pseudo-Distributed Mode

1、配置etc/hadoop/core-site.xml:

##配置namenode所在主机

    
        fs.defaultFS
        hdfs://bxp:8020
    

##配置文件临时目录

    
        hadoop.tmp.dir
        /usr/lib/hadoop-2.5.0-cdh5.3.6/data/tmp
    

2、配置etc/hadoop/hdfs-site.xml:

##配置文件备份数量

    
        dfs.replication
        1
    

3、格式化文件系统
bin/hdfs namenode -format
4、启动namenode
sbin/hadoop-daemon.sh start namenode
4、启动datanode
sbin/hadoop-daemon.sh start datanode
5、浏览器访问：http://bxp:50070，查看hdfs
6、命令行创建hdfs文件目录：bin/hdfs dfs -mkdir -p /user/bxp/mapreduce/wordcount/input
7、命令行查看hdfs文件系统目录结构：bin/hdfs dfs -ls -R /
8、上传文件到hdfs文件系统：bin/hdfs dfs -put input/test /user/bxp/mapreduce/wordcount/input(下载的命令为get，查看为cat)
9、运行
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/bxp/mapreduce/wordcount/input /user/bxp/mapreduce/wordcount/output
10、查看运行结果：
bin/hdfs dfs -cat /user/bxp/mapreduce/wordcount/output/part-r-00000
此时运行的结果和本地启动时运行的结果相同，不同的是输入的数据源一个是在本地，一个是在hdfs文件系统中。当在etc/hadoop/core-site.xml中配置文件系统时，回去寻找文件系统，当没有进行配置，默认会去寻找本地文件系统（file:///）:

YARN on Single Node

1、在etc/hadoop/yarn-env.sh中配置JAVA_HOME
2、配置etc/hadoop/yarn-site.xml:

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

  
        yarn.resourcemanager.hostname
        localhost
    

3、在etc/hadoop/slaves文件中配datanode和nodemamager所在主机的主机名或ip（默认datanode和nodemanager在同一台主机上）
localhost
4、启动yarn
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
5、浏览器查看yarn的监控界面：8088
6、接下来进行将mapreduce程序运行在yarn上的配置.
7、配置etc/hadoop/mapred-env.sh中的JAVA_HOME
8、重命名mapred-site.xml.template为mapred-site.xml并配置etc/hadoop/mapred-site.xml

##将mapreduce运行在yarn上，默认值是local

    
        mapreduce.framework.name
        yarn
    

9、运行
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/bxp/mapreduce/wordcount/input /user/bxp/mapreduce/wordcount/output
10、查看运行结果：
bin/hdfs dfs -cat /user/bxp/mapreduce/wordcount/output/part-r-00000
此时的运行结果不变，不同的是之前的mapreduce程序运行在本地，此时的mapreduce程序运行在yarn上

Fully-Distributed Mode

启动mapreduce历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

配置yarn日志的聚集

聚集：应用运行完成以后，将日志信息上传到HDFS文件系统中
在etc/hdoop/yarn-site.xml中增加属性

###配置日志聚集

        yarn.log-aggregation-enable
        true

###配置日志在文件系统中存放的秒数（604800为7天）

        yarn.log-aggregation.retain-seconds
        604800

配置完成后需要将resourcemanager和mapreduce历史任务进行重启才会生效
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

Hadoop配置文件

• 默认配置文件,在share/hadoop四个模块相对应的jar包中
  core-default.xml
hdfs-default.xml
yarn-default.xml
mapred-default.xml
• 自定义配置文件,在etc/hadoop
  core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
  每次启动程序的时候，系统会首先加载jar包，读取jar包中的默认配置，之后才会读取用户自定义配置，用户自定义配置会覆盖默认配置。
  一般在配置的时候，会在官方文档和默认配置文件中查找配置信息，默认配置中会有对配置属性的描述。

配置HDFS垃圾回收时间（分钟）

在core-site.xml配置文件中进行增加属性

         fs.trash.interval
         7*24*60

hadoop启动的三种方式

• 各个服务组建逐个启动
• hdfs
  hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
• yarn
  yarn-daemon.sh start|stop resourcemanager|nodemanager
• mapreduce
  mr-jobhistory-daemon.sh start|stop historyserver
• 各个模块分开启动
• hdfs
  start-dfs.sh
stop-dfs.sh
• yarn
  start-yarn.sh
stop-yarn.sh
• mapreduce
  mr-historyserver-daemon.sh start|stop historyserver
  分模块启动，他的启动方式是：启动命令在主结点上运行，然后通过ssh协议去链接自己和相关将要启动的从结点，从而逐个启动。使用ssh协议时每次都需要输入密码。所以需要配置ssh无密钥登陆。
  配置无密钥登陆：(客户端生成公钥和私钥，将公钥给将要链接的机器)
  1、客户端生成密钥。
  进入到用户的主目录下的.ssh目录中
  使用命令：ssh-keygen -t rsa，回车4下
  2、copy公钥
  使用命令ssh-copy-id hostname(将要拷贝到的机器的hostname)就会将公钥拷贝到所有的主机名相同的主机上的.ssh目录下authorized_key。
• 全部启动
• start -all
• stop-all
  此方式不推荐，此方式要求namenode和resourcemanager在相同的主机上，因为在实际的环境中，namenode和resourcemanager在不同的主机上。

细节回顾

• namenode所在主机通过etc/hadoop/core-site.xml中

        fs.defaultFS
        hdfs://bxp:8020
   
指定了HDFS文件系统，其中主机代表的就是namenode所在的主机。

• slaves文件中指定的是datanode和noderesource所在的主机
• secondarynamenode结点通过在hdfs-site.xml中通过以下属性进行指定，默认就是本机

  dfs.namenode.secondary.http-address
  0.0.0.0:50090

• resourcemanager所在的主机，在yarn-site.xml

        yarn.resourcemanager.hostname
        localhost
  

• MapReduce HistoryServer
  在mapred-site.xml中,默认是本机

  mapreduce.jobhistory.address
  0.0.0.0:10020


  mapreduce.jobhistory.webapp.address
  0.0.0.0:19888

问题

每次运行bin/hdfs dfs都会出现警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable。原因是hadoop的lib/native本地库和系统所使用的本地库不对应，要想去掉警告，需要下载hadoop的源码在本地进行编译，并替换native即可。
编译可以看源码包下的BUILDING.txt文件