Hadoop入门实战手册

Hadoop入门文档，比较实用。详细文档在附件中。。。

1     概述

1.1       什么是Hadoop？

1.2       为什么要选择Hadoop？

1.2.1       系统特点

1.2.2       使用场景

2     术语

3     Hadoop的单机部署

3.1        目的

3.2        先决条件

3.2.1       支持平台

3.2.2       所需软件

3.2.3       安装软件

3.3        下载

3.4        运行Hadoop集群的准备工作

3.5        单机模式的操作方法

3.6        伪分布式模式的操作方法

3.6.1       配置

3.6.2       免密码ssh设置

3.6.3       执行

4     Hadoop集群搭建过程手记

4.1       免密码SSH设置

4.2       Hadoop软件安装

4.3       Master(85)配置

4.4       Slave(60,245上)配置

4.5       初始化和启动hadoop集群

4.5.1       初始化文件系统

4.5.2       启动Hadoop

4.5.3       停止Hadoop

4.6       测试

4.7       管理界面与命令

4.7.1       hdfs运行状态界面

4.7.2       Map-reduce的运行状态界面

4.7.3       直接的命令行查看

4.7.1       运行的进程查看

5     架构分析

5.1       HDFS

5.1.1       HDFS的三个重要角色

5.1.2       HDFS设计特点

5.2       MapReduce

5.2.1       算法介绍

5.2.2       Hadoop框架下的mapreduce

5.3       综合架构分析

6     Hadoop的应用

7     系统维护

7.1       Hadoop的系统监控

7.2       Hadoop中的命令（Command）总结

7.3       NameNode与JobTracker单点故障说明

7.4       经验总结

7.5       如何在一个hadoop集群新增或删除一些机器而不重启

7.5.1       新增节点

7.5.2       删除节点

7.6       其它日常问题说明

7.6.1       datanode启动失败，各slave节点的namespaceIDs与masters不同

7.6.2       taskTracker和jobTracker 启动失败

7.6.3       Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

7.6.4       Too many fetch-failures

7.6.5       能够启动datanode，但无法访问，也无法结束的错误

7.6.6       java.io.IOException: Could not obtain block:

7.6.7       java.lang.OutOfMemoryError: Java heap space

7.6.8       解决hadoop OutOfMemoryError问题：

7.6.9       Hadoop java.io.IOException:

7.7       防火墙的端口开放要求

7.7.1       与HDFS有关的地址及端口属性

7.7.2       与MapReduce 有关的地址及端口属性

8     附录

8.1       hadoop历史

8.2       Hadoop大记事

8.3       Hadoop的几个主要子项目

8.4       官方集群搭建参考

8.4.1       配置文件

8.4.2       集群配置说明