Hadoop 的三种运行模式以及伪分布式模式配置

一 三种模式

1 单机模式

2 伪分布式模式

3 完全分布式模式

二 单机模式特点

默认模式

不对配置文件进行修改

使用本地文件系统

Hadoop的守护进程未启动

用于对MapReduce程序的逻辑进行调试

三 伪分布式模式

在一台主机模拟多台主机

每个守护进程都以Java进程的形式运行

在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交换

修改3个配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml

格式化文件系统

四 完全分布式模式

多台主机

所有主机安装JDK和Hadoop

设置SSH免密码登录

修改3个配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml

格式化文件系统

五 伪分布式安装实例

1、进入Hadoop的配置文件夹

[root@localhost ~]# cd /opt/hadoop-1.2.1/conf

[root@localhost conf]# ls

capacity-scheduler.xml      hadoop-policy.xml      slaves

configuration.xsl           hdfs-site.xml          ssl-client.xml.example

core-site.xml               log4j.properties       ssl-server.xml.example

fair-scheduler.xml          mapred-queue-acls.xml  taskcontroller.cfg

hadoop-env.sh               mapred-site.xml        task-log4j.properties

hadoop-metrics2.properties  masters

2、对core-site.xml进行配置

hadoop.tmp.dir

/hadoop

dfs.name.dir

/hadoop/name

fs.default.name

hdfs://localhost:9000

3、对hdfs-site.xml进行配置

dfs.data.dir

/hadoop/data

dfs.replication

1

4、格式化hdfs文件系统

[root@localhost conf]# hadoop hdfs -format

Warning: $HADOOP_HOME is deprecated.

Error: Could not find or load main class hdfs

[root@localhost conf]# hadoop namenode -format

Warning: $HADOOP_HOME is deprecated.

17/12/10 06:52:28 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = localhost.localdomain/127.0.0.1

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 1.2.1

STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013

STARTUP_MSG:   java = 1.7.0_141

************************************************************/

Re-format filesystem in /hadoop/dfs/name ? (Y or N) y

Format aborted in /hadoop/dfs/name

17/12/10 06:52:49 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.1

************************************************************/

5、启动程序

[root@localhost bin]# start-all.sh

6、检测启动是否成功

[root@localhost bin]# jps

3234 TaskTracker

2751 NameNode

3016 SecondaryNameNode

3292 Jps

3093 JobTracker

2893 DataNode