Hadoop单机模式环境搭建关键步骤

        Hadoop环境需要sshd服务一直开启，故，在服务器上需要按照ssh服务，以Ubuntu Linux为例，按照ssh服务如下：

sudo apt-get install ssh

sudo apt-get install rsync

编辑HADOOP_HOME/conf/hadoop-env.sh文件，将JAVA_HOME设置为Java安装路径。

Hadoop的集群分为三种模式：

• 单机模式
• 伪分布式模式
• 完全分布式模式

不管哪种模型，都需要系统能够免密码ssh设置：

$ssh localhost

看看是否需要登录本机需要密码，如果需要使用如下操作：

$ssh -keygen -t dsp -P '' -f ~/.ssh/id_dsa

$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

执行：

格式化一个新的分布式文件系统

$bin/hadoop namenode -format

启动Hadoop守护进程：

$bin/start-all.sh

浏览NameNode和JobTracker的网络接口，默认地址分别为：

• NameNode http://localhost:50070
• JobTracker http://localhost:50030

将输入文件copy到分布式文件系统：

$bin/hadoop fs -put conf input

运行示例程序；

$bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

查看输出文件：

$bin/hadoop fs -get output output

$cat output/*

或者在分布式文件系统上查看输出文件：

$bin/hadoop fs -cat output/*

停止Hadoop守护进程：

$bin/stop-all.sh

完全分布式集群：

通常选择集群中的一台机器作为NameNode，另外一台不同的机器作为JobTracker，这些被称为Master，余下的机器即作为DataNode，又作为TaskTracker，这些被称为Slaves。

在conf/slaves文件中列出所有slaves的主机名称或者Ip地址，一行一个。

更具体的完全分布式环境搭建可以见两位网友的经验总结文章： hadoop环境搭建和 hadoop搭建和eclipse开发环境设置