hadoop1.2.1安装配置

hadoop1.2.1的安装与配置

参考官方文档

一、首先下载hadoop1.2.1版本
hadoop 1.2.1下载地址

二、进行解压：
执行如下命令：

tar -zxvf hadoop-1.2.1.tar.gz

解压以后，进入目录找到

Paste_Image.png

进入到conf下：

Paste_Image.png

二、修改core-site.xml文件:

为如下配置：

Paste_Image.png

对以上配置进行说明：

fs.default.name为hadoop的namenode节点机器的IP和端口
hadoop.tmp.dir为hadoop的默认文件的存放位置

注意：后续hadoop的很多配置信息都是基于hadoop.tmp.dir这个配置参数的

hadoop.tmp.dir 默认目录是linux下的/tmp目录，但是tmp目录每次重启linux机器的时候会进行清空，所以下次重启以后就没有这个目录了。所以要进行修改.
这个在下载的文件中docs中的 core-default.xml中会有说明：

Paste_Image.png

下面会有显示：

Paste_Image.png

以上就是hadoop的默认文件存放目录

三、修改hdfs-site.xml

dfs.replication 这个默认为3，datanode保存的副本数，如果在单台机器上部署，为1，因为datanode在单节点上，最多只有一个副本。

Paste_Image.png

Paste_Image.png

如果有多个datanode节点，上面的dfs.replication是多个，并且你需要配置多个datanode节点，需要配置slaves文件，这个配置文件就是配置datanode的节点

配置完了datanode，我们还需要一个secondary namenode节点，这个节点如何配置？这个节点可以和datanode放在一台机器上，或者单独放在一台机器上
需要配置masters这个文件

三台机器需要设置免密码登陆，这样才能远程自动登陆并启动或者写入文件

是为了在任何一个节点上，敲一个命令启动所有的节点。

修改hadoop运行下的JAVA_HOME

修改文件位置为：
conf/hadoop-env.sh

![Upload Paste_Image.png failed. Please try again.]

conf/mapred-site.xml:

 
 
mapred.job.tracker
 localhost:9001
 

然后配置机器自登陆：

Now check that you can ssh to the localhost without a passphrase:
$ ssh localhost
If you cannot ssh to localhost without a passphrase, execute the following commands:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

hdfs的格式化操作：

Paste_Image.png

启动hadoop

其中配置 ssh localhost

参考这里

节点都在本机上，我启动过程中提示我输入密码，显然，我的免密码启动这块做的有问题，等下检查下：

Paste_Image.png

验证是否启动成功

输入：
http://localhost:50070/
和
http://localhost:50030/

如下：这个是hadoop的namenode节点

Paste_Image.png

**另外一个是：Map/Reduce Administration
Quick Links

---

Paste_Image.png

停止Hadoop

Paste_Image.png

注意：hdfs格式化只进行一次即可，不需要反复格式化

问题：
这里有一个问题，我的mac上免密码登陆没有设置好，所以启动或者关闭hadoop时，是需要输入密码的，这块需要改进下。