Hadoop1安装——伪分布式

续hadoop1安装——单机模式 http://my.oschina.net/mynote/blog/94018

一、免密码ssh设置

ssh-keygen -t rsa

一直按<Enter> 由于不设置密码，所以就一直回车就行。 

测试：

ssh localhost

二、修改配置文件

修改的文件都在conf下：
core-site.xml、hdfs-site.xml、mapred-site.xml. 三个文件
文件说明（略）
配置文件的添加和修改都在<configuration></configuration> 中

1、core-site.xml

<property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>

2、 hdfs-site.xml

<property>
  <name>dfs.name.dir</name>
  <value>/usr/local/hadoop-1.0.0/dfs/name</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/usr/local/hadoop-1.0.0/dfs/data</value>
</property>

主要是对namenode 和 datanode 存储路径的设置。其实默认是存储在tmp下的。所以这里也不需配置的。但默认的是临时文件，重启就没有了，所以我这里还是设置了专门的路径保存。

3、 mapred-site.xml

<property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>

三、启动

启动的文件都是 bin。如果你为了方便可以把这个目录添加到环境变量中去，这样就可以直接运行命令，而不用运行绝对路径。配置环境变量略（我这里还是用绝对路径）。

切换到该安装目录下
首先格式化 namenode

1	bin/hdfs namenode -format

确定不报错，且出现

/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at startos/192.168.0.101
************************************************************/
startos/192.168.0.101是我的计算机名和Ip

启动namenode

bin/hadoop-daemon.sh start namenode
	bin/hadoop-daemon.sh start datanode

运行测试

jps

出现： 
8431 Jps 
8353 DataNode 
8271 NameNode 

证明启动成功，如果没有出现DataNode或者NameNode，证明启动没有成功，可以查看hadoop安装目录下的logs下的日志记录。
可以使用sbin/hadoop-daemon.sh stop datanode（datanode）来关闭。

启动mapreduce

bin/start-mapred.sh

jps

6402 NameNode
6621 JobTracker
2661 
6719 Jps
6506 DataNode

• NameNode - http://localhost:50070/
• JobTracker - http://localhost:50030/

注：网上很多地方都说用start-dfs.sh、 start-mapred.sh可以简略上面的步骤，但我还想没有成功，所以还是老实点，strat-all.sh stop-all.sh都没戏。

四、运行实例

还是同单机模式测试一样创建要上传的文件

切换到该安装目录下，建立要上传到hadoop的两个文件 test1.txt、test2.txt 

mkdir input
	cd input
	echo "hello world" > test1.txt
	echo "hello hadoop" > test2.txt
	cd ..

把input目录中的文件拷贝到dnfs上，并保存在in目录中

1	bin/hadoop dfs -put input/ /in

其中/in 中的/ 是hdfs下的目录，好像不加/ 不能上传。 
参考

1	bin/hadoop dfs -ls /in

就可以查看到in文件夹下的两个文件，同时也可以通过http://127.0.0.1:50070 查看节点下的文件。

Ok 伪分布式模式就在这里，祝你好运。