fedora hadoop

1安装Linux系统，在这里安装的是Fedora13 

创建用户的用户名为：ssj 

2安装openssh-server： 

yum install openssh-server 

如果已经安装则跳过。 

3建立ssh无密码登录： 

（1）在namenode上面实现无密码登录： 

       ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

      直接回车，完成后会在 ~/.ssh/ 生成两个文件： id_dsa 和 id_dsa.pub 。这两个是成对 
现，类似钥匙和锁。 

      再把 id_dsa.pub 追加到授权 key 里面 ( 当前并没有 authorized_keys文件 ) ： 

      cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 。 

       完成后可以实现无密码录本机： $ ssh localhost 。 

若此时连接不上，检查sshd服务是否打开。可以用命令：service sshd start开启服务 

（2）实现 NameNode 无密码登录其他 DataNode ：（注：在这里我是单机安装，本机既是namenode，又是datanode。所以这步跳过。） 
NameNode 上的 id_dsa.pub 文件追加到 dataNode 的 authorized_keys 内 ( 以 
8.0.3 节点为例 ) ： 
拷贝 NameNode 的 id_dsa.pub 文件： 
scp id_dsa.pub [email protected]:/home/ssj/ 
登录 192.168.0.3 ，执行 $ cat id_dsa.pub >> .ssh/authorized_keys 
他的 dataNode 执行同样的操作。 
意： 如果配置完毕，如果 namenode 依然不能访问 datanode ，可以修改 datanode 的 
ized_keys ： $ chmod 600 authorized_keys 。 



4.关闭防火墙： 

在终端中输入：service iptables stop（最好把selinux也关掉） 

5.安装jdk1.6： 

这里是安装目录是：/home/ssj/cloud/ jdk1.6.0_21,安装完成后，在/etc/profile中加入： 

export JAVA_HOME=/home/ssj/jdk1.6.0_21 

export JRE_HOME=/home/ssj/jdk1.6.0_21/jre 

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 

6.安装hadoop： 

下载hadoop-0.20.2.tar.gz,解压：tar -zvxf hadoop-0.20.2.tar.gz 

在这里，解压目录为：/home/ssj/cloud/hadoop-0.20.2，然后在/etc/profile里面加入： 

export HADOOP_HOME=/home/ssj/hadoop-0.20.2 

export PATH=$HADOOP_HOME/bin:$PATH 

7.配置hadoop： 

hadoop 的主要配置都在 hadoop-0.20.2 /conf 下。 
(1) 在 conf/hadoop-env.sh 中配置 Java 环境 (namenode 与 datanode 的配置相同 ) ： 
$ gedit hadoop-env.sh 
$ export JAVA_HOME=/home/ssj/jdk1.6.0_21 
(2) 配置 conf/masters 和 conf/slaves 文件  只在 namenode 上配置 ) 
masters: localhost 

slaves:localhost 

注意：因为这是在单机上，则都配置成localhost，若有多台节点机，则masters配置用作masters的机器ip，而slaves则配置多个slaves的ip。 

(3) 配置 conf/core-site.xml, conf/hdfs-site.xml 及 conf/mapred-site.xml( 简单 配 
置， datanode 的配置相同，在这里只配置localhost，因为只有一台机子) 
core-site.xml: 
<configuration> 
<!--- global properties --> 
<property> 
<name> hadoop.tmp.dir </name> 
<value> /home/hexianghui/tmp </value> 
<description>A base for other temporary directories.</description> 
</property> 
<!-- file system properties --> 
<property> 
<name> fs.default.name </name> 
<value> hdfs://localhost:9000 </value> 
</property> 
</configuration> 

hdfs-site.xml  replication 默认为 3 ，如果不修改， datanode 少于三台就会报错 ) 
<configuration> 
<property> 
<name> dfs.replication </name> 
<value> 1 </value> 
</property> 
</configuration> 

mapred-site.xml: 
<configuration> 
<property> 
<name>mapred.job.tracker</name> 
<value> localhost:9001 </value> 
</property> 
</configuration> 

8.运行hadoop 

进入 hadoop-0.20.1 /bin ，首先格式化文件系统： $ hadoop namenode – format 
启动 Hadoop ： $start-all.sh 

用jps命令查看进程： 

[root@localhost cloud]# jps 
2733 TaskTracker 
2672 JobTracker 
2610 SecondaryNameNode 
3927 Jps 
2486 NameNode 
2547 DataNode 

查看集群状态： $ hadoop dfsadmin -report 
Hadoop 的 web 方式查看： http://localhost:50070 

至此，安装完成。