Hadoop 1.2.1 伪分布式模式安装

准备工作：

下载Hadoop ：Hadoop下载地址

安装JDK：JDK环境变量设置，在/etc/profile或者~/.bashrc里面添加

export JAVA_HOME={your java home}
export JAVA_BIN={your java home}/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

source /etc/profile 让环境变量立即生效。

安装ssh：sudo apt-get install ssh 

配置ssh免登陆：

1）查看是否生成目录.ssh：  $ ls -al /home/mupeng/

 如果没有，手动创建目录.ssh：  $ mkdir /home/mupeng/.ssh

2）生成公、私密钥：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  或  $ ssh-keygen -t rsa

ssh-keygen是生成密钥的命令， -t表示生成密钥类型，此处为dsa(密钥认证)，-P用于提供密语，-f 指定密钥文件

3） 将公钥加到用于认证的公钥文件中：

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  或  cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys

4）验证： ssh localhost

如果出现以下画面，则表示配置成功。

修改Hadoop配置文件

conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

启动Hadoop伪集群

Format a new distributed-filesystem:

$ bin/hadoop namenode -format

Start the hadoop daemons:
$ bin/start-all.sh

Browse the web interface for the NameNode and the JobTracker; by default they are available at:

• NameNode - http://localhost:50070/

• JobTracker - http://localhost:50030/