Hadoop伪分布式模式的安装和配置

Hadoop伪分布式模式的安装和配置

① 配置ssh，生成密钥，使到ssh可以免密码连接localhost

② 下载并解压jdk，并配置环境变量

③ 下载并解压Hadoop安装包，本文选择版本hadoop-1.1.2.tar.gz

④ 进入Hadoop的解压目录，编辑conf/hadoop-env.sh文件 

⑤ 编辑conf目录下core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件

⑥ 格式化HDFS

⑦ 使用bin/start-all.sh启动Hadoop

⑧ 使用bin/stop-all.sh关闭Hadoop

机器：Windows下VMware虚拟机

系统：centos6.4

用户：root

①  配置ssh，生成密钥，使到ssh可以免密码连接localhost

在配置之前可以做下试验。

如果root用户是有密码的。

[root@localhost local]#ssh localhost系统会提示你输入密码

[root@localhostlocal]#cd

[root@localhost ~]# ssh-keygen -t rsa会在~/.ssh/文件夹下生成id_rsa  id_rsa.pub两个文件

[root@localhost .ssh]# cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  把公钥告诉自己

[root@localhost local]#ssh localhost 再次ssh localhost 就不需要再输入密码了

② 下载并解压jdk，并配置环境变量

下载并移动jdk-6u24-linux-i586.bin和hadoop-1.1.2.tar.gz到  /usr/local文件夹下

解压jdk并配置环境变量

[root@localhost local]#  cd /usr/local

[root@localhost local]#  ./jdk-6u24-linux-i586.bin解压jdk后，生成jdk1.6.0_24文件夹

[root@localhost local]# vi /etc/profile在空白处加上下面两行

export JAVA_HOME=/usr/local/jdk1.6.0_24
export PATH=.:$JAVA_HOME/bin:$PATH

然后保存退出。

[root@localhost local]# source /etc/profile使新修改的环境变量生效。

验证： java -version

③ 下载并移动hadoop-1.1.2.tar.gz到  /usr/local文件夹下

[root@localhost local]# tar -zxvf hadoop-1.1.2.tar.gz解压hadoop

④ 进入Hadoop的解压目录，编辑conf/hadoop-env.sh文件

[root@localhost local]# cd hadoop-1.1.2
[root@localhost hadoop-1.1.2]# cd conf
[root@localhost conf]# vi hadoop-env.sh 编辑hadoop-env.sh

去掉# export JAVA_HOME=/usr/lib/j2sdk1.5-sun的#,

并修改为 export JAVA_HOME=/usr/local/jdk1.6.0_24保存退出

⑤ 编辑conf目录下core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件

一、core-site.xml

<configuration>
   <property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>change your own hostname</description>
   </property>
   <property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-1.1.2/tmp</value>

<description>hadoop的data block文件将会放在 /usr/local/hadoop-1.1.2/tmp/dfs/data 文件夹下面，不设置hadoop的数据文件将会在/tmp临时文件夹下易丢失</description>

   </property>  
</configuration>

二、hdfs-site.xml

<configuration>
   <property>
<name>dfs.replication</name>
<value>1</value>
   </property>
   <property>
<name>dfs.permissions</name>
<value>false</value>
   </property>
</configuration>

三、mapred-site.xml

<configuration>
   <property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
<description>change your own hostname</description>
   </property>
</configuration>

⑥ 格式化HDFS

[root@localhost ~]# cd /usr/local/hadoop-1.1.2/bin/进入hadoop可执行命令目录

[root@localhost bin]# hadoop namenode -formathdfs文件系统格式化命令

控制台显示一下信息则说明格式化成功

Storage directory /usr/local/hadoop-1.1.2/tmp/dfs/name has been successfully formatted

⑦ 使用bin/start-all.sh启动Hadoop

[root@localhost bin]# start-all.sh启动hadoop

如何验证hadoop是否启动成功？

jps命令可以用来查看hadoop启动的java进程。

[root@localhost bin]# jps
3991 Jps
3675 DataNode
3779 SecondaryNameNode
3851 JobTracker
3571 NameNode
3952 TaskTracker

⑧ 使用bin/stop-all.sh关闭Hadoop