Hadoop伪分布式配置

Hadoop伪分布式配置

一、 硬件类型
Linux系统：Centos6.0  虚拟机：VMware-workstation-9.0  主机：Win7
Hadoop：hadoop-1.0.4  开发工具：Eclipse

二、 SSH的配置
1. 安装SSH
#yum install openssh-server
2. 设置无密码登录SSH
#ssh-keygen -t dsa
#cd ~/.ssh 
#cat id_dsa.pub >> authorized_keys

三、 JDK的配置
准备：下载jdk-6u27-linux-i586.bin 
1. 权限问题：如果以普通用户登陆，切换到root用户，但安全起见，还是建议普通用户登陆，切换方式：
$ su – root     //准备切换
2. 解压文件：
[color=darkred]mkdir /usr/java      //在usr目录下建一个文件夹java
//进入home文件夹，假设jdk-6u27-linux-i586.bin在home文件夹下
#cd /home  
#cp jdk-6u27-linux-i586.bin /usr/java  //复制到java文件夹
#cd /usr/java
#  ./jdk-6u27-linux-i586.bin   //解压
生成文件夹jdk1.6.0_27
3. 配置环境变量：
用文本编辑器打开 /etc/profile文件加入以下几行：
export JAVA_HOME=/usr/java/jdk1.6.0_27
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

四、 Hadoop伪分布式
1. 解压Hadoop
#tar -zxvf hadoop-1.0.4.tar.gz
2. 设置hadoop的JAVA_HOME环境变量
#cd /usr/java/hadoop-1.0.4/conf/
#gedit /usr/java/hadoop-1.0.4/conf/hadoop-env.sh
#export JAVA_HOME="/usr/java/jdk1.6.0_27"
3. 设置参数
1) 执行 cd /etc/sysconfig,进入/etc/sysconfig 目录下
2) 执行 vi network,修改network文件，
NETWORKING=yes
HOSTNAME=HadoopName
#把HOSTNAME改成你想要的机器名，我改成了HadoopName，然后保存
3) 执行 cd  /etc,进入/etc 目录下
4) 执行vi hosts，修改hosts文件
  # Do not remove the following line, or various programs
  # that require network functionality will fail.
     192.168.22.128     HadoopName hadoopName
     127.0.0.1           localhost.localdomain localhost
5) 修改配置文件
core-site.xml
<configuration>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop_tmp</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
         <name>fs.default.name</name>
          <value>hdfs://192.168.22.128:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
<property>
<name>dfs.permissions</name>
        <value>false</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
          <name>mapred.job.tracker</name>
          <value>192.168.22.128:9001</value>
</property>
</configuration>
Masters及Slaves文件都更改为：
192.168.22.128

五、 问题总结
1. Win7下的Eclipse一直连接Hadoop未连接上
CentOS防火墙的关闭，关闭其服务即可：
查看CentOS防火墙信息：/etc/init.d/iptables status
关闭CentOS防火墙服务：/etc/init.d/iptables stop