hadoop伪分布式安装步骤

【资源】hadoop文档地址：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

【1】 ： host-only模式下设置静态ip
（1）设置本机win下的Vmnet1网络适配器的IPv4
控制面板 --> 网络和共享中心 --> 更改适配器设置 --> 设置IP

1 设置IP.png

此处设置win本地的VMIP

2 host-only.png

此处设置linux虚拟机的网络连接模式为host-only模式

2.png

此处设置linux的静态IP

2016-10-20_151639.png

设置完后执行命令service network restart 重启网卡

4 ping.png

成功后验证：查看本虚拟机IP并ping 本机下vm所设置IPv4的IP值，

【2】 ： 修改主机名

1 :修改当前会话的主机名
        hostname  hadoop  -- 设置当前会话主机名为hadoop
2 :修改配置文件中主机名
       vim /etc/sysconfig/network     将HOSTNAME的值设置为你所要更改的主机名hadoop

【3】 ： hostname与IP绑定

更改配置

vim /etc/hosts    添加内容    192.168.1.201  hadoop

2016-10-20_155454.png

【4】 ：关闭防火墙

1 : 本会话关闭防火墙
      service iptables stop
2 : 防止防火墙重启关闭
     chkconfig iptables off

3 :其他验证
  chkconfig  -- 检查所有配置内容
             iptables           0:off   1:off   2:on    3:on    4:on    5:on    6:off
  
   chkconfig --list | grep iptables   --查看防火墙配置

   chkconfig iptables off  --永久关闭防火墙

【5】 ： 设置SSH(SSH免密码登陆)

1 : 生成公钥
         ssh-keygen -t rsa     --  -t表示使用的生成公钥的算法，这里是rsa算法
       生成的公钥文件在 /~/.ssh下
2 ：进入存入公钥文件的目录，将公钥的.pub文件复制给authorized_keys(因为一般访问都是去访问这个文件)
执行命令：
cd .ssh/
cp id_rsa.pub authorized_keys

ssh.png

ssh1.png

---

【6】 ：hadoop安装

1 ) 下载hadoop.tar.gz文件并解压，然后将其复制到 /usr/local/下

tar -xzvf hadoop-1.1.2.tar.gz
cp -r  hadoop-1.1.2  /usr/local  
mv hadoop-1.1.2  hadoop   -- 重命名

2） 创建HADOOP_HOME,修改path

vim  /etc/profile

添加内容
   export HADOOP_HOME="/usr/local/hadoop"
   export GIT_HOME="/usr/local/git"
   export JAVA_HOME="/opt/jdk1.7.0_79"
   export PATH=".:$HADOOP_HOME/bin:$JAVA_HOME/bin:$GIT_HOME/bin:$PATH"

source /etc/profile   - 刷新此配置文件

hadoop -version 查看hadoop版本

2016-10-20_204122.png

3） 修改hadoop中的配置文件

分别要修改目录/hadoop/conf的四个文件
**文件一     hadoop-env.sh
**文件二     core-site.xml
**文件三     hdfs-site.xml
**文件四     mapred-site.xml


hadoop-env.sh文件修改内容
      export JAVA_HOME=/usr/local/jdk/

core-site.xml文件修改内容
     
         
            fs.default.name
            hdfs://hadoop:9000  --这里是你的主机名 
            change your own hostname
      
      
           hadoop.tmp.dir
           /usr/local/hadoop/tmp
        
    

hdfs-site.xml文件修改内容
    
        
            dfs.replication
            1#这里datanode的个数有几个就可以配几个，默认是三，不能超过datanode的数量
        
        
            dfs.permissions
            false
        
    

mapred-site.xml文件修改内容
    
        
            mapred.job.tracker
            hadoop:9001  --这里是你的主机名   
            change your own hostname
        
    

4 ） 格式化hadoop并启动

 hadoop  namenode  -format      -- 格式化

./start-all.sh   -- 启动

jps  -查看java线程

./stop-all.sh  --关闭

格式化并启动hadoop.png

5 ） 去除启动警告

在/etc/profiile下加环境变量
      export HADOOP_HOME_WARN_SUPPRESS="1"

去除警告.png

去除警告启动.png

6 ） linux本虚拟机测试

访问：
      192.168.1.201:50030    或者  hadoop：50030（这里hadoop是主机名，不是localhost）
      192.168.1.201:50070    或者  hadoop：50070

linux上访问.png

6 ） win7主机测试

    注意：可以先将主机与IP绑定

修改 ： C:\Windows\System32\drivers\etc下的hosts文件    将主机名与IP绑定
             添加内容   192.168.1.201  hadoop

访问 ：
      192.168.1.201:50030    或者  hadoop：50030（这里hadoop是主机名，不是localhost）
      192.168.1.201:50070    或者  hadoop：50070

win下访问.png