hadoop全分布式集群搭建（小白从零到起飞）最详细！

所需工具 vmware15 Centos6.5 xhell xftp notepad++

企鹅号：1550213743
微博：Nym_车厘子
1.建好虚拟机后点击编辑-虚拟网络编辑器Vmnet8观察子网IP，一定要记住192.168.xxx后面有用
2.修改虚拟机ip 步骤：1右上角右键电脑图标 2.edit修改system eth0 选择ipv4手动修改添加
192.168.xxx.xxx.（这里和上面查到的对应 xxx自己随意添加）

3.打开命令窗口 ping baidu.com
4.接下来打开xhell，xftp 进行连接（如果不懂怎么连接自行百度）.创建software和 module文件夹，修改权限，将hadoop ，jdk包传入刚刚创建好的software。解压到module文件下

4.解压

5.配置jdk文件

6.进入后在最下边添加这两行（路径和我保持一致）
查路径方法 进入到jdk1.7.0—67下 pwd查询
7.查询多余jdk 删除，关防火墙（查看状态）

8.修改开机自动关闭，改为disabled 保存退出

9.reboot重启
10.vi /etc/sysconfig/network-scripts/ifcfg-eth0（开机自动联网修改），进入后修改为static 保存退出 service network restart 重新启动 然后关闭虚拟机

11.选择克隆-完整克隆2台，克隆后将ip全部修改192.168.xxx.xxx，分别不同
修改主机名称 （自定义）并查看

vi /etc/sysconfig/network

cat /etc/hosts

12. 修改网卡
mv /etc/sysconfig/network-scripts/ifcfg-Auto_eth1 /etc/sysconfig/network-scripts/ifcfg-eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth0 none改成 static
两条命令输完 将none改成static
service network restart 网络重启
reboot 重启虚拟机
13. vi /etc/ssh/sshd_config
进入后：set number
把 47.48.49#删除
14.免密登录 ssh-keygen -t rsa 敲三下回车
14. 将master服务器上/root/.ssh/目录下的authorized_keys、known_hosts复制到slave服务器的/root/.ssh目录中

15 删除两个节点下的hadoop
16 vim ~/.bash_profile 进入增加几行

配置成功

17.在根目录下创建一个文件夹，把做好的hadoop整体移动到、/home/hadoop/
18.开始配置文件，先删除原始temp文件
19.打开notepad++，进行连接[notepad++安装地址]下载地址

20分别打开配置文件进行配置
分别对应前四个粘贴进去 master改成你的主机名

 <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
    <property>
         <name>io.file.buffer.size</name>
         <value>131702</value>
     </property>
 </configuration>

master改成你的主机名

 <configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
</property>
     <property>
         <name>dfs.permissions.enable</name>
         <value>false</value>
     </property>
     <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>master:9001</value>
     </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
 </configuration>

master改成你的主机名

 <configuration>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
     <property>
         <name>mapreduce.jobhistory.address</name>
         <value>master:10020</value>
     </property>
 </configuration>

master改成你的主机名

     
         yarn.nodemanager.aux-services
         mapreduce_shuffle
     
     
         yarn.nodemanager.auxservices.mapreduce.shuffle.class
         org.apache.hadoop.mapred.ShuffleHandler
     
     
         yarn.resourcemanager.address
         master:8032
     
 

这三个分别添加jdk路径
export JAVA_HOME=/opt/module/jdk1.7.0_67
都改好之后保存退出
在主节点上复制到其他两个分节点
scp -r /home/hadoop xyj1:/home/
scp -r /home/hadoop xyj2:/home/

启动 ok