从零开始搭建hadoop集群，详细步骤

Linux虚拟机安装 后没有网络

一：首次进入虚拟机输入

二：选择启动后，显示没有网络的配置如下：

三：修改配置

一：修改自己windows系统的网络配置 VMware Network Adapter VMnet8
ipv4 设置为192.168.1.1 子网掩码设置255.255.255.0
二：修改VMware里面的：（工具栏的：编辑——》虚拟网络编辑器）如下图：

跳转到的地方

三：虚拟机配置

三：修改linux 配置，进入已安装的linux配置 进入root 用户下：(su root)输入密码
cd /etc/sysconfig/network-scripts 进入目录
vi ifcfg-eno16777736  编辑文件  从root目录进入修改
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 修改网络配置文件
1.修改配置：
BOOTPROTO=dhcp  原为动态网络    BOOTPROTO=static 修改为静态网络
ONBOOT=ON 原配置 ONBOOT=yes新配置
2.新增修改配置，加在配置文件最后
IPADDR=192.168.1.131
GATEWAY=192.168.1.2
DNS1=8.8.8.8
DNS2=8.8.4.4
NETMASK=255.255.255.0
修改内容如下图:如图一
3.修改完成后重启网卡：service network restart 再使用xshell 重新链接linux，
查看配置文件(cat /etc/sysconfig/network-scripts/ifcfg-eno16777736)：如图二

图一：

图二：

四：修改当前配置的虚拟机名称和域名对应配置

四：修改当前配置的虚拟机名称和域名对应配置
1.vi /etc/hostname 修改主机名;修改为:bigdata131
2.vi /etc/hosts 修改域名主机对应配置:
192.168.1.131	bigdata131
192.168.1.132	bigdata132
192.168.1.133	bigdata133
如下图一：
3.修改windows 配置hosts文件：C:\Windows\System32\drivers\etc hosts文件
192.168.1.121	bigdata111
192.168.1.122	bigdata112
192.168.1.123	bigdata113

192.168.1.131	bigdata131
192.168.1.132	bigdata132
192.168.1.133	bigdata133
4.查看和关闭防火墙，禁止开机启动
systemctl status firewalld.service  查看防火墙
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 开机关闭防火墙
如下图二：

图一：

图二：

linux配置安装jdk 和hadoop

1.查看opt目录是否有module(文件安装目录) 和soft(文件安装包存放目录)文件夹 cd /opt
mkdir module 
mkdir soft
winscp  上传linux jdk和hadoop 安装包

2.查看是否已安装java  rpm -qa | grep java
删除如下所有java文件：
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
tzdata-java-2015g-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch

3.解压安装jdk和hadoop
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module jdk安装到module目录下
tar -zxvf hadoop-2.8.4.tar.gz -C /opt/module

4.配置环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/module/hadoop-2.8.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile  使环境变量生效
如果环境变量坏了，配置这个
java  javac java -version 查看java是否安装成功
hadoop hadoop version  查看hadoop是否安装成功
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
如下图：

hadoop 本地模式

修改配置文件

1.进入hadoop的配置文件目录
cd /opt/module/hadoop-2.8.4/etc/hadoop/ 查看要修改的配置文件

a--->:修改core-site.xml配置文件



    
    fs.defaultFS
    hdfs://bigdata131(在配置/etc/hostname里面查看主机名，配置在这里):9000
    

    
    
    hadoop.tmp.dir
    /opt/module/hadoop-2.8.4/data/tmp
    




b--->:修改hdfs-site.xml配置文件

    
    
    dfs.replication
    1
    
    
    
    
    dfs.namenode.secondary.http-address
    主机名1:50090
    
    
    
    dfs.permissions
    false
    



c--->:修改yarn-site.xml配置文件

	
    
    yarn.nodemanager.aux-services
    mapreduce_shuffle
    

    
    
    yarn.resourcemanager.hostname
    bigdata131(使用当前主机名，单机)
    
    
    
    yarn.log-aggregation-enable
    true
    
    
    
    yarn.log-aggregation.retain-seconds
    604800
    



d---> 修改mapred-site.xml.template配置文件
1.修改文件名称：mv mapred-site.xml.template mapred-site.xml
2.编辑配置文件 vi mapred-site.xml

    
    
    mapreduce.framework.name
    yarn
    
    
    
    mapreduce.jobhistory.address
    bigdata131:10020
    
    
    
    mapreduce.jobhistory.webapp.address
    bigdata131:19888
    


e---->修改vi hadoop-env.sh 配置文件，配置hadoop的java环境变量的绝对路径
export JAVA_HOME=/opt/module/jdk1.8.0_144

f--->首次安装完成后要格式化namenode配置
hdfs namenode -format 格式化hadoop
start-all.sh  启动 输入密码
查看jps进程
如下图：
浏览器查看hadoop启动成功：
192.168.1.131:50070 hdfs界面
192.168.1.131:8088 yarn界面

hadoop集群搭建

一：集群模式机器环境搭建

集群模式最少三台机器，克隆完成以后（下面操做三台机器都要操做）
修改ip: vi /etc/sysconfig/network-scripts/ifcfg-eno16777736  
重启：service network restart
修改主机名称：vi /etc/hostname 
查看当前是否有jps进程，结束所有进程，且删除伪公布模式下的data数据目录:如下图：

修改新克隆机器的ip地址和主机名称

二：文件发送命令

    当前文件    目标文件地址和目录
scp /etc/hosts root@bigdata112:/etc/  文件发送命令 

三：配置集群机器免密码登录

1.在xshell里右键，选择(发送键输入到所有会话(K)),如下图：

2.输入 ssh-keygen 敲三下回车，生成秘钥文件，如下图：

3.配置三台机器秘钥

1. ssh-copy-id bigdata131 把三台主机生成的秘钥放到bigdata131 的秘钥库里
2. ssh-copy-id bigdata132 把三台主机生成的秘钥放到bigdata132 的秘钥库里
3. ssh-copy-id bigdata133 把三台主机生成的秘钥放到bigdata133 的秘钥库里

4.查看bigdata131、132、133节点的秘钥库：

cd /root/.ssh
秘钥库
authorized_keys  id_rsa  id_rsa.pub  known_hosts
查看 cat authorized_keys

三台机子都有秘钥库以后 使用ssh bigdata132 切换主机，验证是否免密码登录配置成功

5.集群配置 修改以下配置文件（发送到所有会话中，确保三个节点都有配置）

1.集群配置 修改hdfs-site.xml
<configuration>
    
    <property>
    <name>dfs.replicationname>
    <value>3value>（修改配置）
    property>
    
    <property>
    <name>dfs.namenode.secondary.http-addressname>
    <value>bigdata131:50090value>
    property>
    
    <property>
    <name>dfs.permissionsname>
    <value>falsevalue>
property>

2.集群配置 修改 yarn-site.xml 
<configuration>


    
    <property>
    <name>yarn.nodemanager.aux-servicesname>
    <value>mapreduce_shufflevalue>
    property>

    
    <property>
    <name>yarn.resourcemanager.hostnamename>
    <value>bigdata132value>（修改配置）
    property>
    
    <property>
    <name>yarn.log-aggregation-enablename>
    <value>truevalue>
    property>
    
    <property>
    <name>yarn.log-aggregation.retain-secondsname>
    <value>604800value>
    property>
configuration>

3.集群配置 修改mapred-site.xml
<configuration>
    
    <property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
    property>
    
    <property>
    <name>mapreduce.jobhistory.addressname>
    <value>bigdata132:10020value>（修改yarn配置的是那个主机为节点就配置那个主机）
    property>
    
    <property>
    <name>mapreduce.jobhistory.webapp.addressname>
    <value>bigdata132:19888value>（修改yarn配置的是那个主机为节点就配置那个主机）
    property>
configuration>

4.进入hadoop的安装文件里，配置slaves文件（右键发送到所有会话中编辑配置）
    cd /opt/module/hadoop-2.8.4/etc/hadoop/
    vi slaves
    添加三个(所有集群配置文件)
    bigdata131,bigdata132,bigdata133
    如下图：

6.启动配置集群

1.关闭发送所有会话，格式化namenode
hadoop namenode -format
查看所有日志为INFO级别，且没有错误
在bigdata131节点启动dfs
start-dfs.sh（stop）
如下图：启动成功
查看bigdata131节点的namenode
[root@bigdata131 hadoop-2.8.4]# jps
6289 DataNode
6066 NameNode
6931 Jps
6635 SecondaryNameNode

2.在bigdata132节点启动yarn
start-yarn.sh(stop) 启动成功如下图：
查看bigdata132节点的namenode

3.查看web页面是否配置成功
http://192.168.1.131:50070/dfshealth.html#tab-datanode 配置成功如下图：