大数据集群搭建心得

基础环境准备

• 1 将每台服务器的防火墙关闭

systemctl status firewalld.service #查看防火墙状态
systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld.service #禁止防火墙开机启动

• 2 配置hosts文件

在主节点上编辑hosts文件
vi /etc/hosts
配置的内容如下：
172.19.241.* master
172.19.241.* slave2
172.19.241.* slave3
172.19.241.* slave1

• 3 设置免密登录

选则一台服务器作为主节点，然后在该节点生成公钥
ssh-keygen -t rsa
然后把公钥发送到各个从节点
ssh-copy-id slave1
第一次需要密码，设置完成后，主节点访问各从节点就不再需要输入密码了

主节点安装

下面的操作均在主节点上完成

安装JDK

• 1 JDK下载
  https://www.oracle.com/technetwork/java/javase/downloads
• 2 将下载好的JDK上传到主节点
• 3 解压

在/usr/local下创建文件夹 java
mkdir /usr/local/java
然后将jdk解压到该文件夹下
tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local/java

• 4 配置JAVA_HOME

vi /etc/bashrc
在文件的末尾添加如下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export JRE_HOME=${
     JAVA_HOME}/jre
export PATH=${
     JAVA_HOME}/bin:$PATH

• 5 验证
  source /etc/bashrc
  然后输入 java -version

安装Hadoop

• 1 下载
  https://hadoop.apache.org/releases.html
• 2 上传并解压

mkdir /usr/local/hadoop
tar -zxvf hadoop-2.10.1.tar.gz -C /usr/local/hadoop

• 3 配置环境变量

cat >> /etc/profile < #Hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.10.0
export PATH=$PATH:$HADOOP_HOME/bin
EOF

• 4 检验

source /etc/profile
hadoop version

Hadoop配置文件

主要需要的配置文件有core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml，masters，slaves

• 1 core配置

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/core-site.xml

修改其内容为：

    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://master:9000
    

• 2 hdfs配置

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml

    
        dfs.replication
        3
    
    
        dfs.name.dir
        /usr/local/hadoop/hdfs/name
    
    
        dfs.data.dir
        /usr/local/hadoop/hdfs/data
    

• 3 mapred配置

复制
cp /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml
然后再编辑
vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml

  
      mapreduce.framework.name
      yarn
  
   
      mapred.job.tracker
      http://master:9001
  

• 4 yarn配置

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        master
    

• 5 master配置
  新建master文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/masters

master

• 6 slaves配置

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/slaves

slave1
slave2
slave3

从节点配置

• 1 将jdk分发到各从节点

scp jdk-8u231-linux-x64.tar.gz slave1:/usr/local

然后解压到/usr/local/java下

• 2 将hadoop分发到各从节点
  首先将已经配置好的hadoop打一个包

tar -zcvf hadoop.tar.gz /usr/local/hadoop

然后将打好的包分到各从节点

scp hadoop.tar.gz slave1:/usr/local

再将该包解压

tar -zxcf hadoop.tar.gz -C /usr/local

• 3 将几个配置文件分发到各从节点

分发hosts文件
scp /etc/hosts slave1:/etc/
分发profile文件
scp /etc/profile slave1:/etc/
分发bashrc文件
scp /etc/bashrc slave1:/etc/

然后检查一下配置是否生效

source /etc/profile
source /etc/bashrc
java -version
hadoop version

如何都没有问题,那就表明已经配置完成了,下面就是启动

Hadoop启动

集群启动,在主节点操作:

• 1 格式化namenode
  第一次启动服务前需要执行词操作，以后就不需要执行了。

hadoop namenode -format

• 2 启动

cd /usr/local/hadoop/hadoop-2.10.0
sbin/start-all.sh

• 3 检查
  用jps命令查看是否启动成功
  主节点有Namenode和ResourceManager进程
  从节点有Datanode和NodeManager进程

• 4 可视化查看
  hdfs访问 http://master:50070/
  yarn访问 http://master:8088/