阿里腾讯云 hadoop+spark集群搭建（1）

阿里腾讯云 hadoop+spark集群搭建（1）

linux版本： centos7

hadoop版本： 3.1.1

手上有三台学生机，完全没动过的：一台是阿里云服务器，两台是腾讯云。

用阿里云做namenode，腾讯云做datanode。

目标是搭好hdfs和yarn，后面搭spark和hive。

---

1. 更新和下载软件包。安装jdk 版本为1.8.0

   $ sudo yum -y update
   $ sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel.x86_64 net-tools rsync mlocate wget vim gcc zlib-dev openssl-devel sqlite-devel bzip2-devel python-devel 
   

   这里通过yum安装的jdk路径默认是在 /usr/lib

   查找方法为：

   $ whereis java  
   （返回java: /usr/bin/java /usr/lib/java /etc/java....）
   $ ll /usr/bin/java  
   （返回/usr/bin/java -> /etc/alternatives/java，是软链接）
   $ ll /etc/alternatives/java 
   （返回/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre/bin/java）
   

   由于系统中可能有多版本的jdk，/etc/alternatives/java软链接用于指定真正使用的jdk版本。

   /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64就是安装的位置。

2. 设置安全规则（针对namenode）

   上阿里云加入安全组规则，由于是作学习用，直接加入规则

   端口范围： 1/65530  授权对象：0.0.0.0/0 
   

3. 关闭防火墙

   $ sudo systemctl stop firewalld.service 
   $ sudo systemctl disable firewalld.service
   

4. 修改hosts文件，这里要注意！

   阿里云namenode，其hosts如下：

   111.**.**.*8   slave1  （这里写的是腾讯云服务器的外网IP）
   134.**.**.*16  slave2  （这里写的是腾讯云服务器的外网IP）
   192.**.*.*12   master  （这里写的是阿里云服务器的内网IP）
   

   腾讯云的两台datanode，其hosts如下：

   39.**.2**.*2 master    （这里写的是阿里云服务器的外网IP）
   172.**.*.9 slave1      （这里写的是腾讯云服务器的外网IP）
   172.**.*.7 slave2       (这里写的是腾讯云服务器的外网IP）
   

5. 建立新用户并赋予其权限

   $ adduser hadoop
   $ passwd hadoop
   (输入hadoop用户的密码)
   $ su hadoop
   

   此时从root身份切换到hadoop。

6. 设置ssh免密登陆

   每台机器生成公私钥，namenode把自己的公钥拷到两个datanode中。datanode把自己的公钥拷到namenode中，并将可靠的公钥信息写入/.ssh/authorized_keys文件中。

7. 下载hadoop并解压缩，并建立所需文件夹

   $ curl -O https://www-us.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
   $ mkdir hadoop
   $ tar -zxvf hadoop-3.1.1.tar.gz -C ~/hadoop/
   $ cd hadoop/hadoop-3.1.1
   
   
   $ mkdir tmp & mkdir dfs
   $ cd dfs
   $ mkdir data & mkdir name
   

8. 配置文件与环境变量

   配置core-site.xml、hdfs-site.xml、yarn-site.xml、workers、hadoop-env.sh。

• core-site.xml

  
     
         fs.defaultFS
         hdfs://master:9000/
     
     
          hadoop.tmp.dir
         /home/hadoop/hadoop/hadoop-3.1.1/tmp/
     
  
  

• hdfs-site.xml

  
     
         dfs.namenode.name.dir
         /home/hadoop/hadoop/hadoop-3.1.1/dfs/name
     
     
         dfs.datanode.data.dir
         /home/hadoop/hadoop/hadoop-3.1.1/dfs/data
     
     
         dfs.http.address
         0.0.0.0:50070
     
     
         dfs.namenode.secondary.http-address
         master:9001
     
     
     dfs.webhdfs.enabled
     true
     
  
  

• yarn-site.xml

  
      
          yarn.resourcemanager.hostname
         master
     
     
             yarn.resourcemanager.webapp.address
         master:8088
     
     
         yarn.nodemanager.aux-services
         mapreduce_shuffle
     
  
  

• hadoop-env.sh

  在第54行处加入JAVA_HOME变量。

  # The java implementation to use. By default, this environment
  # variable is REQUIRED on ALL platforms except OS X!
  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre
  

• workers

  slave1
  
  slave2
  

接下来，在/etc/profile.d下新建两个脚本 jdk-1.8.sh 和 hadoop-3.1.1.sh 。

• jdk-1.8.sh

  # !/bin/sh
  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64
  export JRE_HOME=${JAVA_HOME}/jre
  export PATH=${JRE_HOME}/bin:$PATH
  (因为java是在$JAVA_HOME/jre/bin之中的，所以PATH中不是$JAVA_HOME而是$JRE_HOME)
  

• hadoop-3.1.1.sh

  #!/bin/sh
  export HADOOP_HOME="/home/hadoop/hadoop/hadoop-3.1.1"
  export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH"
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
  

$ source /etc/profile 

这样每次服务器启动，都会自动运行这两个脚本，设置好相关的环境变量。

9. 格式化hdfs并开启（在namenode上）

   $ hdfs namenode -format
   $ start-all.sh
   
   

   成功的话，namenode中执行jps命令会显示4个进程：

   $ jps
   11270 SecondaryNameNode
   26747 Jps
   11052 NameNode
   11487 ResourceManager
   

   datanode中执行jps命令会显示3个进程：

   $ jps
   18468 DataNode
   23029 Jps
   18605 NodeManager
   

   访问namenode公网的8088端口，Active Nodes 显示为2。

   访问namenode公网的50070端口，

   完成。

---

如果namenode或者datanode在启动时碰到问题，就使用对应的机器进入到其hadoop目录下的logs文件夹中查看日志信息，再根据日志信息去解决问题。

注意一个问题：

如果你执行了多次hdfs namenode -format，会出现datanode无法成功启动的情况，此时50070页面Live Nodes为0，8088页面为2。

原因是该命令清空了hadoop目录下dfs/data下的数据，但是对于datanode却没有，导致版本对不上号，解决办法是：删除datanode中dfs/data下的数据，重新启动。不要随意执行namenode的format命令。