超详细的hadoop完全分布式安装及xsync等各个脚本

1.主机名修改

在完成虚拟机的创建后,进行主机名称修改:

#修改配置文件,将内容改为 master,保存退出
vi /etc/hostname  #将里面localhost删除进行改名

[root@host ~]$​ vi /etc/sysconfig/network     编辑,i 键插入
NETWORKING=yes
HOSTNAME=master                     修改为新名

:wq                             ESC 退出插入退出并保存
[root@bogon ~]$ reboot

​​2.永久关闭防火墙​

关闭防火墙,关闭防火墙开机自启:

#关闭防火墙
[root@hadoop100 ~]$ systemctl stop firewalld

#设置关闭防火墙开机自启
[root@hadoop100 ~]$ systemctl disable firewalld.service 

3.配置网络并测试

cd /etc/sysconfig/network-scripts/

vi  ifcfg-ens33
#这里说一下需要修改的位置:
#修改
BOOTPROTO=static #这里 dhcp 换成 static
ONBOOT=yes #将 no 换成 yes
#新增
IPADDR=192.168.222.171 #静态 IP
GATEWAY=192.168.222.2 #默认网关
NETMASK=255.255.255.0 #子网掩码DNS1=192.168.222.2#视实际情况而定,最好设置为网关
DNS2=8.8.8.8
保存退出后,重启网络服务,执行下面的命令 :
service network restart
#看到  Restarting network (via systemctl):                        [  OK  ] 为成功
关防火墙执行    systemctl stop firewalld
查看:ping www.baidu.com  看是否 ping 通

4.安装插件

(1)安装 epel-release

注:Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包,适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库,大多数 rpm 包在官方 repository 中是找不到的)

​[root@hadoop100 ~]$ yum install -y epel-release​​

(2)net-tool:工具包集合

​[root@hadoop100 ~]$ yum install -y net-tools​​

(3)vim:编辑器

​[root@hadoop100 ~]$ yum install -y vim​​

5.创建文件夹

​用于存放win传输来的tar安装包:

mkdir -p /opt/software​​

​将安装包进行解压到此目录:

mkdir -p /opt/module​​

6.配置 hosts 文件和 IP 地址映射

执行命令:vi /etc/hosts

超详细的hadoop完全分布式安装及xsync等各个脚本_第1张图片

7.进行虚拟机的克隆

克隆完成后,首先修改网络配置:

vi /etc/sysconfig/network-scripts/ifcfg-ens33

需要修改位置 IPADDR 和 DNS1 两个位置,修改完成后生效:

 service network restart

记得关闭防火墙

systemctl stop firewalld

最后测试 ping www.baidu.com。

再进行虚拟机名称的修改:vi /etc/hostname

之后 reboot 重启虚拟机。在此完成后即可再 finalshell 或者Xshell里面进行连接。

8.时间同步 NTP

(1)同步主机时间

安装 NTP 包(三个机器都要安装):

yum install -y ntp

之后在 bigdata2023master 做为 ntp 服务器,只修改此服务器 ntp 配置文件:

vi /etc/ntp.conf

末尾追加:

server 127.0.0.1

fudge 127.0.0.1 stratum 10

重启时间服务:

/bin/systemctl restart ntpd.service

稍等一会在 slave1 和 slave2 上执行: ntpdate bigdata2023master 出现如下图所示即表示成功。

若出现如下图错误:​

您收到此错误消息的原因是由于 xntpd 已经绑定到了该 Socket。运行 ntpdate 时,它会首先进行广播,然后侦听端口 123。如果 xntpd 正在运行,而有一个进程已经在侦听该端口了,则会使 ntpdate 无法在上面运行。运行下列命令,即可找出 xntpd 的 PID

按照以下绿色标记顺序快速执行

[root@SZDX-DNS-1 bin]# ps -ef|grep xntpd

root 124185 6192 0 15:49 pts/1 00:00:00 grep xntpd

可惜没有找到 pid。

使用 lsof –i:123

没有 lsof 命令的话:yum install -y lsof

lsof -i:123

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

ntpd 124171 ntp 16u IPv4 420557 0t0 UDP *:ntp

ntpd 124171 ntp 17u IPv6 420558 0t0 UDP *:ntp

[root@spark1 bin]# kill -9 12417

[root@spark11 bin]# ntpdate 192.168.100.120

13 Apr 09:08:36 ntpdate[124200]: step time server 192.168.100.120 offset -24096.422190 sec

[root@spark1 bin]# date

清除 (Kill) 该进程,然后尝试再次与 ntp 服务器进行同步。此时您不应该收到此错误消息。

请注意,如果您尝试与之同步的服务器没有运行 xntpd,则会收到下列错误消息:

ntpdate[12573]: no server suitable for synchronization found

出现这种情况的原因是,如果您想使用另一个服务器的时间,该服务器必须已经进行了自身同步。

(2)同步网络时间

如果不同步 master 的话,可以同步到网络时间 ntpdate -u cn.pool.ntp.org

9.SSH 免密登录

1.生成ssh包(所有机器都要执行):ssh-keygen -t dsa

2.拷贝文件(在除去master机器上的其他机器上)

cd /root/.ssh
ls
在这个目录下执行

scp id_dsa.pub root@bigdata2023master:/root/.ssh/bigdata2023slave1.pub

scp id_dsa.pub root@bigdata2023master:/root/.ssh/bigdata2023slave2.pub

3.合并文件(在master机器上)

cat id_dsa.pub bigdata2023slave1.pub bigdata2023slave2.pub >>authorized_keys

4.从master分发公钥

scp authorized_keys root@bigdata2023slave1:~/.ssh

scp authorized_keys root@bigdata2023slave2:~/.ssh

5.进行测试

在master上 ssh bigdata2023slave1 和 ssh bigdata2023slave2

在每台机器上对其他机器测试 ssh 【机器名】

6.退出登录

可以用exit退出远程登录

10.xsync脚本

(1)rsync 远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别:用rsync做文件的复制要比scp的速度快,

​rsync只对差异文件做更新,scp是把所有文件都复制过去​​​。

安装rsync(三台机器都要安装):

yum install rsync -y​​

(2)新建文件夹放置脚本

在# /home/leeroot/bin 目录下创建xsync文件(一定要在bin目录下!!)

mkdir  -p /home/leeroot/bin

(3)创建xsync

​
cd /home/leeroot/bin
在/homeleeroot/bin 目录下创建xsync文件: vi xsync

 xsync的核心代码内容如下,在新建的xsync文件下输入:

#!/bin/bash
1.判断参数个数if [ $ -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2.遍历集群所有机器   请改成你自己的主机映射
for host in host1 host2 host3
do
    echo =============== $host ==================
    #3.遍历所有目录,挨个发送
    for file in $@
    do
        #4.判断文件是否存在
        if [ -e $file ]
            then
		    #5.获取父目录
            pdir=(cd−P(dirname $file); pwd)
		    fname=(basenamefile)
		    # 创建文件夹和传输文件。请改成你自己的端口号
		    ssh -p 32200 host"mkdir−ppdir"
		    rsync -av -e 'ssh -p 32200' pdir/fname host:pdir
	    else
		    echo $file does not exists!
	    fi
    done
done

再添加权限 :

chmod 777 xsync

并添加全局执行,创建新文件夹,写入所有环境变量的配置

vi /etc/profile

将以下内容添加进环境变量,让创建的xsync脚本能全局执行:

#PATH
export PATH=$PATH:/home/leeroot/bin

环境变量生效:

source /etc/profile

即可完成

(4)测试xsync

在根目录创建a.txt,再进行分发:xsync a.txt

然后再其他服务器的根目录查看是否有a.txt文件。

11.安装JDK

(1)上传jdk安装包

cd /opt/software     在此目录上传jdk安装包;

在 Linux 系统下的 opt 目录中查看软件包是否导入成功在:ls进行查看。

看到如下结果:

jdk-8u321-linux-x64.tar.gz

(2)解压 JDK 到/opt/module 目录下

tar -zxvf jdk-8u321-linux-x64.tar.gz -C /opt/module/

(3)配置 JDK 环境变量

(1)新建/etc/profile.d/my_env.sh 文件:

vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_321
export PATH=$PATH:$JAVA_HOME/bin

(2)生效环境变量:

 source /etc/profile

(4)测试 JDK 是否安装成功

#输入java -version检验
[root@bigdata2023master ~]$ java -version

如果能看到以下结果,则代表 Java 安装成功。

java version "1.8.0_321"

(5)分发安装好的jdk

注意其他机器也需要安装JDK,此时比较简单。

在已经安装jdk的机器上进行分发:

scp -r /opt/module/jdk1.8.0_321/ root@bigdata2023slave1:/opt/module
scp -r /opt/module/jdk1.8.0_321/ root@bigdata2023slave2:/opt/module

分发环境变量:

xsync /etc/profile.d/my_env.sh

最后在其他机器上生效一下环境变量:source /etc/profile

其他机器检测是否安装成功:java -version

12.安装hadoop

(1)解压Hadoop并指定目录

[root@bigdata2023master ~]$ cd /opt/software/
[root@bigdata2023master software]$ tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module/

(2)配置Hadoop环境变量

[root@bigdata2023master ~]$  vim /etc/profile.d/my_env.sh

在末尾添加

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH=PATH:HADOOP_HOME/bin
export PATH=PATH:HADOOP_HOME/sbin

在hadoop-3.1.0启动时hadoop集群如果出现如下错误

[root@bigdata2023master sbin]#   start-all.sh
Starting namenodes on [hadoop]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [hadoop]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation
在环境变量中添加上如下配置:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root


(3)使修改后的文件生效

[root@bigdata2023master ~]$ source /etc/profile


(4)测试Hadoop是否安装成功

[root@bigdata2023master ~]$ hadoop version

​​Hadoop 3.2.2
Source code repository
Compiled by ljc1
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.2.2/share/hadoop/common/hadoop-common-3.2.2.jar​​​​

(5)分发安装好的Hadoop

注意其他机器也需要安装hadoop,此时比较简单。

在已经安装jdk的机器上进行分发:

scp -r /opt/module/hadoop-3.2.2/ root@bigdata2023slave1:/opt/module
scp -r /opt/module/hadoop-3.2.2/ root@bigdata2023slave2:/opt/module

分发环境变量:

xsync /etc/profile.d/my_env.sh

最后在其他机器上生效一下环境变量:source /etc/profile

其他机器检测是否安装成功:hadoop version

13.hadoop完全分布式配置

超详细的hadoop完全分布式安装及xsync等各个脚本_第2张图片

1.进入hadoop目录

[root@bigdata2023master ~]$ cd /opt/module/hadoop-3.2.2/etc/hadoop/

2.配置主要文件

此时注意,进入此目录后,将要配置的core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml都进行手动删除,再通过上传文件的形式快速配置好所需的文件,在上传前将需要的配置修改好,然后直接上传即可。

配置core-site.xml

[root@bigdata2023master hadoop]$ vim core-site.xml

之间添加内容:


	
    
        fs.defaultFS
        hdfs://bigdata2023master:8020
    

	
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.2.2/data
    

	
    
        hadoop.http.staticuser.user
        root
    

配置hdfs-site.xml

[root@bigdata2023master hadoop]$ vim hdfs-site.xml

	
	
        dfs.namenode.http-address
        bigdata2023master:9870
    
	
    
        dfs.namenode.secondary.http-address
        bigdata2023slave2:9868
    

配置yarn-site.xml

[root@bigdata2023master hadoop]$ vim yarn-site.xml



	
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

	
    
        yarn.resourcemanager.hostname
        bigdata2023slave1
    

	
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    


    
        yarn.log-aggregation-enable
        true
    

	
      
        yarn.log.server.url  
        http://bigdata2023master:19888/jobhistory/logs
    

	
    
        yarn.log-aggregation.retain-seconds
        1209600
    

配置mapred-site.xml

[root@bigdata2023master hadoop]$ vim mapred-site.xml

	
    
        mapreduce.framework.name
        yarn
    
	
    
        mapreduce.jobhistory.address
        bigdata2023master:10020
    
	
    
        mapreduce.jobhistory.webapp.address
        bigdata2023master:19888
    

3.同步所有节点配置文件

xsync /opt/module/hadoop-3.2.2/etc/hadoop

4.查看配置文件分发情况

分别在bigdata2023slave1和bigdata2023slave2上执行:

cat /opt/module/hadoop-3.2.2/etc/hadoop/core-site.xml

配置works

[root@bigdata2023master hadoop]$ vim /opt/module/hadoop-3.2.2/etc/hadoop/workers

清除原有内容,写入所有集群机器名称:

注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

bigdata2023master
bigdata2023slave1
bigdata2023slave2

同步所有节点配置文件

[root@bigdata2023master hadoop]$ xsync /opt/module/hadoop-3.2.2/etc/hadoop

14.启动集群并测试

(1)格式化 NameNode

如果集群是第一次启动,需要在(主节点)bigdata2023master 节点格式化 NameNode(注意:格式化 NameNode,会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化 NameNode 的话,一定要先停止 namenode 和 datanode 进程,并且要在cd /opt/module/hadoop-3.2.2/目录下删除所有机器的 data 和 logs 目录,然后再进行格式化。)

[root@bigdata2023master hadoop-3.2.2]$ hdfs namenode -format

(2)启动 HDFS

[root@bigdata2023master hadoop-3.2.2]$ sbin/start-dfs.sh

(3)在配置了 ResourceManager 的节点(hadoop103)启动 YARN

[root@bigdata2023master hadoop-3.2.2]$ sbin/start-yarn.sh

(4)Web 端查看 HDFS 的 NameNode

(a)浏览器中输入:http://bigdata2023master:9870 或者192.168.222.200:9870

(b)查看 HDFS 上存储的数据信息

(5)Web 端查看 YARN 的 ResourceManager

(a)浏览器中输入:http://bigdata2023slave1:8088 或者192.168.222.201:8088

(b)查看 YARN 上运行的 Job 信息

(6)上传大文件测试

hadoop fs -put /opt/software/jdk-8u321-linux-x64.tar.gz /

在网页上查看结果:

超详细的hadoop完全分布式安装及xsync等各个脚本_第3张图片

显示如上图即可表示安装成功,如若在测试可以进行mapreduce的数单词测试。

15.常用端口说明

超详细的hadoop完全分布式安装及xsync等各个脚本_第4张图片

你可能感兴趣的:(分布式,hadoop,大数据)