hadoop部署配置

端口名称 Hadoop2.x Hadoop3.x
NameNode内部通信端口 8020 / 9000 8020 / 9000/9820
NameNode HTTP UI 50070 9870
MapReduce查看执行任务端口 8088 8088
历史服务器通信端口 19888 19888

端口名称	Hadoop2.x	Hadoop3.x
NameNode内部通信端口	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
MapReduce查看执行任务端口	8088	8088
历史服务器通信端口	19888	19888

rsync和scp

scp -r test.txt hadoop@node1:/home/hadoop
rsync -av test.txt hadoop@node1:/home/hadoop

自定义通过脚本xsync

vim /home/hadoop/bin

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in node1 node2 node3
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

chmod +x xsync
xsync /home/hadoop/bin

在root用户下使用hadoop用户的xsync

sudo /home/hadoop/bin/xsync /export/server/Anaconda3-2021.05-Linux-x86_64.sh

服务器配置多版本python

su - root
上传到服务器包
https://repo.anaconda.com/archive/
Anaconda3-2021.05-Linux-x86_64.sh
分发node1,node2,node3安装包
sudo /home/hadoop/bin/xsync /export/server/Anaconda3-2021.05-Linux-x86_64.sh
安装执行
sh ./Anaconda3-2021.05-Linux-x86_64.sh

conda-env
base …

conda activate base
conda deactivate

在root用户安装了conda,其他用户无法使用

拷贝root用户下的.bashrc到指定的用户下

su - root
cp .bashrc /home/其他用户/.bashrc
su - 其他用户
source .bashrc

修改conda的文件夹权限,让其他用户有使用权限
···linux
chmod 777 /export/server/anaconda3