大数据生态(四)集群部署提前准备

目录

文档方法无法永久关闭集群防火墙

查看防火墙状态

临时关闭防火墙

永久关闭

禁用透明页面压缩(Transparent Huge Pages),无效

原因

更改主机名

修改主机名

将主机名和ip绑定在一起

检测

创建群组和用户

设置ulimit参数

创建hadoop-hdfs目录

创建e3-info目录

.bash_profile配置

查看端口占用情况

时间同步问题

查看时间

同步时间

修改时区

安装ntpdate

关于e3base目录

文档方法无法永久关闭集群防火墙

查看防火墙状态

systemctl status firewalld

大数据生态(四)集群部署提前准备_第1张图片

临时关闭防火墙

systemctl stop firewalld

在这里插入图片描述

永久关闭

systemctl disable firewalld

大数据生态(四)集群部署提前准备_第2张图片

禁用透明页面压缩(Transparent Huge Pages),无效

原因:查看路径不对

文档命令

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

实际路径:/sys/kernel/mm/ ransparent_hugepage/enabled

更正:

echo never > /sys/kernel/mm/ ransparent_hugepage/enabled
echo never > /sys/kernel/mm/ transparent_hugepage/enabled

大数据生态(四)集群部署提前准备_第3张图片
大数据生态(四)集群部署提前准备_第4张图片

检测命令同样需要修改路径:

cat /sys/kernel/mm/transparent_hugepage/defrag

在这里插入图片描述

更改主机名

修改主机名

​ vi /etc/sysconfig/network

大数据生态(四)集群部署提前准备_第5张图片

vi /etc/hosts:将主机名和ip绑定在一起

在这里插入图片描述

检测

Reboot重启检测:

Hostname

在这里插入图片描述

cat /etc/sysconfig/network

在这里插入图片描述

cat /etc/hosts

在这里插入图片描述

创建群组和用户

1.创建新用户

useradd 用户名(以newUser为例)//创建用户 newUser
passwd 用户名(以newUser为例)//给用户newUser设置密码

用户的信息文件目录为; /home

在这里插入图片描述

正确的方法:

在这里插入图片描述

PS:passwd -S newUser //显示用户密码信息

​ passwd -d newUser //删除用户密码

在这里插入图片描述

在这里插入图片描述

2.新建组

groupadd 组名(以e3base_lxg为例)//创建组e3base_lxg

在这里插入图片描述

3.创建用户的同时加入某个组

useradd -g 组名(以e3base_lxg为例) 用户名(以B为例)//创建用户A,并将其加入组e3base_lxg

在这里插入图片描述

4.给已有的用户增加工作组

gpasswd -a 用户名 组名 //将e3base01加入组e3base_lxg

在这里插入图片描述

5.永久性删除用户

userdel 用户名(newUser)//删除用户newUser

Userdel -rf user 删除用户以及文件夹

在这里插入图片描述

groupdel 组名(B)//删除组B

不演示了一样,保留组接下来操作

6.从组中删除用户

gpasswd -d 用户名 组名

在这里插入图片描述

7.显示用户信息

id 用户名

在这里插入图片描述

或者
cat /etc/passwd查看该文件

大数据生态(四)集群部署提前准备_第6张图片

8.查看群组

查看当前用户所在组 :Groups

在这里插入图片描述

查看用户组 cat /etc/group

在这里插入图片描述

​ 筛选组:

cat /etc/group | grep group_name:

e3base_lxg中有B和e3base01两个用户

在这里插入图片描述

9.切换用户(系统用户)

Su 用户名

低权限到高权限要密码

在这里插入图片描述

在这里插入图片描述

设置ulimit参数

两个用户:root和e3base01

ulimit -u 65536 /ulimit -n 1048576 /ulimit -s 262144 /ulimit -c 65536

在这里插入图片描述

在这里插入图片描述

创建hadoop-hdfs目录

mkdir /var/run/hadoop-hdfs/

在这里插入图片描述

sudo chmod -R 755 /var/run/hadoop-hdfs/ //这里root用户可以不用sudo 赋权

在这里插入图片描述

创建e3-info目录

补充:cd /home home下,在这里可以看到home路径下存放的都是用户文件夹。

大数据生态(四)集群部署提前准备_第7张图片

正文

在集群中各主机的/e3base路径下(cd /e3base)下创建e3-info路径,

大数据生态(四)集群部署提前准备_第8张图片

.bash_profile配置

输入 vi ~/.bash_profile (注意要用户组用户的)

export E3_INFO_HOME=/e3base/e3-info

大数据生态(四)集群部署提前准备_第9张图片

立即生效:source ~/.bash_profile

在这里插入图片描述

查看端口占用情况

netstat -an 查看端口占用情况

netstat -tunlp|grep 端口号,用于查看指定端口号的进程情况

时间同步问题

查看时间

date -R

在这里插入图片描述

PS:美国山地时区是西七区,-0700

同步时间

ntpdate -u ntp.api.bz

ntp常用服务器:

中国国家授时中心:210.72.145.44
NTP服务器(上海) :ntp.api.bz
美国: time.nist.gov
复旦: ntp.fudan.edu.cn
微软公司授时主机(美国) :time.windows.com
北京邮电大学 : s1a.time.edu.cn
清华大学 : s1b.time.edu.cn
北京大学 : s1c.time.edu.cn
台警大授时中心(台湾):asia.pool.ntp.org

在这里插入图片描述

修改时区

​ 可以修改相关配置文件,最方便的还是采用tzselect 命令进行选择:

执行tzselect命令–>选择Asia–>选择China–>选择east China - Beijing, Guangdong, Shanghai, etc–>然后输入1。

大数据生态(四)集群部署提前准备_第10张图片

安装ntpdate

​ yum intsall ntpdate

大数据生态(四)集群部署提前准备_第11张图片

关于e3base目录

​ 在前述配置中(本文没有在配置文档中),配置了应用目录 /e3base 以及创建了/e3base/e3-ifo文件夹,并在.bash/profile 中添加变量:

​ 输出在这里插入图片描述

后续文档中的变量$E3_INFO_HOME即为该地址。

你可能感兴趣的:(大数据,Linux,大数据,hadoop生态集群,集群提前部署准备)