一起来学大数据｜Linux常用管理命令，及大数据集群的搭建

转自 ：https://www.toutiao.com/a6584315458000781838/?tt_from=mobile_qq&utm_campaign=client_share×tamp=1533083452&app=news_article&utm_source=mobile_qq&iid=39055545733&utm_medium=toutiao_ios

 

昨天，我们对Linux系统和一些命令进行了简单的介绍，不知道大家是不是有所收获。今天，我们补充Linux的管理命令和大数据的集群搭建。

管理命令

❶磁盘管理

在磁盘管理这里，我们有3个命令，分别是df，du，free

首先，第一个df命令的作用是用来查看Linux系统中文件的状态信息，能够显示各个分区的大小，占用率，还有就是未使用的大小等信息。

df命令是从文件系统方向考虑的，除了文件的占用内存以外，它还会将被我们命令占用或者程序占用的空间计算进去。

命令事例如下图。

 

第二个du命令是用来查看文件或者是我们系统目录的大小，换句话说就是磁盘的级别。此命令是面向的文件，它只会计算文件或者目录占用的空间大小。

命令事例如下图。

 

第三个是free命令，它的作用是用来查看内存和交换空间的使用状态。

命令事例如下图。

 

❷进程管理

ps：用来查看系统中的进程

 

pstree：用来显示系统中的进程树

 

top：用来查看系统的健康情况

kill：用来杀死或关闭系统进程

 

❸用户管理

 

❹权限管理

在权限这部分我们只需要理解即可，它是用来保护文件。权限的管理包括对文件和文件夹两部分的管理。

1.对文件的RWX

• R：代表着对文件的可读取的权限
• W：代表着此文件拥有写数据的权限
• X：代表着此文件的可执行权限

2.对文件夹的RWX

• R：表示可ls查看文件夹的内容
• W：表示此文件夹可以创建文件夹和文件
• X：表示我们可以进入文件夹，就像cd

需要说明的一点是文件夹只有具有可执行权，此文件夹才可以有写的权限，也就是说如果没有执行权，那么写对此文件夹是没有任何作用的。

3. 修改文件所属主

 

4. 修改文件所属组

 

yum

在centOS中，我们使用yum来安装软件，它能过自动的解决软件的依赖。

yum的工作：

 

在centos中，我们通过yum来下载软件，其中yum会自动从网络上下载安装包。但是当我们遇到网络慢或者没有网的时候，就需要加载本地的yum源，如下图所示的样子。

 

• 第一步：创建本地仓库mount /dev/cdrom /mnt/dvd 挂载光盘 将安装镜像挂载到指定的文件夹下。
• 第二步： 修改配置文件

 

常用的yum命令：

 

克隆多台机器

大数据中用到的就是集群，，我们需要在我们自己虚拟机中搭建多个机器来模拟大数据的集群，在后面多个虚拟机的开启也是十分消耗内存的，加一张内存条的效果会更好。

制作模板克隆之前需要删除/etc/udev/rules.d/70-persistent-net.rules目录下的网卡和mac地址的映射文件，删除之后关机。

 

我们在我们新建的虚拟机上右键点击模板机，选择克隆。

 

选择虚拟机中的当前状态，并进行下一步。

 

我们进入创建克隆的页面，创建并下一步。

 

为克隆的虚拟机起一个合适的名字和安排一个位置存放虚拟机。

 

开始克隆。

 

 

克隆完成之后，我们进入虚拟机修改信息。

 

大家看到我们在这里已经创建了5个虚拟机，算是一个小小的集群，为我们之后的大数据的学习打基础。