大数据学习之路-Linux基础

Linux基础与Shell编程

- 1. Linux概述
- 2. 系统安装
- 3. Linux目录与结构
- 4. VI/VIM编辑器
- - 4.1 打开和新建文件
  - 4.2 VI三种工作模式
  - - 末行模式命令
    - 一般模式
    - 编辑模式
    - 指令模式
- 5 网络配置和系统管理操作
- - 5.1 配置网络ip地址
  - 5.2 配置主机名
  - 5.3 服务管理
  - 5.4 关机重启命令
- 6 常用基本命令
- - 6.1 帮助命令
  - 6. 2 文件目录类
  - 6.3 时间日期类
  - 6.4 用户管理命令
  - 6.5 用户组管理命令
  - 6.6 文件权限类
  - 6.7 搜索查找类
  - 6.8 压缩和解压类
  - 6.9 磁盘分区类
  - 6.10 进程线程类
  - 6.11 crontab 系统定时任务
- 7 软件包管理
- - 7.1 RPM
  - 7.1 YUM仓库配置
- 8 Shell
- - 8.1 Shell脚本入门
  - 8.2 变量
  - - 系统预定义变量
    - 自定义变量
    - 特殊变量
  - 8.3 条件判断
  - 8.4 流程控制
  - - if判断
    - case语句
    - for循环
    - while循环
  - 8.5 read读取控制台输入
  - 8.6 函数
  - - 系统函数
    - 自定义函数
  - 8.7 Shell工具
  - 8.8 正则表达式入门

1. Linux概述

Linux内核最初只是由芬兰人林纳斯·托瓦兹(Linus Torvalds)在赫尔辛基大学上学时出于个人爱好而编写的。

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

目前市面上较知名的发行版有：Ubuntu、RedHat、CentOS、Debain、Fedora、SuSE、OpenSUSE。

redhat：目前，全球最大的linux发行厂商，功能全面、稳定。
- Redhat 被 IBM 收购!
ubuntu：目前，是linux桌面操作系统做的最好的。
centos：免费版的redhat，centos 基于 redhat 发行版基础之上，再重新编译发布的版本。
- 目前 centos 已经被 Redhat 公司收购，但是依然免费

2. 系统安装

虚拟机 (Virtual Machine) 指通过 软件模拟 的具有完整硬件系统功能的. 运行在一个完全隔离环境中的完整计算机系统。
本次使用的是VMware Workstation , 下载地址(https://www.vmware.com/cn/products/workstation-pro.html).
使用的Linux发行版本是Centos7 64位, 安装的是CentOS-7-x86_64-DVD-1804.iso镜像文件。可以从以下资源下载镜像文件：
网易镜像：http://mirrors.163.com/centos/7/isos/
搜狐镜像：http://mirrors.sohu.com/centos/7/isos/

远程登录：通常在工作过程中，公司中使用的真实服务器或者是云服务器，都不允许除运维人员之外的员工直接接触，因此就需要通过远程登录的方式来操作。所以，远程登录工具就是必不可缺的，目前，比较主流的有Xshell, SSH Secure Shell, SecureCRT,FinalShell等，大家可以根据自己的习惯自行选择.

3. Linux目录与结构

Linux系统中一切皆文件，如下图所示

/bin ：是Binary的缩写, 这个目录存放着最经常使用的命令

/sbin：s就是Super User的意思，这里存放的是系统管理员使用的系统管理程序

/home：存放普通用户的主目录，在Linux中每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的

/root：该目录为系统管理员，也称作超级权限者的用户主目录

/lib: 系统开机所需要最基本的动态连接共享库，其作用类似于Windows里的DLL文件。几乎所有的应用程序都需要用到这些共享库。

/lost+found: 这个目录一般情况下是空的，当系统非法关机后，这里就存放了一些文件

/etc: 所有的系统管理所需要的配置文件和子目录。

/usr: 这是一个非常重要的目录，用户的很多应用程序和文件都放在这个目录下，类似于windows下的program files目录。

/boot: 这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件，自己的安装别放这里

/proc: 这个目录是一个虚拟的目录，它是系统内存的映射，我们可以通过直接访问这个目录来获取系统信息

/srv: service缩写，该目录存放一些服务启动之后需要提取的数据。

/sys: 这是linux2.6内核的一个很大

/tmp: 这个目录是用来存放一些临时文件的的变化。该目录下安装了2.6内核中新出现的一个文件系统 sysfs

/dev: 类似于windows的设备管理器，把所有的硬件用文件的形式存储。

/media(CentOS6): linux系统会自动识别一些设备，例如U盘、光驱等等，当识别后，linux会把识别的设备挂载到这个目录下。CentOS7迁移到 /run/media

/mnt: 系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将外部的存储挂载在/mnt/上，然后进入该目录就可以查看里的内容了。

/opt: 这是给主机额外安装软件所摆放的目录。比如你安装一个mysql数据库则就可以放到这个目录下。默认是空的

/var: 这个目录中存放着在不断扩充着的东西，我们习惯将那些经常被修改的目录放在这个目录下。包括各种日志文件

注意：一般不要 操作 非自己创建的目录和文件，否则可能导致服务器崩溃。

4. VI/VIM编辑器

VI是Unix操作系统和类Unix操作系统中最通用的文本编辑器。vi是 visual interface的简称, 是linux中最经典的文本编辑器.vi 的核心设计思想: 让程序员的手指始终保持在键盘的核心区域, 就能完成所有的编辑操作

vi的特点
- 只能是编辑 文本内容, 不能对字体段落进行排版
- 不支持鼠标操作
- 没有菜单
- 只有命令
vi编辑器在 系统管理服务器管理 编辑文件时, 其功能永远不是图形界面的编辑器能比拟的

VIM编辑器是从VI发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性，方便程序设计。VIM与VI编辑器完全兼容。

4.1 打开和新建文件

在终端中输入vim在后面跟上文件名即可

vim 文件名

如果文件已经存在, 会直接打开该文件
如果文件不存在, 保存且退出时就会新建一个文件

例如：

cd /export/ && rm -rf *
vim Hello.java

public class Hello {

        public static void main(String[] args) {
                System.out.println("Hello World!");
                // 1 将光标移动到上一行, 按 yy
                // 2 按 ESC 键 退出编辑模式
                // 3 按 19p
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                System.out.println("Hello World!");
                // 1 按 ESC 退出编辑模式
                // 2 按 : 进入莫行模式
                // 3 输入 wq(write quit)保存且退出 按回车键执行 
        }
}

在日常工作中, 有可能会遇到打开一个文件, 并定位到指定行的情况
例如: 在开发是, 知道某一行代码有错误, 可以快速定位到出错误代码的位置
这个时候, 可以使用以下命令打开文件

vim 文件名 +行数

例如：

vim Hello.java +10

如果 vi 异常退出, 在磁盘上可能会保存有交换文件
下次再使用 vi 编辑文件时, 会看到以下屏幕信息, 按下字母 d 删除交换文件即可

4.2 VI三种工作模式

VI有三种工作模式

命令模式
- 打开文件首先进入命令模式, 是使用vi的入口
- 通过命令对文件进行常规的编辑操作, 例如 定位翻页复制粘贴删除 … …
- 在其他图形编辑器下, 通过快捷键或者鼠标实现的操作, 都在 命令模式 下实现
末行模式 – 执行 保存退出等操作
- 要退出 vi 返回到控制台, 需要在莫行模式下输入命令
- 末行模式 是 vi 的出口
编辑模式 – 正常的编辑文字

工作模式切换：

末行模式命令

命令	英文	功能
w	write	保存
q	quit	退出,如果没有保存,不允许退出
q!	quit	强行退出,不保存退出
wq	write & quit	保存且退出(末行模式)
x		保存并退出(末行模式)
ZZ		保存并退出(命令模式)

一般模式

以vi打开一个档案就直接进入一般模式了（这是默认的模式）。在这个模式中，你可以使用『上下左右』按键来移动光标，你可以使用『删除字符』或『删除整行』来处理档案内容，也可以使用『复制、粘贴』来处理你的文件数据。

编辑模式

在一般模式中可以进行删除、复制、粘贴等的动作，但是却无法编辑文件内容的！要等到你按下『i, I, o, O, a, A』等任何一个字母之后才会进入编辑模式。
注意了！通常在Linux中，按下这些按键时，在画面的左下方会出现『INSERT或 REPLACE』的字样，此时才可以进行编辑。而如果要回到一般模式时，则必须要按下『Esc』这个按键即可退出编辑模式。

1）进入编辑模式

指令模式

在一般模式当中，输入『 : / ?』3个中的任何一个按钮，就可以将光标移动到最底下那一行。
在这个模式当中，可以提供你『搜寻资料』的动作，而读取、存盘、大量取代字符、离开 vi 、显示行号等动作是在此模式中达成的！

2）退出编辑模式
按『Esc』键退出编辑模式，之后所在的模式为一般模式。

5 网络配置和系统管理操作

5.1 配置网络ip地址

ifconfig 配置网络接口
ifconfig :network interfaces configuring网络接口配置
1）基本语法

ifconfig		（功能描述：显示所有网络接口的配置信息）

ping 测试主机之间网络连通性
1）基本语法

ping 目的主机	（功能描述：测试当前服务器是否可以连接目的主机）

测试当前服务器是否可以连接百度

 ping www.baidu.com

修改IP地址
查看IP配置文件，使用VIM编辑器进行修改配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

5.2 配置主机名

修改主机名称
1）基本语法

hostname		（功能描述：查看当前服务器的主机名称）

2）案例实操
（1）查看当前服务器主机名称

 hostname

（2）如果感觉此主机名不合适，我们可以进行修改。通过编辑/etc/hostname文件

vi /etc/hostname

修改完后重启生效

修改hosts映射文件（选做，为后续学习铺垫）
1）修改linux的主机映射文件（hosts文件）
后续在hadoop阶段，虚拟机会比较多，配置时通常会采用主机名的方式配置，
比较简单方便。不用刻意记ip地址。
（1）打开/etc/hosts

vim /etc/hosts

添加如下内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105

（2）重启设备，重启后，查看主机名，已经修改成功
2）修改windows的主机映射文件（hosts文件）
（1）进入C:\Windows\System32\drivers\etc路径
（2）打开hosts文件并添加如下内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105

3）修改window10的主机映射文件（hosts文件）
（1）进入C:\Windows\System32\drivers\etc路径
（2）拷贝hosts文件到桌面
（3）打开桌面hosts文件并添加如下内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105

（4）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

5.3 服务管理

1）基本语法

systemctl  start | stop | restart | status	  服务名

（1）查看防火墙服务的状态

systemctl status firewalld

（2）停止防火墙服务

systemctl stop firewalld

（3）启动防火墙服务

systemctl start firewalld

（4）重启防火墙服务

systemctl restart firewalld

systemctl 设置后台服务的自启配置
1）基本语法

systemctl list-unit-files         （功能描述：查看服务开机启动状态）
systemctl disable service_name  （功能描述：关掉指定服务的自动启动）
systemctl enable service_name   （功能描述：开启指定服务的自动启动）

2）案例实操
（1）开启/关闭iptables(防火墙)服务的自动启动

systemctl enable firewalld.service 
systemctl disable firewalld.service

5.4 关机重启命令

在linux领域内大多用在服务器上，很少遇到关机的操作。毕竟服务器上跑一个服务是永无止境的，除非特殊情况下，不得已才会关机。
正确的关机流程为：sync > shutdown > reboot > halt
1）基本语法

（1）sync  	（功能描述：将数据由内存同步到硬盘中）
（2）halt 	（功能描述：关闭系统，但不断电。等同于shutdown -h now 和 poweroff）
（3）reboot 	（功能描述：就是重启，等同于 shutdown -r now）
（4）shutdown [选项] 时间

2)经验技巧
Linux系统中为了提高磁盘的读写效率，对磁盘采取了 “预读迟写”操作方式。当用户保存文件时，Linux核心并不一定立即将保存数据写入物理磁盘中，而是将数据保存在缓冲区中，等缓冲区满时再写入磁盘，这种方式可以极大的提高磁盘写入数据的效率。但是，也带来了安全隐患，如果数据还未写入磁盘时，系统掉电或者其他严重问题出现，则将导致数据丢失。使用sync指令可以立即将缓冲区的数据写入磁盘。

3）案例实操
（1）将数据由内存同步到硬盘中

sync

（2）重启

reboot

（3）关机

halt

（4）计算机将在1分钟后关机，并且会显示在登录用户的当前屏幕中

shutdown -h 1 ‘This server will shutdown after 1 mins’

（5）立马关机（等同于 halt）

shutdown -h now

（6）系统立马重启（等同于 reboot）

shutdown -r now

6 常用基本命令

6.1 帮助命令

man 获得帮助信息
1）基本语法

man [命令或配置文件]		（功能描述：获得帮助信息）

例如：查看ls命令的帮助信息

man ls

查询command命令的使用手册

man 时 manual 的缩写, 是Linux提供的一个手册, 包含了绝大部分的命令、函数的详细使用说明.

使用 man 时的操作键:

空格键	显示手册的下一屏
操作键	功能
Enter键	一次滚动首页也得一行
b(back)	回滚一屏
f(forward)	前滚一屏
q (quit)	退出
/word	搜索word字符串
n(next)	搜索下一个
N	搜索上一个

help 获得shell内置命令的帮助信息

基本语法

help 命令	（功能描述：获得shell内置命令的帮助信息）

例如：查看cd命令的帮助信息

help cd

常用快捷键

6. 2 文件目录类

pwd 显示当前工作目录的绝对路径
pwd:print working directory 打印工作目录
1）基本语法

pwd		（功能描述：显示当前工作目录的绝对路径）

例如：显示当前工作目录的绝对路径

pwd

ls 列出目录的内容
ls:list 列出目录内容
1）基本语法

ls [选项] [目录或是文件]

2）选项说明

选项	英文	含义
-a	all	显示指定目录下所有子目录与文件, 包含隐藏文件
-l		以列表方式显示文件的详细信息
-h	human-readable	配合 -l 以人性化的方式显示文件大小

3）显示说明
每行列出的信息依次是：文件类型与权限链接数文件属主文件属组文件大小用byte来表示建立或最近修改的时间名字

例如：查看当前目录的所有内容信息

ls -al

cd 切换目录
cd:Change Directory切换路径
cd 是英文单词 change directory 的缩写, 其功能为 更改当前的工作目录, 也是用户最常用的命令之一

注意: linux的所有目录和 文件名 都是大小写敏感的
1）基本语法

cd  [参数]

2）参数说明

命令	含义
cd 目录	切换到指定目录下
cd …	切换到上级目录
cd -	可以在最近的两次目录之间切换
cd ~	切换到家目录(root用户家目录是 /root, 其他用户的家目录是 /home/用户名)

3）案例
（1）使用绝对路径切换到root目录

cd /root/

（2）使用相对路径切换到“公共的”目录

cd 公共的/

（3）表示回到自己的家目录，亦即是 /root 这个目录

cd ~

（4）cd- 回到上一次所在目录

cd -

（5）表示回到当前目录的上一级目录，亦即是 “/root/公共的”的上一级目录的意思；

cd ..

mkdir 创建一个新的目录
mkdir:Make directory 建立目录
1）基本语法

mkdir [选项] 要创建的目录

2）选项说明

选项	英文	含义
-p	parent	可以递归创建目录

3）案例
（1）创建一个目录

mkdir test

（2）创建一个多级目录

mkdir -p log/java/slf4j

rmdir 删除一个空的目录
rmdir:Remove directory 移动目录
1）基本语法

rmdir 要删除的空目录

2）案例
删除一个空的文件夹

rmdir log/java/slf4j

touch 创建空文件
1）基本语法

touch 文件名称

2）案例

touch HelloWorld.java

cp 复制文件或目录
1）基本语法

cp [选项] source dest 				（功能描述：复制source文件到dest）

选项说明

命令	英文	作用
-r	recursive (递归)	递归复制目标目录的内容

经验技巧
强制覆盖不提示的方法：\cp
案例
（1）复制文件

cp /opt/module/test/a.txt /opt/software/conf

（2）递归复制整个文件夹

cp -r test/ ./

rm 删除文件或目录
1）基本语法

rm [选项] deleteFile			（功能描述：递归删除目录中所有内容）

2）选项说明

参数	英文	含义
-f	force (强制)	强制删除,忽略不存在的文件, 无需提示

参数	英文	含义
-r	recursive (递归)	递归地删除目录下的内容, 删除文件夹时必须加此参数

-r 递归删除目录中所有内容
-f 强制执行删除操作，而不提示用于进行确认。
-v 显示指令的详细执行过程

3）案例
（1）删除目录中的内容

rm /test/a.txt

（2）递归删除目录中所有内容

rm -rf test/

(3) rm 结合通配符 * ? [abc][a-z]

rm -rf *.txt

mv 移动文件与目录或重命名
1）基本语法

（1）mv oldNameFile newNameFile	（功能描述：重命名）
（2）mv /temp/movefile /targetFolder	（功能描述：移动文件）

2）案例
（1）重命名

mv a.txt b.txt

（2）移动文件

mv a.txt ./

cat 查看文件内容
查看文件内容，从第一行开始显示。
1）基本语法

cat  [选项] 要查看的文件

2）选项说明

cat -n 文件名

参数	英文	含义
-n	number	显示行号

3）经验技巧
一般查看比较小的文件，一屏幕能显示全的。
4）案例实操
（1）查看文件内容并显示行号

cat -n a.txt

more 文件内容分屏查看器
more指令是一个基于VI编辑器的文本过滤器，它以全屏幕的方式按页显示文本文件的内容。more指令中内置了若干快捷键，详见操作说明。
1）基本语法

more 要查看的文件

2）操作说明

3）案例实操
（1）采用more查看文件

more application.xml

less 分屏显示文件内容
less指令用来分屏查看文件内容，它的功能与more指令类似，但是比more指令更加强大，支持各种显示终端。less指令在显示文件内容时，并不是一次将整个文件加载之后才显示，而是根据显示需要加载内容，对于显示大型文件具有较高的效率。
1）基本语法

less 要查看的文件

2）操作说明

3）案例实操
（1）采用less查看文件

less core-site.xml

echo
echo输出内容到控制台
1）基本语法

echo [选项] [输出内容]

选项：
-e：支持反斜线控制的字符转换

2）案例

echo “hello\tworld”

echo -e “hello\tworld”

head 显示文件头部内容
head用于显示文件的开头部分内容，默认情况下head指令显示文件的前10行内容。
1）基本语法

head 文件	      （功能描述：查看文件头10行内容）
head -n 5 文件     （功能描述：查看文件头5行内容，5可以是任意行数）

2）选项说明
-n<行数> 指定显示头部内容的行数

3）案例
查看文件的头2行

head -n 2 Hello.txt

tail 输出文件尾部内容
tail用于输出文件中尾部的内容，默认情况下tail指令显示文件的后10行内容。
1）基本语法

（1）tail  文件 			（功能描述：查看文件尾部10行内容）
（2）tail  -n  5 文件 	（功能描述：查看文件尾部5行内容，5可以是任意行数）
（3）tail  -f  文件		（功能描述：实时追踪该文档的所有更新）

2）选项说明
选项功能
-n<行数> 输出文件尾部n行内容
-f 显示文件最新追加的内容，监视文件变化
3）案例
（1）查看文件尾1行内容

tail -n 1 services.conf

（2）实时追踪该档的所有更新

tail -f houge.txt

> 输出重定向和 >> 追加
1）基本语法

（1）ls -l  > 文件		（功能描述：列表的内容写入文件a.txt中（覆盖写））
（2）ls -al  >> 文件		（功能描述：列表的内容追加到文件aa.txt的末尾）
（3）cat 文件1 > 文件2	（功能描述：将文件1的内容覆盖到文件2）
（4）echo “内容” >> 文件

2）案例
（1）将ls查看信息写入到文件中

ls -l>houge.txt

（2）将ls查看信息追加到文件中

ls -l>>houge.txt

（3）采用echo将hello单词追加到文件中

echo hello>>houge.txt

ln 软链接
软链接也成为符号链接，类似于windows里的快捷方式，有自己的数据块，主要存放了链接其他文件的路径。
1）基本语法

ln -s [原文件或目录] [软链接名]		（功能描述：给原文件创建一个软链接）

2）经验技巧
删除软链接： rm -rf 软链接名，而不是rm -rf 软链接名/
如果使用 rm -rf 软链接名/ 删除，会把软链接对应的真实目录下内容删掉
查询：通过ll就可以查看，列表属性第1位是l，尾部会有位置指向。

history 查看已经执行过历史命令
1）基本语法

history						（功能描述：查看已经执行过历史命令）

2）案例
（1）查看已经执行过的历史命令

history

6.3 时间日期类

1）基本语法

date [OPTION]... [+FORMAT]

2）选项说明
选项功能
-d<时间字符串> 显示指定的“时间字符串”表示的时间，而非当前时间
-s<日期时间> 设置系统日期时间

date 显示当前时间
1）基本语法

（1）date								（功能描述：显示当前时间）
（2）date +%Y							（功能描述：显示当前年份）
（3）date +%m							（功能描述：显示当前月份）
（4）date +%d							（功能描述：显示当前是哪一天）
（5）date "+%Y-%m-%d %H:%M:%S"		（功能描述：显示年月日时分秒）

2）案例
（1）显示当前时间信息

date

（2）显示当前时间年月日

date +%Y%m%d

（3）显示当前时间年月日时分秒

date "+%Y-%m-%d %H:%M:%S"

date 显示非当前时间
1）基本语法

（1）date -d '1 days ago'			（功能描述：显示前一天时间）
（2）date -d '-1 days ago'			（功能描述：显示明天时间）

2）案例
（1）显示前一天

date -d '1 days ago'

（2）显示明天时间

date -d '-1 days ago'

date 设置系统时间
1）基本语法

date -s 字符串时间

2）案例
（1）设置系统当前时间

date -s "2022-01-01 20:52:18"

cal 查看日历
1）基本语法

cal [选项]			（功能描述：不加选项，显示本月日历）

2）案例实操
（1）查看当前月的日历

cal

（2）查看2017年的日历

cal 2022

6.4 用户管理命令

useradd 添加新用户
1）基本语法

useradd 用户名			（功能描述：添加新用户）
useradd -g 组名 用户名	（功能描述：添加新用户到某个组）

2）案例
（1）添加一个用户

useradd monash
ll /home/

passwd 设置用户密码
1）基本语法

passwd 用户名	（功能描述：设置用户密码）

2）案例
（1）设置用户的密码

passwd monash

id 查看用户是否存在
1）基本语法

id 用户名

2）案例
（1）查看用户是否存在

id monash

cat /etc/passwd 查看创建了哪些用户
1）案例

cat  /etc/passwd

su 切换用户
su: swith user 切换用户
1）基本语法

su 用户名称   （功能描述：切换用户，只能获得用户的执行权限，不能获得环境变量）
su - 用户名称 （功能描述：切换到用户并获得该用户的环境变量及执行权限）

2）案例
（1）切换用户

su tangseng
echo $PATH
exit

su - tangseng
echo $PATH

userdel 删除用户
1）基本语法

（1）userdel  用户名		（功能描述：删除用户但保存用户主目录）
（2）userdel -r 用户名	（功能描述：用户和用户主目录，都删除）

2）选项说明
-r 删除用户的同时，删除与用户相关的所有文件。
3）案例
（1）删除用户但保存用户主目录

userdel monash
ll /home/

（2）删除用户和用户主目录，都删除

useradd jack
ll /home/
userdel -r jack
ll /home/

who 查看登录用户信息
1）基本语法

（1）whoami			（功能描述：显示自身用户名称）
（2）who am i		（功能描述：显示登录用户的用户名以及登陆时间）

2）案例
（1）显示自身用户名称

whoami

（2）显示登录用户的用户名

who am i

sudo 设置普通用户具有root权限
1）添加monash用户，并对其设置密码。

useradd monash
passwd monash

2）修改配置文件

vi /etc/sudoers
修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下所示：
## Allow root to run any commands anywhere
root       ALL=(ALL)     ALL
moansh   ALL=(ALL)     ALL
或者配置成采用sudo命令时，不需要输入密码
## Allow root to run any commands anywhere
root       ALL=(ALL)     ALL
monash   ALL=(ALL)     NOPASSWD:ALL
修改完毕，现在可以用monash帐号登录，然后用命令 sudo ，即可获得root权限进行操作。

3）案例
（1）用普通用户在/opt目录下创建一个文件夹

[monash@hadoop101 opt]$ sudo mkdir module
[root@hadoop101 opt]$ chown monash:monash module/

usermod 修改用户
1）基本语法

usermod -g 用户组 用户名

2）选项说明
-g 修改用户的初始登录组，给定的组必须存在。默认组id是1。
3）案例实操
（1）将用户加入到用户组

usermod -g root jack

6.5 用户组管理命令

每个用户都有一个用户组，系统可以对一个用户组中的所有用户进行集中管理。不同Linux 系统对用户组的规定有所不同，
如Linux下的用户属于与它同名的用户组，这个用户组在创建用户时同时创建。
用户组的管理涉及用户组的添加、删除和修改。组的增加、删除和修改实际上就是对/etc/group文件的更新。
groupadd 新增组
1）基本语法

groupadd 组名

2）案例
（1）添加一个school组

groupadd school

groupdel 删除组
1）基本语法

groupdel 组名

2）案例实操
（1）删除school组

groupdel school

groupmod 修改组
1）基本语法

groupmod -n 新组名 老组名

2）选项说明
-n<新组名> 指定工作组的新组名
3）案例
（1）修改monash组名称为monash-FIT

groupadd monash-FIT
groupmod -n monash monash-FIT

cat /etc/group 查看创建了哪些组
1）基本操作

cat  /etc/group

6.6 文件权限类

文件属性
Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。为了保护系统的安全性，Linux系统对不同的用户访问同一文件（包括目录文件）的权限做了不同的规定。在Linux中我们可以使用ll或者ls -l命令来显示一个文件的属性以及文件所属的用户和组。
1）从左到右的10个字符表示，如图所示

如果没有权限，就会出现减号[ - ]而已。从左至右用0-9这些数字来表示:
（1）0首位表示类型
在Linux中第一个字符代表这个文件是目录、文件或链接文件等等
- 代表文件
d 代表目录
l 链接文档(link file)；
（2）第1-3位确定属主（该文件的所有者）拥有该文件的权限。—User
（3）第4-6位确定属组（所有者的同组用户）拥有该文件的权限，—Group
（4）第7-9位确定其他用户拥有该文件的权限 —Other

2）rxw作用文件和目录的不同解释
（1）作用到文件：
[ r ]代表可读(read): 可以读取，查看
[ w ]代表可写(write): 可以修改，但是不代表可以删除该文件，删除一个文件的前提条件是对该文件所在的目录有写权限，才能删除该文件.
[ x ]代表可执行(execute):可以被系统执行
（2）作用到目录：
[ r ]代表可读(read): 可以读取，ls查看目录内容
[ w ]代表可写(write): 可以修改，目录内创建+删除+重命名目录
[ x ]代表可执行(execute):可以进入该目录

chmod 改变权限
1）基本语法
如图所示

第一种方式变更权限

chmod  [{ugoa}{+-=}{rwx}] 文件或目录

第二种方式变更权限

chmod  [mode=421 ]  [文件或目录]

2）经验技巧
u:所有者 g:所有组 o:其他人 a:所有人(u、g、o的总和)
r=4 w=2 x=1 rwx=4+2+1=7

chown 改变所有者
1）基本语法

chown [选项] [最终用户] [文件或目录]		（功能描述：改变文件或者目录的所有者）

2）选项说明
-R 递归操作

chgrp 改变所属组
1）基本语法

chgrp [最终用户组] [文件或目录]	（功能描述：改变文件或者目录的所属组）

6.7 搜索查找类

find 查找文件或者目录
find指令将从指定目录向下递归地遍历其各个子目录，将满足条件的文件显示在终端。
1）基本语法

find [搜索范围] [选项]

2）选项说明
选项功能
-name<查询方式> 按照指定的文件名查找模式查找文件
-user<用户名> 查找属于指定用户名所有文件
-size<文件大小> 按照指定的文件大小查找文件,单位为:
b —— 块（512字节）
c —— 字节
w —— 字（2字节）
k —— 千字节
M —— 兆字节
G —— 吉字节

3）案例
（1）按文件名：根据名称查找test/目录下的filename.txt文件。

find test/ -name *.txt

（2）按拥有者：查找/opt目录下，用户名称为-user的文件

find test/ -user monash

（3）按文件大小：在/home目录下查找大于200m的文件（+n 大于 -n小于 n等于）

find /home -size +204800

locate快速定位文件路径
locate指令利用事先建立的系统中所有文件名称及路径的locate数据库实现快速定位给定的文件。Locate指令无需遍历整个文件系统，查询速度较快。为了保证查询结果的准确度，管理员必须定期更新locate时刻。
1）基本语法

locate 搜索文件

2）经验技巧
由于locate指令基于数据库进行查询，所以第一次运行前，必须使用updatedb指令创建locate数据库。

3）案例
（1）查询文件夹

updatedb
locate tmp

grep 过滤查找及“|”管道符
管道符，“|”，表示将前一个命令的处理结果输出传递给后面的命令处理
1）基本语法

grep 选项 查找内容 源文件

2）选项说明
-n 显示匹配行及行号。

3）案例
（1）查找某文件在第几行

ls | grep -n test

6.8 压缩和解压类

gzip/gunzip 压缩
1）基本语法

gzip 文件		（功能描述：压缩文件，只能将文件压缩为*.gz文件）
gunzip 文件.gz	（功能描述：解压缩文件命令）

2）经验技巧
（1）只能压缩文件不能压缩目录
（2）不保留原来的文件
（3）同时多个文件会产生多个压缩包
3）案例
（1）gzip压缩

gzip houge.txt

（2）gunzip解压缩文件

[root@hadoop101 ~]# gunzip houge.txt.gz

zip/unzip 压缩
1）基本语法

zip  [选项] XXX.zip  将要压缩的内容 		（功能描述：压缩文件和目录的命令）
unzip [选项] XXX.zip						（功能描述：解压缩文件）

2）选项说明
zip选项功能
-r 压缩目录

unzip选项功能
-d<目录> 指定解压后文件的存放目录

3）经验技巧
zip 压缩命令在window/linux都通用，可以压缩目录且保留源文件。

tar 打包
1）基本语法

tar  [选项]  XXX.tar.gz  将要打包进去的内容		（功能描述：打包目录，压缩后的文件格式.tar.gz）

2）选项说明

3）案例
（1）压缩多个文件

tar -zcvf test.gz a.txt b.txt

（2）压缩目录

tar -zcvf test.tar.gz Hello/

（3）解压到当前目录

tar -zxvf houma.tar.gz

（4）解压到指定目录

tar -zxvf test.tar.gz -C /opt
ll /opt/

6.9 磁盘分区类

df 查看磁盘空间使用情况
df: disk free 空余硬盘
1）基本语法

df  选项	（功能描述：列出文件系统的整体磁盘使用量，检查文件系统的磁盘空间占用情况）

2）选项说明
-h 以人们较易阅读的 GBytes, MBytes, KBytes 等格式自行显示；

3）案例
（1）查看磁盘使用情况

df -h

fdisk 查看分区
1）基本语法

fdisk -l			（功能描述：查看磁盘分区详情）

2）选项说明
-l 显示所有硬盘的分区列表

3）经验技巧
该命令必须在root用户下才能使用

4）案例
（1）查看系统分区情况

[root@hadoop101 /]# fdisk -l
Disk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0005e654

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          26      204800   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              26        1332    10485760   83  Linux
/dev/sda3            1332        1593     2097152   82  Linux swap / Solaris

lsblk 查看设备挂载情况
1）基本语法

lsblk 		（功能描述：查看设备挂载情况）

2）选项说明
-f 查看详细的设备挂载情况，显示文件系统信息

mount/umount 挂载/卸载
对于Linux用户来讲，不论有几个分区，分别分给哪一个目录使用，它总归就是一个根目录、一个独立且唯一的文件结构。
Linux中每个分区都是用来组成整个文件系统的一部分，它在用一种叫做“挂载”的处理方法，它整个文件系统中包含了一整套的文件和目录，并将一个分区和一个目录联系起来，要载入的那个分区将使它的存储空间在这个目录下获得。
1）挂载前准备（必须要有光盘或者已经连接镜像文件）
2）基本语法

mount [-t vfstype] [-o options] device dir	（功能描述：挂载设备）
umount 设备文件名或挂载点			（功能描述：卸载设备）

6.10 进程线程类

进程是正在执行的一个程序或命令，每一个进程都是一个运行的实体，都有自己的地址空间，并占用一定的系统资源。

ps 查看当前系统进程状态
ps:process status 进程状态
1）基本语法

ps -aux | grep xxx		（功能描述：查看系统中所有进程）
ps -ef | grep xxx		（功能描述：可以查看子父进程之间的关系）

2）选项说明
-a 选择所有进程
-u 显示所有用户的所有进程
-x 显示没有终端的进程

3）功能说明
（1）ps -aux显示信息说明

USER：该进程是由哪个用户产生的
PID：进程的ID号
%CPU：该进程占用CPU资源的百分比，占用越高，进程越耗费资源；
%MEM：该进程占用物理内存的百分比，占用越高，进程越耗费资源；
VSZ：该进程占用虚拟内存的大小，单位KB；
RSS：该进程占用实际物理内存的大小，单位KB；
TTY：该进程是在哪个终端中运行的。其中tty1-tty7代表本地控制台终端，tty1-tty6是本地的字符界面终端，tty7是图形终端。pts/0-255代表虚拟终端。
STAT：进程状态。常见的状态有：R：运行、S：睡眠、T：停止状态、s：包含子进程、+：位于后台
START：该进程的启动时间
TIME：该进程占用CPU的运算时间，注意不是系统时间
COMMAND：产生此进程的命令名

（2）ps -ef显示信息说明

UID：用户ID 
PID：进程ID 
PPID：父进程ID 
C：CPU用于计算执行优先级的因子。数值越大，表明进程是CPU密集型运算，执行优先级会降低；数值越小，表明进程是I/O密集型运算，执行优先级会提高 
STIME：进程启动的时间 
TTY：完整的终端名称 
TIME：CPU时间 
CMD：启动进程所用的命令和参数

4）经验技巧
如果想查看进程的CPU占用率和内存占用率，可以使用aux;
如果想查看进程的父进程ID可以使用ef;

5）案例

ps aux

查看进程的CPU占用率和内存占用率
ps -ef

kill 终止进程
1）基本语法

kill  [选项] 进程号		（功能描述：通过进程号杀死进程）
killall 进程名称			（功能描述：通过进程名称杀死进程，也支持通配符，这在系统因负载过大而变得很慢时很有用）

2）选项说明
-9 表示强迫进程立即停止

3）案例实操
（1）杀死某某进程

kill -9 5102

（2）通过进程名称杀死进程

killall firefox

pstree 查看进程树
1）基本语法

pstree [选项]

2）选项说明
-p 显示进程的PID
-u 显示进程的所属用户

3）案例
（1）显示进程pid

pstree -p

（2）显示进程所属用户

pstree -u

top 查看系统健康状态
1）基本命令

top [选项]

2）选项说明

3）操作说明

4）案例实操

top -d 1
top -i
top -p 2575
执行上述命令后，可以按P、M、N对查询出的进程结果进行排序。

netstat 显示网络统计信息和端口占用情况
1）基本语法

netstat -anp | grep 进程号	（功能描述：查看该进程网络信息）
netstat –nlp | grep 端口号	（功能描述：查看网络端口号占用情况）

2）选项说明
-n 拒绝显示别名，能显示数字的全部转化成数字
-l 仅列出有在listen（监听）的服务状态
-p 表示显示哪个进程在调用

3）案例
（1）通过进程号查看该进程的网络信息

netstat -anp | grep sshd

（2）查看某端口号是否被占用

netstat -nltp | grep 22

6.11 crontab 系统定时任务

crontab 服务管理
重新启动crond服务

systemctl restart crond

crontab 定时任务设置
1）基本语法

crontab [选项]

2）选项说明

3）参数说明

crontab -e

（1）进入crontab编辑界面。会打开vim编辑你的工作。
* * * * * 执行的任务

（2）特殊符号

4）案例
（1）每隔1分钟，向/root/test.log文件中添加一个11的数字

*/1 * * * * /bin/echo ”11” >> /root/test.log

7 软件包管理

7.1 RPM

RPM概述
RPM（RedHat Package Manager），RedHat软件包管理工具，类似windows里面的setup.exe, 是Linux这系列操作系统里面的打包安装工具，它虽然是RedHat的标志，但理念是通用的。

RPM包的名称格式
Apache-1.3.23-11.i386.rpm

“apache” 软件名称
“1.3.23-11”软件的版本号，主版本和此版本
“i386”是软件所运行的硬件平台，Intel 32位处理器的统称
“rpm”文件扩展名，代表RPM包

RPM查询命令（rpm -qa）
1）基本语法

rpm -qa				（功能描述：查询所安装的所有rpm软件包）

2）经验技巧
由于软件包比较多，一般都会采取过滤。rpm -qa | grep rpm软件包

3）案例
（1）查询firefox软件安装情况

rpm -qa |grep firefox

RPM卸载命令（rpm -e）
1）基本语法

（1）rpm -e RPM软件包   
（2）rpm -e --nodeps 软件包

2）选项说明
-e 卸载软件包
–nodeps 卸载软件时，不检查依赖。这样的话，那些使用该软件包的软件在此之后可能就不能正常工作了。

3）案例
（1）卸载firefox软件

rpm -e firefox

RPM安装命令（rpm -ivh
1）基本语法

rpm -ivh RPM包全名

2）选项说明
-i -i=install，安装
-v -v=verbose，显示详细信息
-h -h=hash，进度条
–nodeps --nodeps，不检测依赖进度

3）案例
（1）安装firefox软件

rpm -ivh firefox-45.0.1-1.el6.centos.x86_64.rpm

7.1 YUM仓库配置

YUM概述
YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装，如图所示

YUM的常用命令
1）基本语法

yum [选项] [参数]

2）选项说明
-y 对所有提问都回答“yes”

3）参数说明

4）案例实操
（1）采用yum方式安装firefox

yum -y install firefox.x86_64

修改网络YUM源
默认的系统YUM源，需要连接国外apache网站，网速比较慢，可以修改关联的网络YUM源为国内镜像的网站，比如网易163,aliyun等
1）安装wget, wget用来从指定的URL下载文件

yum install wget

2）在/etc/yum.repos.d/目录下，备份默认的repos文件,

[root@hadoop101 yum.repos.d] pwd
/etc/yum.repos.d
[root@hadoop101 yum.repos.d] cp CentOS-Base.repo   CentOS-Base
.repo.backup

3）下载网易163或者是aliyun的repos文件,任选其一，

[root@hadoop101 yum.repos.d] wget
 http://mirrors.aliyun.com/repo/Centos-7.repo  //阿里云
[root@hadoop101 yum.repos.d] wget
 http://mirrors.163.com/.help/CentOS7-Base-163.repo //网易163

4）使用下载好的repos文件替换默认的repos文件
例如:用CentOS7-Base-163.repo替换CentOS-Base.repo

mv CentOS7-Base-163.repo   CentOS-Base.repo

5）清理旧缓存数据，缓存新数据

yum clean all
yum makecache

yum makecache就是把服务器的包信息下载到本地电脑缓存起来

6）测试

yum list | grep firefox
yum -y install firefox.x86_64

8 Shell

Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。

Shell 既是一种命令语言，又是一种程序设计语言。

Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。

Shell 编程跟 java、php 编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。

Linux 的 Shell 解释器 种类众多，一个系统可以存在多个 shell解释器，可以通过 cat /etc/shells 命令查看系统中安装的 shell解释器。

Bash 由于易用和免费，在日常工作中被广泛使用。同时，Bash 也是大多数Linux 系统默认的 Shell。

1）Linux提供的Shell解析器有：

cat /etc/shells 
/bin/sh
/bin/bash
/sbin/nologin
/bin/dash
/bin/tcsh
/bin/csh

2）bash和sh的关系

ll | grep bash
-rwxr-xr-x. 1 root root 941880 5月  11 2016 bash
lrwxrwxrwx. 1 root root      4 5月  27 2017 sh -> bash

3）Centos默认的解析器是bash

echo $SHELL
/bin/bash

8.1 Shell脚本入门

1）脚本格式
脚本以#!/bin/bash开头（指定解析器）

2）第一个Shell脚本：helloworld
（1）需求：创建一个Shell脚本，输出helloworld
（2）案例实现：
先创建好helloworld.sh文件，使用vi编辑器编写脚本

touch helloworld.sh
vi helloworld.sh

在helloworld.sh中输入如下内容

#!/bin/bash
echo "helloworld"

（3）脚本的常用执行方式
第一种：采用bash或sh+脚本的相对路径或绝对路径（不用赋予脚本+x权限）

sh+脚本的相对路径

sh helloworld.sh

sh+脚本的绝对路径

sh /home/monash/data/helloworld.sh

bash+脚本的相对路径

bash helloworld.sh

bash+脚本的绝对路径

bash /home/monash/data/helloworld.sh

第二种：采用输入脚本的绝对路径或相对路径执行脚本（必须具有可执行权限+x）
（a）首先要赋予helloworld.sh 脚本的+x权限

chmod +x helloworld.sh

（b）执行脚本
相对路径

./helloworld.sh

绝对路径

/home/monash/datas/helloworld.sh

注意：第一种执行方法，本质是bash解析器帮你执行脚本，所以脚本本身不需要执行权限。第二种执行方法，本质是脚本需要自己执行，所以需要执行权限。

8.2 变量

系统预定义变量

1）常用系统变量
$HOME、$PWD、$SHELL、$USER等

2）案例
（1）查看系统变量的值

echo $HOME

（2）显示当前Shell中所有变量：set

[monash@hadoop101 data]$ set
BASH=/bin/bash
BASH_ALIASES=()
BASH_ARGC=()
BASH_ARGV=()

自定义变量

1）基本语法
（1）定义变量：变量=值
（2）撤销变量：unset 变量
（3）声明静态变量：readonly变量，注意：不能unset

2）变量定义规则
（1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。
（2）等号两侧不能有空格
（3）在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。
（4）变量的值如果有空格，需要使用双引号或单引号括起来。

3）案例
（1）定义变量A

[monash@hadoop101 data]$ A=5
[monash@hadoop101 data]$ echo $A
5

（2）给变量A重新赋值

[monash@hadoop101 data]$ A=8
[monash@hadoop101 data]$ echo $A
8

（3）撤销变量A

[monash@hadoop101 data]$ unset A
[monash@hadoop101 data]$ echo $A

（4）声明静态的变量B=2，不能unset

[monash@hadoop101 data]$ readonly B=2
[monash@hadoop101 data]$ echo $B
2
[monash@hadoop101 data]$ B=9
-bash: B: readonly variable

（5）在bash中，变量默认类型都是字符串类型，无法直接进行数值运算

[monash@hadoop102 ~]$ C=1+2
[monash@hadoop102 ~]$ echo $C
1+2

（6）变量的值如果有空格，需要使用双引号或单引号括起来

[monash@hadoop102 ~]$ D=I love monash
-bash: world: command not found
[monash@hadoop102 ~]$ D="I love monash"
[monash@hadoop102 ~]$ echo $D
I love monash

（7）可把变量提升为全局环境变量，可供其他Shell程序使用

export 变量名
[monash@hadoop101 datas]$ vim helloworld.sh

在helloworld.sh文件中增加echo $B

#!/bin/bash

echo "helloworld"
echo $B

[monash@hadoop101 data]$ ./helloworld.sh 
Helloworld

发现并没有打印输出变量B的值。

[monash@hadoop101 data]$ export B
[monash@hadoop101 data]$ ./helloworld.sh 
helloworld
2

特殊变量

$n
1）基本语法

$n	（功能描述：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}）

2）案例

[monash@hadoop101 data]$ touch parameter.sh 
[monash@hadoop101 data]$ vim parameter.sh

#!/bin/bash
echo "$0  $1   $2"

[monash@hadoop101 data]$ chmod 777 parameter.sh

[monash@hadoop101 data]$ ./parameter.sh cls  xz
./parameter.sh  cls   xz

$#
1）基本语法

$#	（功能描述：获取所有输入参数个数，常用于循环）。

2）案例实操

[monash@hadoop101 data]$ vim parameter.sh

#!/bin/bash
echo "$0  $1   $2"
echo $#

[monash@hadoop101 data]$ chmod 777 parameter.sh

[monash@hadoop101 data]$ ./parameter.sh cls  xz
parameter.sh cls xz 
2

$*、$@
1）基本语法

$*	（功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体）
$@	（功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待）

注意：如果想让 $* 和$ @ 体现区别必须用双引号括起来才生效

2）案例

[monash@hadoop101 data]$ vim parameter.sh

#!/bin/bash
echo "$0  $1   $2"
echo $#
echo $*
echo $@

[monash@hadoop101 datas]$ bash parameter.sh 1 2 3
parameter.sh  1   2
3
1 2 3
1 2 3

$？
1）基本语法

$？	（功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，
证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），
则证明上一个命令执行不正确了。）

2）案例
判断helloworld.sh脚本是否正确执行

[monash@hadoop101 data]$ ./helloworld.sh 
hello world
[monash@hadoop101 data]$ echo $?
0

8.3 条件判断

1）基本语法

（1）test condition
（2）[ condition ]（注意condition前后要有空格）

注意：条件非空即为true，[ monash ]返回true，[] 返回false。

2）常用判断条件
（1）两个整数之间比较
== 字符串比较
-lt 小于（less than） -le 小于等于（less equal）
-eq 等于（equal） -gt 大于（greater than）
-ge 大于等于（greater equal） -ne 不等于（Not equal）

（2）按照文件权限进行判断
-r 有读的权限（read） -w 有写的权限（write）
-x 有执行的权限（execute）

（3）按照文件类型进行判断
-f 文件存在并且是一个常规的文件（file）
-e 文件存在（existence） -d 文件存在并是一个目录（directory）

3）案例实操
（1）23是否大于等于22

[monash@hadoop101 data]$ [ 23 -ge 22 ]
[monash@hadoop101 data]$ echo $?
0

（2）helloworld.sh是否具有写权限

[monash@hadoop101 data]$ [ -w helloworld.sh ]
[monash@hadoop101 data]$ echo $?
0

（3）/home/monash/cls.txt目录中的文件是否存在

[monash@hadoop101 data]$ [ -e /home/monash/cls.txt ]
[monash@hadoop101 data]$ echo $?
1

（4）多条件判断（&& 表示前一条命令执行成功时，才执行后一条命令，|| 表示上一条命令执行失败后，才执行下一条命令）

[monash@hadoop101 ~]$ [ condition ] && echo OK || echo notok
OK
[monash@hadoop101 data]$ [ condition ] && [ ] || echo notok
notok

8.4 流程控制

if判断

1）基本语法

if [ 条件判断式 ];then 
  程序 
fi

或者

if [ 条件判断式 ] 
  then 
    程序 
elif [ 条件判断式 ]
	then
		程序
else
	程序
fi

注意事项：
（1）[ 条件判断式 ]，中括号和条件判断式之间必须有空格
（2）if后要有空格

2）案例
输入一个数字，如果是1，则输出monash，如果是2，则输出unsw，如果是其它，什么也不输出。

[monash@hadoop101 data]$ touch if.sh
[monash@hadoop101 data]$ vim if.sh

#!/bin/bash

if [ $1 -eq "1" ]
then
        echo "monash"
elif [ $1 -eq "2" ]
then
        echo "unsw"
fi

[monash@hadoop101 datas]$ chmod 777 if.sh 
[monash@hadoop101 datas]$ ./if.sh 1
monash

case语句

1）基本语法

case $变量名 in 
  "值1"） 
    如果变量的值等于值1，则执行程序1 
    ;; 
  "值2"） 
    如果变量的值等于值2，则执行程序2 
    ;; 
  …省略其他分支… 
  *） 
    如果变量的值都不是以上的值，则执行此程序 
    ;; 
esac

注意事项：
（1）case行尾必须为单词“in”，每一个模式匹配必须以右括号“）”结束。
（2）双分号“;;”表示命令序列结束，相当于java中的break。
（3）最后的“*）”表示默认模式，相当于java中的default。

2）案例
输入一个数字，如果是1，则输出java，如果是2，则输出scala，如果是其它，输出python。

[monash@hadoop101 data]$ touch case.sh
[monash@hadoop101 data]$ vim case.sh

!/bin/bash

case $1 in
"1")
        echo "java"
;;

"2")
        echo "scala"
;;
*)
        echo "python"
;;
esac

[monash@hadoop101 data]$ chmod 777 case.sh
[monash@hadoop101 data]$ ./case.sh 1
java

for循环

1）基本语法1

for (( 初始值;循环控制条件;变量变化 )) 
  do 
    程序 
  done

2）案例
从1加到100

[monash@hadoop101 data]$ touch for1.sh
[monash@hadoop101 data]$ vim for1.sh

#!/bin/bash

s=0
for((i=0;i<=100;i++))
do
        s=$[$s+$i]
done
echo $s

[monash@hadoop101 data]$ chmod 777 for1.sh 
[monash@hadoop101 data]$ ./for1.sh 
“5050”

3）基本语法2

for 变量 in 值1 值2 值3… 
  do 
    程序 
  done

4）案例
（1）打印所有输入参数

[monash@hadoop101 data]$ touch for2.sh
[monashhadoop101 data]$ vim for2.sh

#!/bin/bash
#打印数字

for i in $*
    do
      echo "I love $i "
    done

[monash@hadoop101 data]$ chmod 777 for2.sh 
[monash@hadoop101 data]$ bash for2.sh java scala python
I love java
I love scala
I love python

（2）比较$*和$@区别
$*和$@都表示传递给函数或脚本的所有参数，不被双引号“”包含时，都以$1 $2 …$n的形式输出所有参数。

[monash@hadoop101 data]$ touch for.sh
[monash@hadoop101 data]$ vim for.sh

#!/bin/bash 

for i in $*
do
      echo "I love $i "
done

for j in $@
do      
        echo "Ilove $j"
done

[monash@hadoop101 data]$ bash for.sh a b c

当它们被双引号“”包含时，“$*”会将所有的参数作为一个整体，以“$1 $2 …$n”的形式输出所有参数；“$@”会将各个参数分开，以“$1” “$2”…”$n”的形式输出所有参数。

[monash@hadoop101 data]$ vim for.sh

#!/bin/bash 

for i in "$*" 
#$*中的所有参数看成是一个整体，所以这个for循环只会循环一次 
        do 
                echo "ban zhang love $i"
        done 

for j in "$@" 
#$@中的每个参数都看成是独立的，所以“$@”中有几个参数，就会循环几次 
        do 
                echo "ban zhang love $j" 
done

while循环

1）基本语法
while [ 条件判断式 ] 
  do 
    程序
  done

2）案例
从1加到100

[monash@hadoop101 data]$ touch while.sh
[monash@hadoop101 data]$ vim while.sh

#!/bin/bash
s=0
i=1
while [ $i -le 100 ]
do
        s=$[$s+$i]
        i=$[$i+1]
done

echo $s

[monash@hadoop101 data]$ chmod 777 while.sh 
[monash@hadoop101 data]$ ./while.sh 
5050

8.5 read读取控制台输入

基本语法

read(选项)(参数)
选项：
-p：指定读取值时的提示符；
-t：指定读取值时等待的时间（秒）。
参数
	变量：指定读取值的变量名

2）案例
提示7秒内，读取控制台输入的名称

[monash@hadoop101 data]$ touch read.sh
[monash@hadoop101 data]$ vim read.sh

#!/bin/bash

read -t 7 -p "Enter your name in 7 seconds " NAME
echo $NAME

[monash@hadoop101 data]$ ./read.sh 
Enter your name in 7 seconds jack
jack

8.6 函数

系统函数

basename
1）基本语法

basename [string / pathname] [suffix]  	
（功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来。
选项：
suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。

2）案例
截取该/home/monash/a.txt路径的文件名称

[monash@hadoop101 data]$ basename /home/monash/a.txt 
a.txt
[monash@hadoop101 data]$ basename /home/monash/a.txt .txt
a

dirname
1）基本语法

dirname 文件绝对路径		
（功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），
然后返回剩下的路径（目录的部分））

2）案例实操
获取a.txt文件的路径

[monash@hadoop101 ~]$ dirname /home/monash/a.txt 
/home/monash

自定义函数

1）基本语法

  #定义函数
[ function ] funname[()]
{
	Action;
	[return int;]
}
#调用函数
funname

2）经验技巧
（1）必须在调用函数地方之前，先声明函数，shell脚本是逐行运行。不会像其它语言一样先编译。
（2）函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果，作为返回值。return后跟数值n(0-255)

3）案例
计算两个输入参数的和

[monash@hadoop101 data]$ touch fun.sh
[monash@hadoop101 data]$ vim fun.sh

#!/bin/bash
function sum()
{
    s=0
    s=$[ $1 + $2 ]
    echo "$s"
}

read -p "Please input the number1: " n1;
read -p "Please input the number2: " n2;
sum $n1 $n2;

[monash@hadoop101 data]$ chmod 777 fun.sh
[monash@hadoop101 data]$ ./fun.sh 
Please input the number1: 2
Please input the number2: 5
7

8.7 Shell工具

cut
cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

1）基本用法

cut [选项参数]  filename
说明：默认分隔符是制表符

2）选项参数说明
-f 列号，提取第几列
-d 分隔符，按照指定分隔符分割列
-c 指定具体的字符

3）案例
（1）数据准备

[monash@hadoop101 data]$ touch cut.txt
[monash@hadoop101 data]$ vim cut.txt
dong shen
guan zhen
wo  wo
lai  lai
le  le

（2）切割cut.txt第一列

[monash@hadoop101 data]$ cut -d " " -f 1 cut.txt 
dong
guan
wo
lai
le

（3）切割cut.txt第二、三列

[monash@hadoop101 data]$ cut -d " " -f 2,3 cut.txt 
shen
zhen
wo
lai
le

（4）在cut.txt文件中切割出guan

[monash@hadoop101 datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan

（5）选取系统PATH变量值，第2个“：”开始后的所有路径：

[monash@hadoop101 data]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/monash/bin

[monash@hadoop102 data]$ echo $PATH | cut -d: -f 2-
/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/monash/bin

（6）切割ifconfig 后打印的IP地址

[monash@hadoop101 data]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
192.168.1.102

awk
一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。

1）基本用法

awk [选项参数] ‘pattern1{action1}  pattern2{action2}...’ filename
pattern：表示AWK在数据中查找的内容，就是匹配模式
action：在找到匹配内容时所执行的一系列命令

2）选项参数说明
选项参数功能
-F 指定输入文件折分隔符
-v 赋值一个用户定义变量

3）案例
（1）数据准备

[monash@hadoop102 data]$ sudo cp /etc/passwd ./

（2）搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。

[monash@hadoop102 data]$ awk -F: '/^root/{print $7}' passwd 
/bin/bash

（3）搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割。

[monash@hadoop102 data]$ awk -F: '/^root/{print $1","$7}' passwd 
root,/bin/bash

注意：只有匹配了pattern的行才会执行action

（4）将passwd文件中的用户id增加数值1并输出

[monash@hadoop102 data]$ awk -v i=1 -F: '{print $3+i}' passwd
1
2
3
4

awk的内置变量
变量说明
FILENAME 文件名
NR 已读的记录数（行数）
NF 浏览记录的域的个数（切割后，列的个数）

5）案例
（1）统计passwd文件名，每行的行号，每行的列数

[monash@hadoop102 data]$ awk -F: '{print "filename:"  FILENAME ", linenumber:" NR  ",columns:" NF}' passwd 
filename:passwd, linenumber:1,columns:7
filename:passwd, linenumber:2,columns:7
filename:passwd, linenumber:3,columns:7

（2）切割IP

[monash@hadoop102 data]$ ifconfig eth0 | grep "inet addr" | awk -F: '{print $2}' | awk -F " " '{print $1}' 
192.168.1.102

（3）查询cut.txt中空行所在的行号

[monash@hadoop102 data]$ awk '/^$/{print NR}' cut.txt 
5

sort
sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。

1）基本语法

sort(选项)(参数)
选项	说明
-n	依照数值的大小排序
-r	以相反的顺序来排序
-t	设置排序时所用的分隔字符
-k	指定需要排序的列
参数：指定待排序的文件列表

2）案例
（1）数据准备

[monash@hadoop102 data]$ touch sort.sh
[monash@hadoop102 data]$ vim sort.sh 
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6

（2）按照“：”分割后的第三列倒序排序。

[monash@hadoop102 data]$ sort -t : -nrk 3  sort.sh 
bb:40:5.4
bd:20:4.2
cls:10:3.5
xz:50:2.3
ss:30:1.6

8.8 正则表达式入门

正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。在Linux中，grep，sed，awk等命令都支持通过正则表达式进行模式匹配。

常规匹配
一串不包含特殊字符的正则表达式匹配它自己，例如：

[monash@hadoop102 data]$ cat /etc/passwd | grep monash

就会匹配所有包含monash的行

常用特殊字符
1）特殊字符：^
^ 匹配一行的开头，例如：

[monash@hadoop102 data]$ cat /etc/passwd | grep ^a

会匹配出所有以a开头的行

2）特殊字符：$
$ 匹配一行的结束，例如

[monash@hadoop102 data]$ cat /etc/passwd | grep t$

会匹配出所有以t结尾的行

3）特殊字符：.

. 匹配一个任意的字符，例如

[monash@hadoop102 data]$ cat /etc/passwd | grep r..t

会匹配包含rabt,rbbt,rxdt,root等的所有行

4）特殊字符：*

不单独使用，他和左边第一个字符连用，表示匹配上一个字符0次或多次，例如

[monash@hadoop102 data]$ cat /etc/passwd | grep ro*t

会匹配rt, rot, root, rooot, roooot等所有行

5）特殊字符：[ ]
[ ] 表示匹配某个范围内的一个字符，例如
[6,8]------匹配6或者8
[a-z]------匹配一个a-z之间的字符
[a-z]*-----匹配任意字母字符串
[a-c, e-f]-匹配a-c或者e-f之间的任意字符

[monash@hadoop102 data]$ cat /etc/passwd | grep r[a,b,c]*t

会匹配rat, rbt, rabt, rbact等等所有行

6）特殊字符：\
\ 表示转义，并不会单独使用。由于所有特殊字符都有其特定匹配模式，当我们想匹配某一特殊字符本身时（例如，我想找出所有包含 ‘$’ 的行），就会碰到困难。此时我们就要将转义字符和特殊字符连用，来表示特殊字符本身，例如

[monash@hadoop102 data]$ cat /etc/passwd | grep a\$b

注意：直接匹配 $ 字符，需要进行转义并且加上单引号
就会匹配所有包含 a$b 的行。

大数据学习之路-Linux基础

Linux基础与Shell编程

1. Linux概述

2. 系统安装

3. Linux目录与结构

4. VI/VIM编辑器

4.1 打开和新建文件

4.2 VI三种工作模式

末行模式命令

一般模式

编辑模式

指令模式

5 网络配置和系统管理操作

5.1 配置网络ip地址

5.2 配置主机名

5.3 服务管理

5.4 关机重启命令

6 常用基本命令

6.1 帮助命令

6. 2 文件目录类

6.3 时间日期类

6.4 用户管理命令

6.5 用户组管理命令

6.6 文件权限类

6.7 搜索查找类

6.8 压缩和解压类

6.9 磁盘分区类

6.10 进程线程类

6.11 crontab 系统定时任务

7 软件包管理

7.1 RPM

7.1 YUM仓库配置

8 Shell

8.1 Shell脚本入门

8.2 变量

系统预定义变量

自定义变量

特殊变量

8.3 条件判断

8.4 流程控制

if判断

case语句

for循环

while循环

8.5 read读取控制台输入

8.6 函数

系统函数

自定义函数

8.7 Shell工具

8.8 正则表达式入门

你可能感兴趣的:(大数据学习,linux,big,data,centos)