Linux Shell 学习笔记(二) 命令
Linux Shell 学习笔记(二) 命令
环境： Centos 7 bash
本博文介绍Linux中经常使用的命令
1. cat命令
cat file1 file2 .. file3
#将多个文件的内容输出到stdout
cat命令不仅可以将文件内容输出到stdout,还可以将stdin中获得输入进行输出
echo "this is form stdin" | cat - fileName
# - 用来指代stdin
cat 压缩空白行 cat -s fileName
cat 标记行号 cat -n fileName
2. 录制与回放终端会话
2.1 script命令
# 开始录制命令
script -t 2>timing.log -a output.session
-t 将时序信息输出到stderr
2>timming.log 将stderr重定向到timming.log
-a output.session 将命令输出存储到output.session
#接下来所有的终端输入输出都会被记录在上述两个文件中，直至用户输入exit结束录制
2.2 scriptreplay
scriptreplay timming.log ouput.session
# 输出录制的终端活动
3. 文件查找与文件列表 find命令
# 列出目录及子目录中的所有文件和文件夹
find pathVar 默认使用参数 -print
find pathVar -print 多行输出
find pathVar -print0 单行输出
# 根据文件名/正则查找文件
find pathVar -name "*.txt" -print
find pathVar -iname "*.txt" -print # 在查找试忽略文件名参数的大小写
# 使用多个查找条件
find pathVar \( -name "*.txt" -o -name "*.sh" \) -print
# 匹配路径
find pathVar -path "*mn" -print
#将匹配pathVar目录下路径或文件命中含有mn的所有文件
# 正则表达式
find pathVar -regex ".*" # 匹配所有无内件和文件夹
find pathVar -regex ".*\.sh" # 匹配shell脚本
# 否定
find pathVar ! -name "*.txt" # 匹配目录下所有非txt的文件
# 搜索目录深度
-maxdepth #搜索结束目录层数
-mindepth #搜索起始目录层数
# 指定搜索文件类型
-type typeVar
参数：
d 目录
f 普通文件
c 字符设备文件
b 块设备文件
l 符号链接
s 套接字
p FIFO
# 根据文件时间进行搜索
linux文件有三个时间戳
-访问时间（-atime） 文件最近一次被访问的时间戳
-修改时间（-mtime） 文件最近一次被修改的时间戳
-变化时间（-ctime） 文件元数据（权限所有权等）改变的时间
find . -type f -atime 7 -print # 恰好在7天前被访问过的文件
find . -type f -atime -7 -print # 在7天内被访问过的文件
find . -tyoe f -atime +7 -print # 超过7天被访问过的文件
'-7' 代表小于7
'+7' 代表大于7
上面的三个参数都是以天为单位，还有一分钟为单位的，-amin(访问时间)，-mmin（修改时间）， -cmin(变化时间）
# 基于文件大小的搜索
-size sizeNum
find . -type f -size -2k # 查找小于2kb的普通文件
find . -type f -size +2k # 查找大于2kb的普通文件
除了以k为单位，还有(b--块512字节)，（c--字节），（w--字），（k--千字节）
# 基于文件权限的搜索
find . -type f -perm 644 -ptint
# 基于文件所有用户搜索
find . -type -user root -print
# 基于查找结果执行命令或动作
-exec command {} \；
{} 对应每一个匹配的文件名，或者说是执行command命令的文件集
其他为固定格式
command只能是一条命令，但是我们可以把命令集写入到sheell脚本中，然后执行这个脚本文件，打到可以执行多条命令的目的
# 跳过搜索
# 对于不想搜索的目录，如.git，可以跳过
find /home -path /home/sep -prune -o -name "tmp.txt" -print
4. xargs
管道只能提供简单的输入输出流重定向，对于命令参数的调用，就无能为力。xargs可以将输入数据装化为命令行参数
example.txt文件内容：
1 2 3 4 5 6
11 12 13
# 将文本单行输出
cat example.txt | xargs # 将'\n' 替换为 ” “
# 将文本格式化输出
cat example.txt | xargs -n 3 # 默认定界符 空格
# 指定定界符 分割参数
echo "ShellXShellXShell" | xargs -d X
####输出 Shell Shell Shell
xargs重复执行命令
args.txt文件内容
arg1
arg2
arg3
myEecho.sh内容
#！/bin/bash
echo $*
# 输出脚本接收到的参数
# 将args.txt中的三个参数，依次传递给myEcho.sh脚本
cat args.txt | xargs -n 1 ./myEcho.sh
# 应对 ./myEcho.sh -p arg1 1 的命令格式，参数只有arg1是可变的
# xargs有参数-I提供对上面命令格式的支持
cat args.txt | xargs -I {} ./myEcho.sh -p {} 1
-I {} 定义替换符：用args.txt里的内容替换./myEcho.sh -p {} 1中的{}
5. tr
tr(reanslate)可以将标准输入进行替换、删除以及压缩
# 替换
# tr srcCharSet dstCharSet
echo "THIS IS MY WORDS" | tr 'A-Z' 'a-z'
# 简单加密
echo "24354673" | tr '0-9' '8967452301'
###输出 64754237
# 删除
echo "AAAAAAAAbbAAAbbbAAAAb" | tr -d 'b'
###输出 AAAAAAAAAAAAAAA
# 补集
-C set将得到set集合的补集
echo hello 123 world | tr -d -C '0-9'
###输出 123
# 压缩字符
通常情况下，删除多余的空行空格
echo "AA BB CC " | tr -s " "
输出 AA BB CC
6. 小综合
6.1 xargs+find
# 删除文件
find . -type f -name "*.txt" -print | xargs rm -f
#上文未指定定界符，可能会造成误删
#正确的做法
find . -type -f -name "*.txt" -print0 | xargs -0 rm -f
-0 参数指定定界符为"\0"
6.2 while+(子shell)
cat args.txt | (while read arg;do statements; done)
将args.txt中的行内容分配到子进程中；子进程可以对参数执行多条命令
7. 校验和与核实
校验和一般用于网络数据传输
校验和技术：md5sum sha1sum
# md5sum使用
md5sum fileName
## 输出： 96cf433c1d760bb1d59e486b4207e22f fileName
# 输出重定向
md5sum fileName > md5Result.md5
# md5sum验证
md5sum -c md5Result.md5
# sha1sum用法与md5sum相同
#只是注意 sha1sum的结果保存在.sha1为后缀的文件中
# 对于目录的检验和计算可以使用sha1deep和md5deep实现
8. 排序、单一与重复
sort命令可以帮助我们对文本文件和stdin进行排序操作
uniq命令可以从文本文件或stdin中提取一行
8.1 sort命令
# sort命令使用
sort file1 ... file2 > sortResult.txt
## 将多个文件中的每一行进行排序，结果是有序的包含所有文件内容的文件
# 找出已排序文件中不重复的行
cat sortResult.txt | uniq > uniqResult.txt
# 按照数字顺序进行排序
sort -n fileName
# 逆序排序
sort -r fileName
# 按照月份进行排序
sort -M fileName
# 判断文件是否被排序过
sort -C fileName
echo $? # 输出 0，则文件被排序过
# 依据键或者列进行排序
文件example.txt内容
1 mac 1000
2 linux 4000
3 winxp 3000
# 以第一列逆序排序
sort -rk 1 example.txt
# 指定键的起始和终结位置（应对键与键之间没有空格分隔的情况）
sort -k 2,4 example.txt
# 2,4指定键的起始位置和终结位置
# 使sort的输出的结束符为‘\0’ 与xargs命令兼容
sort -z example.txt | xargs -0
# 其他参数
-b # 忽略空格等不必要的字符
-d # 以字典序排序
8.2 uniq命令
uniq只能以排序过的数据为输入
# 对重复行只做一次输出
sort fileName | uniq
uniq sortedFile
# 输出只出现过一次的行
sort fileName | uniq -u
uniq -u sortedFile
# 统计各行出现的次数
sort fileName | uniq -c
uniq -c sortedFile
# 输出出现多次的行
uniq -d sortedFile
uniq -s 2 -w 5 sortedFile
## -s 指定 跳过每行多个字符
## -w 指定 最大的比较字符数
### 上面的命令说明 从每行的第三个字符开始比较，最多比较5个字符到第8个字符
# 输出以‘\0’为行终结符的数据 兼容xargs命令
uniq -z sortedFile
9. 临时文件命名与随机数
在编写脚本时，我们需要储存许多临时变量，最好将临时数据储存在/tmp下，该目录下的内容将在下次系统启动时被删除
temp_file = "/tmp/var.$$"
$$会被理解为当前运行脚本的进程ID
9.1 文件分割
# 生成测试文件
dd if=/dev/zero bs=100k count=1 of=data.file
### 创建大小为100kb，内容全部是0填充的文件
# 分割
split -b 10K file.data
### 分割后的文件名会有一个字母作为后缀，如果想使用数字作为后缀，使用参数-d指定
参数 -a length指定后缀长度
split命令的最后一个参数可以指定文件的前缀
# 根据文件的行数分割
split -l 10 file.data
### 分割后的每个文件中只有原文件的10行内容
9.1.1 csplit
csplit可以依据指定的条件和字符串匹配对log文件进行分割
csplit server.log /SERVER/ -n 2 -s {*} -f server -b "%02d.log"
/SERVER/用来匹配某一行，分割从此行开始
{*} 根据匹配循环执行分割，直至文件末
-s 静默模式，不打印其他信息
-f server 指定文件名前缀
-b "%02d.log" 指定文件后缀名格式
9.2 根据扩展名切分文件名
借助操作符 % 可以轻松的将名称部分从”名称.扩展名”中提取出来
#脚本实现
file_name="sample.jpg"
name=${file_name%.*}
echo $name
借助操作符 # 可将扩展名从”名称.扩展名”中提取出来
#脚本实现
file_name="sample.jpg"
name=${file_name#*。}
echo $name
实现原理
name=${file_name%.*}
${file_name%.}的语义是删除占位符%右侧的通配符（.）所匹配的字符串，通配符自右向左匹配
% 非贪婪匹配，匹配到字符串即结束，自右向左进行匹配
%% 贪婪匹配，匹配最长的字符串，自右向左进行匹配
# ##与% %%相似，匹配自左向右进行
10. 批量重命名和移动
find rename mv三个命令灵活使用
#示例脚本
count=1
for img in *.jpg *.png
do
new=image-$count.${img##*.}
mv "$img" "$new" 2 > /dev/null
if [$? -eq 0];
then
echo "renaming $img to $new"
let count++
fi
done
11. 交互式输入自动化
# 命令脚本
#! /bin/bash
#fileName script.sh
read -p "input a number" numb;
read -p "input a word" myword;
echo $numb " " $myword
执行上述脚步，我们要依次输入一个数字和一个单词。bash以一个换行符为输入结束标志。那么我们可以通过echo实现自动化输入
echo -e "1\nmyWord\n" | ./script.sh
## -e参数 指定生成输入序列
如果需要输出的参数过多或者过长，可以将参数写入文件，再将数据从文件传递到命令
echo -e "1\nmyWord\n" > arg.data
./script.sh < arg.data
11.1 expect命令
该命令需要安装
#!/usr/bin/expect
# fileName "s.sh"
spawn ./script.sh
expect "number"
send "1\n"
expect "word"
send "ssss\n"
expect eof
# 注意 #!/usr/bin/expect
# spawn 指定要自动化执行的脚本
# expect "number" send参数以前，要等待的消息
# send "1\n" 要发送的消息，注意换行符
# expect eof 交互命令结束