linux常用文本处理命令笔记整理

linux常用文本处理的命令的使用率很高， 所以整理了一些之前的笔记，用markdown来记录备忘。
首先抛出问题， 带着问题来学记忆知识更有动力：

• 如何通过一条命令取得eth0的IP4地址 ：
  ifconfig eth0 | grep -w 'inet' | awk '{print $2}' | awk -F: '{print $2}'
• 如何通过一条命令替换当前路径下所有文件中的所有“xxx”为“yyy“ ：
  ls -alF | grep '^-' | xargs sed -i 's/xxx/yyy/g'
• 如何通过一条命令杀掉占用端口34600的进程 ：
  sudo lsof -i:34600 | grep -v 'PID' | awk '{print $2}' | xargs kill -9

grep

grep（global search regular expression(RE) and print out the line，全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。

• -a 不要忽略二进制数据。
• -A<显示列数> 除了显示符合范本样式的那一行之外，并显示该行之后的内容。
• -b 在显示符合范本样式的那一行之外，并显示该行之前的内容。
• -c 计算符合范本样式的列数。
• -C<显示列数>或-<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之前后的内容。
• -d<进行动作> 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep命令将回报信息并停止动作。
• -e<范本样式> 指定字符串作为查找文件内容的范本样式。
• -E 将范本样式为延伸的普通表示法来使用，意味着使用能使用扩展正则表达式。
• -f<范本文件> 指定范本文件，其内容有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每一列的范本样式。
• -F 将范本样式视为固定字符串的列表。
• -G 将范本样式视为普通的表示法来使用。
• -h 在显示符合范本样式的那一列之前，不标示该列所属的文件名称。
• -H 在显示符合范本样式的那一列之前，标示该列的文件名称。
• -i 胡列字符大小写的差别。（常用）
• -l 列出文件内容符合指定的范本样式的文件名称。
• -L 列出文件内容不符合指定的范本样式的文件名称。
• -n 在显示符合范本样式的那一列之前，标示出该列的编号。
• -q 不显示任何信息。
• -R/-r 此参数的效果和指定“-d recurse”参数相同。
• -s 不显示错误信息。
• -v 反转查找。（常用）
• -w 只显示全字符合的列。（常用）
• -x 只显示全列符合的列。
• -y 此参数效果跟“-i”相同。
• -o 只输出文件中匹配到的部分。

awk

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

常用命令选项

• -F fs fs指定输入分隔符（awk默认的分隔符是空格），fs可以是字符串或正则表达式，如-F:
• -v var=value 赋值一个用户定义变量，将外部变量传递给awk

常用用法

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
klj;k uu
&& ss&
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3 | awk '{print $NF}'
uu
ss&

cat abc3 | awk ‘{print $NF}’的含义是：输出abc3文件的每一行的最后一列

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3 | grep k | awk -F\; '{print $1}'
klj

cat abc3 | grep k | awk -F\; ‘{print $1}’的含义是：
先输入含有k的那一行（即klj；k）， 然后对那一行以；（\;， 这个分号需要转义）分隔，打印出分隔后的第一列（即klj）

sed

sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

sed命令

• a\ 在当前行下面插入文本。
• i\ 在当前行上面插入文本。
• c\ 把选定的行改为新的文本。
• d 删除，删除选择的行。
• D 删除模板块的第一行。
• s 替换指定字符 h 拷贝模板块的内容到内存中的缓冲区。
• H 追加模板块的内容到内存中的缓冲区。
• g 获得内存缓冲区的内容，并替代当前模板块中的文本。
• G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。
• l 列表不能打印字符的清单。
• n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
• N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
• p 打印模板块的行。
• P(大写) 打印模板块的第一行。
• q 退出Sed。
• b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
• r file 从file中读行。
• t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
• T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
• w file 写并追加模板块到file末尾。
• W file 写并追加模板块的第一行到file末尾。
• ! 表示后面的命令对所有没有被选定的行发生作用。
• = 打印当前行号码。
• # 把注释扩展到下一个换行符以前。

sed替换标记

• g 表示行内全面替换。
• p 表示打印行。
• w 表示把行写入一个文件。
• x 表示互换模板块中的文本和缓冲区中的文本。
• y 表示把一个字符翻译为另外的字符（但是不用于正则表达式） \1 子串匹配标记 & 已匹配字符串标记

sed元字符集

• ^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。
• 匹配行结束，如：/sed /匹配所有以sed结尾的行。
• . 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。
• * 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
• [] 匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed。
• [^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
• (..) 匹配子串，保存匹配的字符，如s/(love)able/\1rs，loveable被替换成lovers。
• & 保存搜索字符用来替换其他字符，如s/love/&/，love这成love。
• \< 匹配单词的开始，如:/\ 匹配单词的结束，如/love>/匹配包含以love结尾的单词的行。
• x{m} 重复字符x，m次，如：/0{5}/匹配包含5个0的行。
• x{m,} 重复字符x，至少m次，如：/0{5,}/匹配至少有5个0的行。
• x{m,n} 重复字符x，至少m次，不多于n次，如：/0{5,10}/匹配5~10个0的行。

直接编辑文件选项-i，否则并不会修改源文件

sed常用用法1：增

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
&& gg&
b@b-VirtualBox:~/my_temp_test/abc$ sed -i '/gg/a\hello, my friend' abc3
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
&& gg&
hello, my friend

sed -i ‘/gg/a\hello, my friend’ abc3的含义是：
在abc3文件中的“gg”字符串的下一行插入“hello， my friend”

sed常用用法2：删

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
&& gg&
hello, my friend
b@b-VirtualBox:~/my_temp_test/abc$ sed -i '/gg/d' abc3
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
hello, my friend

sed -i ‘/gg/d’ abc3的含义是：
将abc3文件中所有包含的“gg”字符串的行删除

sed常用用法3：改

b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
hello, my friend
b@b-VirtualBox:~/my_temp_test/abc$ sed -i 's/hello/welcome/g' abc3
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
welcome, my friend

sed -i ‘s/hello/welcome/g’ abc3的含义是：
将abc3文件中所有包含的“gg”字符串都修改为“welcome”