文本处理工具

1. 抽取文本的工具

 文件内容:less和 cat
 文件截取：head和tail
 按列抽取：cut
 按关键字抽取：grep

2.分析文本的工具

 文本数据统计：wc
 整理文本：sort
 比较文件：diff和patch*

3.Linux文本处理三剑客

grep：文本过滤(模式：pattern)工具
      grep, egrep, fgrep（不支持正则表达式搜索）
sed：stream editor，文本编辑工具
awk：Linux上的实现gawk，文本报告生成器*

4. 文件查看命令：cat, tac,rev

cat [OPTION]... [FILE]...（主要查看文本文件（可打印的字符））
-E: 显示行结束符$
-n: 对显示出的每一行进行编号
-A：显示所有控制符
-b：非空行编号
-s：压缩连续的空行成一行

• tac文件相反输出

• rev 每行相反输出

  
  
  

  Paste_Image.png
  
  
  

  Paste_Image.png
  
  
  

  Paste_Image.png
  
  
  

  Paste_Image.png

5.分页查看文件内容

more: 分页查看文件
more [OPTIONS...] FILE...
-d: 显示翻页及退出提示


less：一页一页地查看文件或STDIN输出
查看时有用的命令包括：
/ 文本 搜索 文本
n/N跳到下一个 或 上一个匹配
less 命令是man命令使用的分页器

Paste_Image.png

6.显示文本前或后行内容

head
head [OPTION]... [FILE]...
-c #: 指定获取前#字节
-n #: 指定获取前#行
- #： 指定行数

Paste_Image.png

tail
tail [OPTION]... [FILE]...
-c #: 指定获取后#字节
-n #: 指定获取后#行
-#:指定获取后面多少行
-f: 跟踪显示文件新追加的内容,常用日志监控

Paste_Image.png

7.cut切分

cut [OPTION]... [FILE]...
-d DELIMITER: 指明分隔符，默认tab
-f FILEDS:
#: 第#个字段
#,#[,#]：离散的多个字段，例如1,3,6
-#-#：连续的多个字段, 例如1-6
混合使用：1-3,7
-c:按字符切割
--output-delimiter=STRING指定输出分隔符

显示文件或STDIN数据的指定列
cut -d: -f1 /etc/passwd
cat /etc/passwd | cut -d: -f7
cut -c2-5 /usr/share/dict/words

Paste_Image.png

Paste_Image.png

8.paste 合并两个文件同行号的列到一行

paste [OPTION]... [FILE]...
-d: 分隔符:指定分隔符，默认用TAB
-s : 所有行合成一行显示
paste f1 f2
paste -s f1 f2

Paste_Image.png

9.收集文本统计数据wc

计数单词总数、行总数、字节总数和字符总数
可以对文件或STDIN中的数据运行
-l:来只计数行数
-w:来只计数单词总数
-c: 来只计数字节总数
-m: 来只计数字符总数

Paste_Image.png

10 .文本排序sort

把整理过的文本显示在STDOUT，不改变原始文件
$ sort [options] file(s)
常用选项
-r: 执行反方向（由上至下）整理
-n: 执行按数字大小整理
-f:选项忽略（fold）字符串中的字符大小写
-u:选项（独特，unique）删除输出中的重复行
-t:c 选项使用c做为字段界定符
-k: X 选项按照使用c字符分隔的X列来整理能够使用多次

Paste_Image.png

11.uniq

uniq命令：从输入中删除前后相接的重复的行
 uniq [OPTION]... [FILE]...
-c: 显示每行重复出现的次数
-d: 仅显示重复过的行
-u: 仅显示不曾重复的行
连续且完全相同方为重复,常和sort 命令一起配合使用：
sort userlist.txt | uniq -c
查看连接本机IP的次数

Paste_Image.png

12.diff比较文件

比较两个文件之间的区别
diff file1 file2

$ diff foo.conf-broken foo.conf-works
5c5
< use_widgets = no
---
> use_widgets = yes
 注明第5行有区别（改变）

13.复制对文件改变patch

diff 命令的输出被保存在一种叫做“补丁”的文件中
使用 -u 选项来输出“统一的（unified）”diff格式文 件，最适用于补丁文件。
patch 复制在其它文件中进行的改变（要谨慎使用）
适用 -b 选项来自动备份改变了的文件
$ diff -u foo.conf-broken foo.conf-works > foo.patch
$ patch -b foo.conf-broken foo.patch

14.grep

grep: Global search REgular expression and Print outthe line
作用:文本搜索工具,根据用户指定的“模式”对目标文 本逐行进行匹配检查;打印匹配到的行
模式：由正则表达式字符及文本字符所编写的过滤条件
grep [OPTIONS] PATTERN [FILE...]

eg:
grep "$USER" /etc/passwd
grep '$USER' /etc/passwd
grep \`whoami` /etc/passwd(反向单引号可以解释命令）

grep命令选项
--color=auto: 对匹配到的文本着色显示
-v: 显示不被pattern匹配到的行
-i: 忽略字符大小写
-n：显示匹配的行号
-c: 统计匹配的行数
-o: 仅显示匹配到的字符串
-q: 静默模式，不输出任何信息 (用echo $?查看，如果是0，则查找到了)
-A #: after, 后#行
-B #: before, 前#行
-C #：context, 前后各#行
-e：实现多个选项间的逻辑or关系 eg:grep –e ‘cat ’ -e ‘dog’ file
-w：匹配整个单词
-E：使用ERE
-F：相当于fgrep，不支持正则表达式

15.正则表达式

REGEXP：由一类特殊字符及文本字符所编写的模式，其中有些字符（元字符）不表示字符字面意义，而表示控制或通配的功能
 程序支持：grep,sed,awk,vim, less,nginx,varnish等
分两类：
基本正则表达式：BRE
扩展正则表达式：ERE
grep -E, egrep
 正则表达式引擎：
采用不同算法，检查处理正则表达式的软件模块
元字符分类：字符匹配、匹配次数、位置锚定、分组
 man 7 regex

正则表达式元字符
 字符匹配:
. 匹配任意单个字符
[] 匹配指定范围内的任意单个字符
[^] 匹配指定范围外的任意单个字符
[:alnum:] 字母和数字
[:alpha:] 代表任何英文大小写字符，亦即 A-Z, a-z
[:lower:] 小写字母 [:upper:] 大写字母
[:blank:] 空白字符（空格和制表符）
[:space:]水平和垂直的空白字符（比[:blank:]包含的范围广）
[:cntrl:]不可打印的控制字符（退格、删除、警铃...）
[:digit:]十进制数字 [:xdigit:]十六进制数字
[:graph:] 可打印的非空白字符
[:print:] 可打印字符
[:punct:]标点符号

Paste_Image.png

Paste_Image.png

正则表达式
匹配次数：用在要指定次数的字符后面，用于指定前面的字
符要出现的次数
\:匹配前面的字符任意次，包括0次
贪婪模式：尽可能长的匹配
.*:任意长度的任意字符
\?: 匹配其前面的字符0或1次
\+:匹配其前面的字符至少1次
\{n\}:匹配前面的字符n次
\{m,n\}:匹配前面的字符至少m次，至多n次
\{,n\}:匹配前面的字符至多n次
\{n,\}:匹配前面的字符至少n次

Paste_Image.png

位置锚定：定位出现的位置
^: 行首锚定，用于模式的最左侧
$: 行尾锚定，用于模式的最右侧
^PATTERN$: 用于模式匹配整行
^$:空行
^[[:space:]]*$: 空白行
\< 或 \b:词首锚定，用于单词模式的左侧
\> 或 \b: 词尾锚定；用于单词模式的右侧
: 匹配整个单词

Paste_Image.png

Paste_Image.png

Paste_Image.png

分组：() 将一个或多个字符捆绑在一起，当作一个整体进行处理，如：\(root\)\+
分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部的变量中，这些变量的命名方式为: \1, \2, \3, ...
\1 表示从左侧起第一个左括号以及与之匹配右括号之间的模式所匹配到的字符

 示例： \(string1\+\(string2\)\*\)
               \1 ：string1\+\(string2\)\*
               \2 ：string2

后向引用：引用前面的分组括号中的模式所匹配字符，而非模式本身 或者：\|

示例：a\|b: a或b C\|cat: C或cat \(C\|c\)at:Cat或cat

Paste_Image.png

Paste_Image.png

Paste_Image.png

Paste_Image.png

15.egrep及扩展的正则表达式

egrep = grep -E
egrep [OPTIONS] PATTERN [FILE...]
(1)字符匹配：
.:任意单个字符
[ ]:指定范围的字符
[^]不在指定范围的字符
(2)次数匹配：
\*:匹配前面字符任意次
?: 0或1次 位置锚定：
^ :行首
$:行尾 <, \b :语首 >, \b :语尾
+：1次或多次
{m}：匹配m次
{m,n}：至少m，至多n次
(3)分组：
()
(4)后向引用：
\1,
\2, ...
(5)a|b: a或bC|cat: C或cat(C|c)at:Cat或cat