10_Linux基础_简单的文本处理命令

目录

1.cut 打印每一行的某个字段

2.grep 查找匹配字符串

3.wc 简单计数工具

4.sort 排序

5.uniq 去重

6. tr 删除或转换

7.col命令

8. join 合并

1.cut 打印每一行的某个字段

# 前五个（包含第五个）
$ cut /etc/passwd -c -5

# 前五个之后的（包含第五个）
$ cut /etc/passwd -c 5-

# 第五个
$ cut /etc/passwd -c 5

# 2到5之间的（包含第五个）
$ cut /etc/passwd -c 2-5

2.grep 查找匹配字符串

grep [命令选项]... 用于匹配的表达式 [文件]...

3.wc 简单计数工具

wc 命令用于统计并输出一个文件中行、单词和字节的数目.

还能分别只输出行数、单词数、字节数、字符数和输入文本中最长一行的字节数

# 行数
$ wc -l /etc/passwd

# 单词数
$ wc -w /etc/passwd

# 字节数
$ wc -c /etc/passwd

# 字符数
$ wc -m /etc/passwd

# 最长行字节数
$ wc -L /etc/passwd

4.sort 排序

cat /etc/passwd | sort			//按字典顺序显示passwd的各行内容

cat /etc/passwd | sort -r		//反转排序

cat /etc/passwd | sort -t':' -k 3	//按特定字段排序
上面的-t参数用于指定字段的分隔符，这里是以":"作为分隔符；
-k 字段号用于指定对哪一个字段进行排序。

观察第3个字段，即第二个冒号后，是按数字排序的。

5.uniq去重

history | cut -c 8- | cut -d ' ' -f 1 | uniq		//过滤掉重复行

# 输出重复过的行（重复的只输出一个）及重复次数
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc

# 输出所有重复的行
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -D

6. tr 删除或转换

tr [option]...SET1 [SET2]

-d	  删除和set1匹配的字符，注意不是全词匹配也不是按字符顺序匹配
-s    去除set1指定的在输入文本中连续并重复的字符

# 删除 "hello shiyanlou" 中所有的'o','l','h'
$ echo 'hello shiyanlou' | tr -d 'olh'

# 将"hello" 中的ll,去重为一个l
$ echo 'hello' | tr -s 'l'

# 将输入文本，全部转换为大写或小写输出
$ echo 'input some text here' | tr '[:lower:]' '[:upper:]'
# 上面的'[:lower:]' '[:upper:]'你也可以简单的写作'[a-z]' '[A-Z]',当然反过来将大写变小写也是可以的

7.col命令

col 命令可以将Tab换成对等数量的空格键，或反转这个操作。

-x	将Tab转换为空格
-h	将空格转换为Tab（默认选项）

# 查看 /etc/protocols 中的不可见字符，可以看到很多 ^I ，这其实就是 Tab 转义成可见字符的符号
$ cat -A /etc/protocols

# 使用 col -x 将 /etc/protocols 中的 Tab 转换为空格,然后再使用 cat 查看，你发现 ^I 不见了
$ cat /etc/protocols | col -x | cat -A

8. join 合并

这个命令就是用于将两个文件中包含相同内容的那一行合并在一起。

join [option]... file1 file2

-t	指定分隔符，默认为空格
-i	忽略大小写的差异
-1	指明第一个文件要用哪个字段来对比，默认对比第一个字段
-2	指明第二个文件要用哪个字段来对比，默认对比第一个字段

9.paste合并

paste这个命令与join 命令类似，它是在不对比数据的情况下，简单地将多个文件合并一起，以Tab隔开。

paste [option] file...

-d	指定合并的分隔符，默认为Tab
-s	不合并到一行，每个文件为一行