linux 文本处理命令
声明：本文总结自互联网，欢迎补充或占为己有
1. 显示文本
普通文本:
cat、 tac、 more、 less、 head、 tail、 nl、 grep 、 rev、 fold、acat、 pr
含有不可见字符的文本:
hexdump、 od、 xxd
2. 文本格式转换
dos2unix、unix2dos、 unix2mac
3. 编码查询和转换
encguess、enca、iconv、enconv 、base64
4. 文本统计
wc
#wc命令说明：
统计文本文件中有多少字，多少行，多少字符。
#格式：
wc [-lwm]
#参数说明：
-l ： 仅显示行数；
-w ： 仅显示字数（英文单词个数）；
-m ： 字符数；5. 内容排序排重
sort、tsort、uniq
#sort命令说明：
将文本文件的内容按行排序。
#格式：
sort [-fbMnrtuk] [file or stdin]
# 参数说明：
-f ： 忽略大小写；
-b ： 忽略最前面的空格；
-u ： 即uniq，重复行仅出现一次；
-M ： 以月份的名字来排序；
-n ： 使用“纯数字”来排序；
-r ： 反向排序；
-t ： 分隔符，默认为tab键；
-k ： 按指定字段排序；
#对文件/etc/passwd以第三栏排序
cat /etc/passwd | sort -t ':' -k 3#uniq命令说明：
如果排序完成了，将重复的行仅显示一次。注意，若文件未排序，该命令失效。
#格式：
uniq [-ic]
#参数说明：
-i ： 忽略大小写；
-c ： 统计每行重复的次数；6. 文本比较
cmp、comm、 diff、patch
#diff命令说明：
以“行”为单位进行文件比较，一般用在ASCII纯文本文件。
#格式：
diff [-bBi] file1 file2
#参数：
-b ： 忽略一行中有多个空白的差异；
-B ： 忽略空白行的不同；
-i ： 忽略大小写；#diff命令说明：
以“行”为单位进行文件比较，一般用在ASCII纯文本文件。
#格式：
diff [-bBi] file1 file2
#参数：
-b ： 忽略一行中有多个空白的差异；
-B ： 忽略空白行的不同；
-i ： 忽略大小写；#cmp命令说明：
以“位”为单位进行文件比较，可以比较二进制文件。
#格式：
cmp [-s] file1 file2
#参数：
-s ： 将所有不同点的位都列出来，默认仅输出第一个发现的不同点；#patch命令说明 ：
diff old new > patch_file命令可以找出new文件与old文件不同的地方，然后用patch命令给old文件打上补丁，即与new文件相同了。
#格式：
patch -pN < patch_file
#参数：
-pN表示取消N层目录。7. 内容查找
grep， egrep， fgrep， ag
#grep命令说明：
按行处理，输出文件中包含搜索字符串的所有行。
格式：
grep [-acinv] ‘搜索字符串’ filename
参数说明：
-a：在二进制文件中，以文本文件的方式搜索数据；
-c：计算找到“搜索字符串”的次数；
-i：忽略大小写；
-n：输出行号；
-v：反向选择；
-E：扩展正则表达式
#在文件a.txt中搜索包含字符串good或glad的行
grep -E 'g(oo|la)d' a.txt 8. 内容摘要,加密和解密
md5sum, rsa, ssl, gpg
9. 文本分割和整合
split、cut、join、paste、csplit
#split命令说明：
将一个大文件拆分为几个小文件。
#格式：
split [-bl] fle
#参数说明：
-b ： 拆分的文件大小，可加单位，如b, k, m等；
-l ： 按行数进行拆分；
#将文件bigfile按512K拆分，拆分后的文件依次为：smallfileaa、smallfileab
split -b 512k bigfile smallfile
#将文件bigfile中的每10行拆分成一个小文件
split -l 10 bigfile smallfile#cut命令说明：
按行处理，将一行消息的某段切出来。
#格式：
cut -d '分割字符' -f fields
cut -c m-n
#取出环境变量PATH中的第3个和第5个路径
echo $PATH | cut -d ':' -f 3,5
#取出环境变量PATH中的第3个到第5个路径
echo $PATH | cut -d ':' -f 3-5
#将export中的每行的前面11个字符删除留，保留从第12个字符开始的所有字符 export | cut -c 12-#join命令说明：
处理两个文件中有相同数据的行，将它们加在一起。
#格式：
join [-ti12] file1 file2
#参数说明：
-i ： 忽略大小写；
-t ： 分隔符，默认为空格符；
-1 m ： 指定file1用来比较的字段m，默认值为1；
-2 n ： 指定file2用来比较的字段n，默认值为1；#paste命令说明：
比较两个文件的数据关联性，直接将“两行贴在一起”，中间以tab键隔开。
#格式：
paste [-d] file1 file2
#参数说明：
-d：后面接分隔符，默认为tab键。10. 字符替换
tr、expand、unexpand
#tr命令说明：
单个字符的处理工具，可以用于删除字符、替换字符等基本功能。
#格式：
tr [-ds] SET
#参数说明：
-d：删除，例如：cat file | tr -d '\r'，相当于dos2unix命令所起的作用。
-s：替换字符，例如：cat file | tr -s [0-9]，如果某个数字连续出现，仅保留第一个。
#将file中的小写字符全部改为大写
cat file | tr [a-z] [A-Z] #expand命令说明：
将tab键转换成空格键。
#格式：
expand [-t] file
#参数说明：
-t n ： 后面可以接一个数字n，一个tab键替换为n个空格键，默认值为8。11. 格式化输出
fmt, col, column
#col命令说明：
格式化显示列。
#格式：
col [-x]
#参数说明：
-x：将tab键转换成对等的空格键；
#使用cat -A，tab键会以^I显示，经过col -x处理，tab替换为空格
cat -A /etc/man.config | col -x | cat -A12. 报表生成
awk
#awk命令说明：
将一行消息分成数个段，对每行进程分别处理
#格式：
awk '条件 {命令}' file
#awk的内置变量：
$n：该行的第n个字段；
NF：每一行拥有的字段总数；
NR：当前行的行号；
FS：分隔符，默认为空格键；
#打印passwd文件第三栏小于10的行的第1、3栏
cat /etc/passwd | awk 'BEGIN {FS=":"} $S3<10 {print $1 "\t" $3}'13. 文本编辑器
eamcs, vim, sed
#sed命令说明：
分析STDIN的数据，将数据处理后，输出到STDOUT。
#格式：sed [-nefr] 动作
#参数说明：
-n： 安静模式，仅显示经过sed特殊处理的行；
-e： 直接在命令行模式进行sed的操作编辑；
-r： 支持扩展正则表达式语法
-f file： 将sed操作写在一个文件中；
#动作说明：
n1和n2代表选择进行操作的行数
function来源于ed编辑器;
#在/etc/passwd第2行下面新增一行，写入"Hello World"
nl /etc/passwd | sed '2a Hello World'
#在/etc/passwd第2行上面新增一行，写入"Hello World"
nl /etc/passwd | sed '2i Hello World'
#删除/etc/passwd中的第2至5行
nl /etc/passwd | sed '2,5d'
#仅显示2到5行，注意，如果不加-n，2到5行将重复输出
nl -n /etc/passwd | sed '2,5p'
#将第1~20行中出现的所有字符串old替换为new
nl /etc/passwd | sed '1,20s/old/new/g'14. 文本流复制
tee
#tee命令说明：
双向重导向，从标准输入读取数据，输出到屏幕上，同时保存成文件。
#格式：
tee [-a] file
#参数说明：
-a：以累加的方式，将数据加入到file中。
#将ls命令的数据存一份到myfile中，同时屏幕也有输出数据
ls -al /home | tee ~/myfile | more