linux数据处理命令的一些整理

  1. 合并文件cat a.dat b.dat > c.dat

  2. 文件截取数据并重定向  cut  -c  11-20 a.txt>>b.txt

  3. 文件排序并去重  

    sort file |uniq

    注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
    sort file |uniq -u
    上面的命令可以把重复的行全部去掉也就是文件中的非重复行!

  4. 比较两个数据文件差异

        存在1.txt,不存在2.txt的内容

      comm -23 <(sort 1.txt) <(sort 2.txt)

      存在2.txt,不存在1.txt的内容

      comm -13 <(sort 1.txt) <(sort 2.txt)

      存在1.txt,也存在2.txt的内容

      comm -12 <(sort 1.txt) <(sort 2.txt)

      什么也不显示

      comm -123 <(sort 1.txt) <(sort 2.txt)



你可能感兴趣的:(linux数据处理命令的一些整理)