常用Linux命令

grep

 

案例一:统计fasta文件中序列的条数;

grep -c ">"  gene.ffn

 

案例二:输出满足条件的序列;

grep -A 2 "3 gi 29732 34486" lastz.axt

 

常用Linux命令_第1张图片

案例三:筛选出不满足条件的内容;

ps -fx | grep -v "S"

不输出进程状态为S的任务。

 

sed

 

案例一:输出固定的行

sed -n '1307p'  seq.fna   #输出文件第1307行;

sed -n '100,200' seq.fna  #输出文件第100到200行;

 

案例二:替换操作

sed -e 's/gi/GI/' seq.fna  #将文件中gi全部替换为大写GI;

sed -i 's/gi/GI/g' seq.fna   #在原文件上进行替换,并且进行全部替换;

sed -i.bak 's#GI#gi#' seq.fna  #在原文件上进行替换,并进行备份;

sed -e 's/gi/GI/2;s/ref/REF/2' seq.fna   #只将第二次出现的gi和ref进行替换;

sed -f sed.list cds.list    #根据文件中的模式进行替换,可同时进行多条件替换;

sed -n 's/gi/GI/p' seq.fna  #打印发生替换的行;

 

案例三:删除空白行;

sed -e '/^\s*$/d'  seq.fna  #删除文件中的空白行;

 

案例四:行寻址

sed -n '/ref/p' seq.fna   #输出文件中包含ref关键字的行;

sed  '100,2000s/GI/gi/g' seq.fa  #则只替换100行到2000行的内容;

sed  '100,2000!s/GI/gi/g' seq.fa  #加感叹号取反,在这个范围之外的执行操作;

 

案例五:删除操作

sed -e '/>/d' seq.fna #删除包含ref的行;

sed -e 's/:.*//g' seq.fna   #删除冒号之后的所有内容;

 

案例六:对应替换,类似于tr的功能

sed -e 'y/ATCG/atcg/' seq.fna  #修改大小写

sed -e '/>/!y/ATCG/atcg/' seq.fna  #DNA序列反向互补配对,并修改大小写

 

单行perl

 

案例一:命令行模式perl;

perl -e "print ”hello,world\n";

 

案例二:while循环;

-n是自动循环,相当于 while(<>) { 脚本; };

perl -ne '{chomp;print "$_\n";}' test.txt     #使用-ne来都读取这个文件,并将其一行行打印出来。这个相当于cat的功能了。

 

案例三:替换模式,相当于sed功能;

perl -p -e ‘s/scaffold_//'  test.txt   #将其中的ID行里面的scaffold下划线都替换掉;

perl -p -e  -i‘s/scaffold_//'  test.txt   #直接在源文件修改,相当于sed -i;

perl -pie ’s/\r\n/\n/g’ test.txt  #将换行符\r\n替换成\n,相当于dos2unix命令的功能。

 

案例四:打印文件的任意行或者任意范围的行,相当于awk功能;

perl -lane ‘print “@F[0..4] $F[6]“‘ file   #取出文件的一部分,显示字段0-4和字段6,字段的分隔符是空格;

perl -F: -lane ‘print “@F[0..4]\n”‘ /etc/passwd  #修改分隔符为冒号;

 

案例五:利用正则表达式,输出固定范围行;

perl -ne ‘print if /^START$/ .. /^END$/’ file   #打印START和END之间的部分;

perl -ne ‘print unless /^START$/ .. /^END$/’ file  #不打印START和END之间的部分;

 

案例六:显示开头50行,相当于head;

perl -pe ‘exit if $. > 50′ file   #输出文件前50行,相当于head的功能;

perl -ne ‘print if 15 .. 17′ file   #显示15行到17行,相当于head,管道与tail;

如果要丢弃模式内的,将if切换成unless即可。

 

案例七:提取固定字符;

perl -lne ‘print substr($_, 0, 80) = “”‘ file  #去除每行前80个字符;

 

案例八:搜索功能,相当于grep功能;

perl -ne ‘print if /comment/’ duptext  #查找固定模式的字符串:

perl -ne ‘print unless /comment/’ duptext   #查找不含comment字符串的行,相当于grep -v;

 

案例九:排序;

perl -e ‘print sort <>’ #file  #文件按行排序;

perl -00 -e ‘print sort <>’ #file  #文件按段落排序;

perl -0777 -e ‘print sort <>’ file1 file2  #多个文件按文件内容排序,并返回合并后的文件:

 

案例十:文件按行反转

perl -e ‘print reverse <>’ file1  #文件按行翻转;


sort

 

案例一:直接排序;

sort  

 

案例二:按相反顺序进行排序;

sort -r  

 

案例三:根据数字大小进行排序;

sort -n

 

案例四:排序去除重复;

sort -u

 

案例五:多条件排序;

sort -nrk3 -k2   #首先按照第三列进行排序,然后按照第2列进行排序;

 

案例六:统计blast比对上的序列数目;

awk '{print $1} ' blast.out  |  sort -n | uniq | wc

 

awk

 

案例1:输出一个列表任意行;

awk '{print $1}' blast_m8.out  #输出blast m8 格式结果的第一行;

awk -F ":" '{print $1,$NF}' passwd.list   #通过-F修改默认分隔符为冒号,输出第一行与最后一行;

 

案例2:格式转换

awk '{print"@" $1"\n"$10"\n""+\n"$11""}' all.sam  #将短序列比对上的reads输出出来,生成fastq文件;

 

案例3:过滤blast结果

awk ’{if ($3>=80 && $4>=100) print $0}'  blast_m8.out  #过滤blast比对结果,将identity 大于80,并且比对长度大于100bp的结果输出;

 

案例4:比较

awk '$8>$10' input.txt #输出第8列大于第10列的行。

 

案例5:匹配输出

awk '$0~ /wang/{print $0}' passwd.list   #利用正则表达式,将秘密表中姓wang的账户都输出出来;

 

案例6:格式化输出

awk 'BEGIN{print "The Program Begin\n"}{if ($3>=80 && $4>=100) print $0}END{print " The Program End\n"}' input.txt  #利用BEGIN和END关键字生成报告;

 

案例7:修改字段和记录分隔符

awk 'BEGIN{OFS="\t"}{print $2,$4,$5}' input.txt   #在BEGIN中设定字段分隔符和记录分隔符;

 

案例8:awk编程计算

awk '{x+=$3}END{print x/NR}' input.txt   #计算第三列的平均值,最后在END将其输出出来。

 

案例9:awk编程比较大小

awk   'BEGIN { max=100 ;print "max=" max} {max=($1 >max ?$1:max); print $1,"Now max is "max}' input.txt  #取得文件最后一个域的最大值。 

 

案例10:awk编程求和

awk '{print $0,$3+$4}' input.txt  #计算第3列和第4列的和。

 

案例11:输出固定行内容

awk 'NR>=20&&NR<=80' input.txt  #输出第20到第80行内容。

 

案例12:合并文件

awk 'BEGIN{while((getline<"file1")>0)l[$1]=$0}$1 in l{print $0"\t"l[$1]}' file2  #将两个文件按列合并起来,类似jion命令的功能。

 

案例13:去重复

awk '!($0 in a) {a[$0];print}' input.txt  # 打印不重复的行,类似uniq的功能;

awk '!($2 in l){print;l[$2]=1}' input.txt #计算第二列内容非冗余的次数,类似于uniq的功能;

 

案例14:统计字符

awk '{for(i=1;i!=NF;++i)c[$i]++}END{for (x in c) print x,c[x]}' input.txt 计算每个字符出现的次数,类似wc的功能。

 

案例15:替换

awk '{sub(/test/, "no", $0);print}' input.txt 进行替换,类似sed的功能,

 

案例16:fastq转换为fasta

awk '{getline seq;getline plus;getline qual;sub("@",">",$0);print $0 "\n"seq}'  test.fastq

 

vim

filetype on #识别文件扩展名

syntax on #表示语法高亮

set nu  #在每一行前面显示行号,

set encoding=utf-8   #让vim支持中文显示,

set ruler  #打开光标的行列位置显示功能 ,

set nobackup   #不设置备份,

set tabstop=4   #一个tab是4个字符 

 

find

 

案例一:搜索Data目录下以点fna结尾的文件;

find  ../Data -name *.fna

 

案例二:搜索系统中最近5分钟内编辑过的文件;

find / -amin 5

注意:当在根目录下搜索的时候,需要小心,由于文件较多,往往速度比较慢,并且系统中有很多实时更新的文件,所以,一般情况下尽量不要在根目录下搜索。

 

案例三:查找大于100M的文件;

find ./-size 100M

 

案例四:按照文件类型搜索;

find  ./ -type 文件类型

c 的档案

d: 目录 

b: 区块装置档案 ,

p: 具名贮列

f: 一般档案

l: 符号连结

s: socket

 

案例五:搜索文件,直接处理;

find ./temp/ -name *.fna -exec rm '{}' \;

-exec ,也就是execise,执行。相应命令的形式为'command' { } \;筛选以点fna结尾文件,直接将查找出来的文件删除掉。


 

cut

 

案例一:通过字节进行分割;

cut -b 1 blastm8.list

将文件中每一行第一个字符输出出来。输出结果就是一堆字符gggggg。

 

案例二:一次取出多个字节;

cut -b 1-28 blastm8.list

cut支持多个字符,比如1-28,则将第一列提取出来了。

 

案例三:自定义字符进行分割;

cut -d "|" -f 4,8  blast_m8.list

cut -d 竖线来分隔域,分隔之后,这部分是第四个域和第八个域的内容,我们设置-f即可。

常用Linux命令_第2张图片

 

xargs

案例一:

find ./ -name *.fna | xargs rm

搜索当前目录下所有一点fna结尾的文件,然后删除掉。

 

案例二:

echo --help  |  xargs cat

将--help参数传递给cat命令

常用Linux命令_第3张图片

 

案例三:

find ./ -name "*.fna" | xargs tar -zcf genome.tar.gz

搜索当前目录下所有一点fna结尾的文件,然后打包压缩。

 

 

案例四:

cat passwd.txt |xargs -d: -n 2

使用-d来修改分隔符,配合-n,让每行输出固定的内容。

 

案例五:

find  ../../ -name  "*.fq.gz  | xargs -I {}  cp {} .

将某个目录下fq.gz格式的文件,拷贝至当前目录。 

你可能感兴趣的:(Linux)