基本awk和sed命令
从文件中提取2，4，5列：
awk '{print $2,$4,$5}' input.txt
输出第五列中包含abc123的行：
awk '$5 == "abc123"' file.txt
输出第五列中不包含abc123的行：
awk '$5 != "abc123"' file.txt
输出第七列中符合正则表达式规则（以a-f中任一字母开头）的行：
awk '$7 ~ /^[a-f]/' file.txt
输出第七列中不符合正则表达式规则（以a-f中任一字母开头）的行：
awk '$7 !~ /^[a-f]/' file.txt
根据第二列去除重复行并输出唯一行：
awk '!arr[$2]++' file.txt
输出第三列大于第五列的行：
awk '$3>$5' file.txt
对file.txt中的第一列求和：
awk '{sum+=$1} END {print sum}' file.txt
计算第二列的均值：
awk '{x+=$2}END{print x/NR}' file.txt
将所有的foo替换为bar：
sed 's/foo/bar/g' file.txt
去除行首空格或制表符：
sed 's/[ \t]*$//' file.txt
去除行首和行尾的空格和制表符：
sed 's/^[ \t]*//;s/[ \t]*$//' file.txt
删除空白行：
sed '/^$/d' file.txt
删除包含EndOfUsefulData的行之后的所有内容：
sed -n '/EndOfUsefulData/,$!p' file.txt
维持原始顺序同时删除重复项：
awk '!visited[$0]++' file.txt
生信中实用的awk和sed命令
输出1号染色体上处于1MB和2MB之间的行：
# bed格式
cat file.bed | awk '$1=="1"' | awk '$3>=999999' | awk '$3<=1999999'
# gff格式
cat file.gff | awk '$1=="1"' | awk '$5>=1000000' | awk '$5<=2000000'
统计fastq文件的一些基本信息，包括reads数量、唯一的reads数、唯一reads的比例、出现频率最多的序列及频数和所占比例：
cat myfile.fq | awk '((NR-2)%4==0){read=$1;total++;count[read]++}END{for(read in count){if(!max||count[read]>max) {max=count[read];maxRead=read};if(count[read]==1){unique++}};print total,unique,unique*100/total,maxRead,count[maxRead],count[maxRead]*100/total}'
将bam文件转为fastq：
samtools view file.bam | awk 'BEGIN {FS="\t"} {print "@" $1 "\n" $10 "\n+\n" $11}' > file.fq
输出blast结果中最高得分的结果：
awk '{ if(!x[$1]++) {print $0; bitscore=($14-1)} else { if($14>bitscore) print $0} }' blastout.txt
将含多条序列的fasta文件分割为多个fasta文件（每条序列一个文件）：
awk '/^>/{s=++d".fa"} {print > s}' multi.fa
输出fasta文件中每条序列的序列名及其长度：
cat file.fa | awk '$0 ~ ">" {print c; c=0;printf substr($0,2,100) "\t"; } $0 !~ ">" {c+=length($0);} END { print c; }'
将fastq文件转为fasta文件：
sed -n '1~4s/^@/>/p;2~4p' file.fq > file.fa
从fastq文件中提取序列：
sed -n '2~4p' file.fq
输出除第一行外的所有内容：
awk 'NR>1' input.txt
输出20-80行的内容：
awk 'NR>=20&&NR<=80' input.txt
计算第二列和第三列之和并将结果置于行尾：
awk '{print $0,$2+$3}' input.txt
计算fastq文件中reads的平均长度：
awk 'NR%4==2{sum+=length($0)}END{print sum/(NR/4)}' input.fastq
将vcf文件转为bed文件：
sed -e 's/chr//' file.vcf | awk '{OFS="\t"; if (!/^#/){print $1,$2-1,$2,$4"/"$5,"+"}}'
根据reads名从fastq文件中提取指定reads：
zcat a.fastq.gz | awk 'BEGIN{RS="@";FS="\n"}; $1~/readsName/{print $2; exit}'
统计vcf中每行丢失的样本数：
bcftools query -f '[%GT\t]\n' a.bcf | awk '{miss=0};{for (x=1; x<=NF; x++) if ($x=="./.") {miss+=1}};{print miss}' > nmiss.count
sort, uniq, cut 命令
对文件中的每一行编号：
cat -n file.txt
统计文件中唯一行的数量：
cat file.txt | sort -u | wc -l
查找两个文件中相同的行：
sort file1 file2 | uniq -d
# Safer
sort -u file1 > a
sort -u file2 > b
sort a b | uniq -d
# Use comm
comm -12 file1 file2
按第九列进行数字排序：
sort -gk9 file.txt
查找第二列中出现最多的字符串：
cut -f2 file.txt | sort | uniq -c | sort -k1nr | head
从文件中随机选择10行：
shuf file.txt | head -n 10
输出所有可能的3mer DNA序列组合：
echo {A,C,T,G}{A,C,T,G}{A,C,T,G}
将合并的paired-end fastq文件拆分为-1和-2 两个fastq文件：
cat interleaved.fq |paste - - - - - - - - | tee >(cut -f 1-4 | tr "\t" "\n" > deinterleaved_1.fq) | cut -f 5-8 | tr "\t" "\n" > deinterleaved_2.fq
find, xargs, 和 GNU parallel 命令
GNU parallel 下载地址：https://www.gnu.org/software/parallel/
在当前目录中递归搜索bam文件：
find . -name "*.bam"
删除所有的bam文件：
find . -name "*.bam" | xargs rm
将所有的txt文件重命名成bak文件：
find . -name "*.txt" | sed "s/\.txt$//" | xargs -i echo mv {}.txt {}.bak | sh
同时运行12个FASTQC 任务：
find *.fq | parallel -j 12 "fastqc {} --outdir ."
将bam文件建索引（进输出命令，并不运行程序）：
find *.bam | parallel --dry-run 'samtools index {}'
seqtk
Seqtk是一种快速处理FASTA或FASTQ格式序列的工具。它也可以读取gzip压缩过的FASTA和FASTQ文件。下载地址：https://github.com/lh3/seqtk
将fastq转为fasta格式：
seqtk seq -a in.fq.gz > out.fa
将fastq文件中的质量值低于20的序列屏蔽掉并转为fasta格式：
# 将序列屏蔽为小写
seqtk seq -aQ64 -q20 in.fq > out.fa
# 将序列屏蔽为N
seqtk seq -aQ64 -q20 -n N in.fq > out.fa
将fasta和fastq文件格式化为每行60个字符的多行序列并去除注释信息：
seqtk seq -Cl60 in.fa > out.fa
将多行的fastq文件转为4行的fastq文件：
seqtk seq -l0 in.fq > out.fq
生成fastq或fasta的反向互补序列：
seqtk seq -r in.fq > out.fq
根据name.lst（每行一个序列名）中的序列名提取序列：
seqtk subseq in.fq name.lst > out.fq
提取reg.bed文件中所含区域的序列：
seqtk subseq in.fa reg.bed > out.fa
将reg.bed文件中所含区域的序列屏蔽为小写：
seqtk seq -M reg.bed in.fa > out.fa
使用Phred算法从两端修剪低质量的碱基：
seqtk trimfq in.fq > out.fq
从每条read的左端修剪5bp，从右端修剪10bp：
seqtk trimfq -b 5 -e 10 in.fa > out.fa
将合并的paired-end fastq文件拆分为-1和-2 两个fastq文件：
seqtk seq -l0 -1 interleaved.fq > deinterleaved_1.fq
seqtk seq -l0 -2 interleaved.fq > deinterleaved_2.fq
GFF3 文件
输出所有在gff3文件中注释的序列：
cut -s -f 1,9 yourannots.gff3 | grep $'\t' | cut -f 1 | sort | uniq
统计gff3中的基因数量：
grep -c $'\tgene\t' yourannots.gff3
提取gff3中所有的基因ID：
grep $'\tgene\t' yourannots.gff3 | perl -ne '/ID=([^;]+)/ and printf("%s\n", $1)'
输出gff3中所有的基因长度：
grep $'\tgene\t' yourannots.gff3 | cut -s -f 4,5 | perl -ne '@v = split(/\t/); printf("%d\n", $v[1] - $v[0] + 1)'
参考
- Bioinformatics one-liners