这个是有机结合生物信息学的linux和数据格式的练习题:
下载bowtie2软件后拿到示例数据:
>mkdir -p ~/biosoft
>cd ~/biosoft
>wget https://sourceforge.net/projects/bowtie-bio/files/bowtie2/2.3.4.3/bowtie2-2.3.4.3-linux-x86_64.zip
>unzip bowtie2-2.3.4.3-linux-x86_64.zip
>cd ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
1)统计reads_1.fq 文件中共有多少条序列信息
>cat reads_1.fq | paste - - - - |cut -f1 | wc -l
10000
2)输出所有的reads_1.fq文件中的标识符(即以@开头的那一行)
>cat reads_1.fq | paste - - - - | cut -f1
3) 输出reads_1.fq文件中的 所有序列信息(即每个序列的第二行)
>cat reads_1.fq | paste - - - - | cut -f2
4)输出以‘+’及其后面的描述信息(即每个序列的第三行)
>cat reads_1.fq | paste - - - - | cut -f3
5)输出质量值信息(即每个序列的第四行)
>cat reads_1.fq | paste - - - - | cut -f4
6) 计算reads_1.fq 文件含有N碱基的reads个数
>cat reads_1.fq | paste - - - - | cut -f2 | grep 'N' | wc -l
7) 统计文件中reads_1.fq文件里面的序列的碱基总数
>cat reads_1.fq | paste - - - - | cut -f2 | grep 'N' | wc -l
8)计算reads_1.fq 所有的reads中N碱基的总数
>cat reads_1.fq | paste - - - - | cut -f2|awk '{sum+=length($0)}END{print sum}'
1088399
9)统计reads_1.fq 中测序碱基质量值恰好为Q20的个数
>cat reads_1.fq | paste - - - - | cut -f 4 | grep -o '5' | wc -l
474
10)统计reads_1.fq 中测序碱基质量值恰好为Q30的个数
>cat reads_1.fq | paste - - - - | cut -f 4 | grep -o '?' | wc -l
503
11)统计reads_1.fq 中所有序列的第一位碱基的ATCGNatcg分布情况
>cat reads_1.fq | paste - - - - | cut -f2 | cut -c1 | sort | uniq -c
2184 A
2203 C
2219 G
1141 N
2253 T
12)将reads_1.fq 转为reads_1.fa文件(即将fastq转化为fasta)
>cat reads_1.fq | paste - - - - | cut -f 1,2 | tr '\t' '\n'| tr '@' '>' >reads_1.fa
13) 统计上述reads_1.fa文件中共有多少条序列
>cat reads_1.fa | paste - -| wc -l
10000
14)计算reads_1.fa文件中总的碱基序列的GC数量
>grep -o [GC] reads_1.fa | wc -l
529983
15)删除 reads_1.fa文件中的每条序列的N碱基
>sed s/N//g reads_1.fa
16)删除 reads_1.fa文件中的含有N碱基的序列
>cat reads_1.fa | paste - - | grep -v 'N' | tr '\t' '\n'
17) 删除 reads_1.fa文件中的短于65bp的序列
>cat reads_1.fa | paste - - | awk 'length($2)>65{print $0}' | tr '\t' '\n'
18) 删除 reads_1.fa文件每条序列的前后五个碱基
>cat reads_1.fa |awk '{if($0~/^>/)print $0;else print substr($0,6,length($0)-10)}'|less -S
19)删除 reads_1.fa文件中的长于125bp的序列
>cat reads_1.fa | paste - - | awk 'length($2)<=125{print $0}' | tr '\t' '\n'
20)查看reads_1.fq 中每条序列的第一位碱基的质量值的平均值
>awk '{if(NR%4==0)print substr($0,1,1)}' reads_1.fq | awk '
BEGIN{for(i=0;i<256;++i) ord[sprintf("%c",i)]=i}BEGIN{count=0}{ count+=(ord[$1]-33)}END{print count,count/NR}'
163621 16.3621
#方法2
>awk '{if(NR%4==0)print substr($0,1,1)}' reads_1.fq | awk 'BEGIN{for(i=0;i<256;++i) ord[sprintf("%c",i)]=i}{print ord[$1]-33}'|paste -s -d+|bc
163621