这个是有机结合生物信息学的linux和数据格式的练习题： 下载bowtie2软件后拿到示例数
mkdir -p ~/biosoft
cd ~/biosoft
wget https://sourceforge.net/projects/bowtie-bio/files/bowtie2/2.3.4.3/bowtie2-2.3.4.3-linux-x86_64.zip
unzip bowtie2-2.3.4.3-linux-x86_64.zip
cd ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
1)统计reads_1.fq 文件中共有多少条序列信息
fq文件的特点是：每四行代表一条序列。所以我们统计下该文件一共有多少行再除以4就是多少条序列信息
cat reads_1.fq | paste - - - - | wc -l
10000
paste - - - -的意思是，把四行剪切粘贴成一行
2）输出所有的reads_1.fq文件中的标识符(即以@开头的那一行)
1.awk '{if(NR%4==1)print}' reads_1.fq
2.cat reads_1.fq | paste - - - - | cut -f1
cat reads_1.fq | paste - - - - | cut -f1|head
#@r1
#@r2
#@r3
#@r4
#@r5
#@r6
#@r7
#@r8
#@r9
#@r10
- 输出reads_1.fq文件中的 所有序列信息(即每个序列的第二行)
cat reads_1.fq | paste - - - - | cut -f2
4）输出以‘+’及其后面的描述信息(即每个序列的第三行)
cat reads_1.fq | paste - - - - | cut -f3
5）输出质量值信息(即每个序列的第四行)
cat reads_1.fq | paste - - - - | cut -f4
- 计算reads_1.fq 文件含有N碱基的reads个数
#grep中-c参数：计算符合范本样式的列数。
$ awk '{if(NR%4==2)print}' reads_1.fq | grep -c N
6429
$ awk '{if(NR%4==2)print}' reads_1.fq | grep N |wc
6429 6429 782897
#已经读出的记录数，就是行号，从1开始
- 统计文件中reads_1.fq文件里面的序列的碱基总数
1.awk '{if(NR%4==2)print}' reads_1.fq | grep -o [ATCGN]|wc -l
2.awk 'if(NR%4==2)print length' reads_1.fq |paste -s -d + |bc
$ awk '{if(NR%4==2)print length}' reads_1.fq |head
122
275
338
184
138
191
143
98
55
104
8）计算reads_1.fq 所有的reads中N碱基的总数
awk '{if(NR%4==2)print}' reads_1.fq | grep -o N |wc
26001 26001 52002
9）统计reads_1.fq 中测序碱基质量值恰好为Q20的个数
$ awk '{if(NR%4==0)print}' reads_1.fq | grep -o 5 |wc
21369 21369 42738
10）统计reads_1.fq 中测序碱基质量值恰好为Q30的个数
$ awk '{if(NR%4==0)print}' reads_1.fq | grep -o ? |wc
21574 21574 43148
11）统计reads_1.fq 中所有序列的第一位碱基的ATCGNatcg分布情况
$ awk '{if(NR%4==2)print}' reads_1.fq | cut -c1 |sort|uniq -c
2184 A
2203 C
2219 G
1141 N
2253 T
12）将reads_1.fq 转为reads_1.fa文件(即将fastq转化为fasta)
$ cat reads_1.fq | paste - - - - | cut -f1,2|tr '\t' '\n'|tr '@' '>' > reads_1.fa
- 统计上述reads_1.fa文件中共有多少条序列
wc reads_1.fa
20000 20000 1167293 reads_1.fa
14）计算reads_1.fa文件中总的碱基序列的GC数量
$ cat reads_1.fa |cut -f2|grep -o [GC]|wc
529983 529983 1059966
15）删除 reads_1.fa文件中的每条序列的N碱基
$ cat reads_1.fa |tr -d "N"
#tr的-d参数就是删除
$ cat reads_1.fa |tr -d "N"|head
>r1
TGAATGCGAACTCCGGGACGCTCAGTAATGTGACGATAGCTGAAAACTGTACGATAAACGTACGCTGAGGGCAGAAAAAATCGTCGGGGACATTTAAAGGCGGCGAGCGCGGCTTTTCCG
>r2
TTTGATGCGGGCTTGTGGAGTTCAGCCGATCTGACTTATGTCATTACCTATGAAATGTGAGGACGCTATGCCTGTACCAAATCCTACAATGCCGGTGAAAGGTGCCGGGATCACCCTGTGGGTTTATAAGGGGATCGGTGACCCCTACGCGAATCCGCTTTCAGACGTTGACTGGTCGCGTCTGGCAAAAGTTAAAGACCTGACGCCCGGCGAACTGACCGCTGAGCCTATGACGACAGCTATCTCGATGATGAAGATGCAGACTGGACTGC
16）删除 reads_1.fa文件中的含有N碱基的序列
#grep -v 取没有匹配的行
$ cat reads_1.fa |paste --|grep -v N|tr '\t' '\n'|head
>r1
>r2
>r3
>r4
>r5
GTCAGGAAAGTGGTAAAACTGCAACTCAATTACTGCAATGCCCTCGTAATTAAGTGAATTTACAATATCGTCCTGTTCGGAGGGAAGAACGCGGGATGTTCATTCTTCATCACTTTTAATTGATGTATATGCTCTCTT
>r6
>r7
>r8
>r9
- 删除 reads_1.fa文件中的短于65bp的序列
$ cat reads_1.fa | paste - -|awk '{if (length($2)>65) print}'|wc
7076 14152 992399
(base) yanke18 15:51:36 ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
$ cat reads_1.fa | paste - -|awk '{if (length($2)>65) print}'|head
>r1 TGAATGCGAACTCCGGGACGCTCAGTAATGTGACGATAGCTGAAAACTGTACGATAAACNGTACGCTGAGGGCAGAAAAAATCGTCGGGGACATTNTAAAGGCGGCGAGCGCGGCTTTTCCG
>r2 NTTNTGATGCGGGCTTGTGGAGTTCAGCCGATCTGACTTATGTCATTACCTATGAAATGTGAGGACGCTATGCCTGTACCAAATCCTACAATGCCGGTGAAAGGTGCCGGGATCACCCTGTGGGTTTATAAGGGGATCGGTGACCCCTACGCGAATCCGCTTTCAGACGTTGACTGGTCGCGTCTGGCAAAAGTTAAAGACCTGACGCCCGGCGAACTGACCGCTGAGNCCTATGACGACAGCTATCTCGATGATGAAGATGCAGACTGGACTGC
>r3 ATCGCCCGCAGACACCTTCACGCTGGACTGTTTCGGCTTTTACAGCGTCGCTTCATAATCCTTTTTCGCCGCCGCCATCAGCGTGTTGTAATCCGCCTGCAGGATTTTCCCGTCTTTCNGTGCCTTGNTCAGTTCTTCCTGACGGGCGGTATATTTCTGCAGCGGCGTCTGCAGCCGTTCGTNAGCCTTCTGCGCCTCTTCGGTATATTTCAGCCGTGACGCTTCGGTATCGCTCCGCTGCTGCGCATTTTTCTCCTCTTGAGTCTGCTGCTCAGCCTTCTTTCGGGCGGCTTCAAGCGCAAGACGGGCCTTTTCACGATCATCCCAGTAACGCGCCC
>r4 GGGCCAATGCGCTTACTGATGCGGAATTACGCCGTAAGGCCGCAGATGAGCTTGTCCATATGACTGCGAGAATTAACNGTGGTGAGGCGATCCCTGAACCAGTAAAACAACTTCCTGTCATGGGCGGTAGACCTCTAAATCGTGCACAGGCTCTGGCGAAGATCGCAGAAATCAAAGCTAAGTT
>r5 GTCAGGAAAGTGGTAAAACTGCAACTCAATTACTGCAATGCCCTCGTAATTAAGTGAATTTACAATATCGTCCTGTTCGGAGGGAAGAACGCGGGATGTTCATTCTTCATCACTTTTAATTGATGTATATGCTCTCTT
>r6 AGCGACATTCTTCCTCGGTACATAATCTCCTTTGGCGTTTCCCGATGNCCGTCACGCACATGGNATCCCGTGATGACCTCATTAAAAACACGCTGCAATCCCTCCTCATCTTTGCAGGCGTCCGATTTTTTGCGTTGATTTTTTAATGCAGAATATGCAGTTACCGAGATGTTCCGGTATTTGCAAATCGA
>r7 CCCCGCCACCATCCCGCCGGGCNTGTCCATATCGAGCAGAATGCTGTCCACCATCGGATCGCTGGCAGCCTGTTGCAGACGGGCGATAATGCCGTTGTAACCGGTCATCCCCGAGTACGGCTGCAGCGCCCGCGTCCGGCTGA
>r8 NTGAACAGTAAACGTCTGTTGAGCACATCCTTTAATAAGCAGGGCCAGCGCAGTATCNAGTAGCATATTTTTCATGGTGTTATTCCCGATGCTTTTTG
>r10 TTTTCCGGACACAGTTCCGGATGGTCAGCCCGAAGCACATCAGCAACCCGAACAATACCGGCGACAGCCGGAACTGCCGTTCCGGTGTGCAGATTAATGACAGC
>r11 TCGGNCGTCNNTNTGAAGCGGTTATAAATCTGCTCTTTCGCNGTATCCGTANCGATTTCGGTAAGGTAAACCCCG
18） 删除 reads_1.fa文件每条序列的前后五个碱基
$ cat reads_1.fa |awk '{if($0~/^>/)print $0;else print substr($0,6,length($0)-10)}'|less -S
19）删除 reads_1.fa文件中的长于125bp的序列
$ cat reads_1.fa | paste - -|awk '{if (length($2)<125) print}'| wc
6816 13632 559339
(base) yanke18 16:26:42 ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
$ cat reads_1.fa | paste - -|awk '{if (length($2)<125) print}'| head
>r1 TGAATGCGAACTCCGGGACGCTCAGTAATGTGACGATAGCTGAAAACTGTACGATAAACNGTACGCTGAGGGCAGAAAAAATCGTCGGGGACATTNTAAAGGCGGCGAGCGCGGCTTTTCCG
>r8 NTGAACAGTAAACGTCTGTTGAGCACATCCTTTAATAAGCAGGGCCAGCGCAGTATCNAGTAGCATATTTTTCATGGTGTTATTCCCGATGCTTTTTG
>r9 CCCGATGCTTTTTGAAGTTCGCAGAATCGTATGTGTAGANAATTAAACAAANCCT
>r10 TTTTCCGGACACAGTTCCGGATGGTCAGCCCGAAGCACATCAGCAACCCGAACAATACCGGCGACAGCCGGAACTGCCGTTCCGGTGTGCAGATTAATGACAGC
>r11 TCGGNCGTCNNTNTGAAGCGGTTATAAATCTGCTCTTTCGCNGTATCCGTANCGATTTCGGTAAGGTAAACCCCG
>r13 GAAAAACATCGCCGCACAGATGGTTAACTTTGACCGTGAGCAGATGCGTCGGNTCGGCAACAACATGC
>r14 TNANTCAGCAACTGCGTGGACTTCAGGTTGTCCTTCNCTTCGCGCGGGGTATGCCCCTTACTGCTTCCTTTACCCATTCCTCACGCTCCATATATGACAAAACCGCCC
>r17 TTCNNNTAAANGCANTCAGCAACGNTTATGTAAAGAAACAGTAAGATAATACTCAACCCGATGTTTGAGTACGGTCATCATCT
>r18 AGCGCAGTGTCACTGCGCGCCTGTGCACTCTGTGGTGCTGCGGCCAGAATGCGGCGGGCCGTTTTCACGGTCATACCGGG
>r21 CCTTCTCCCATCGACGGACGTCCCACATTGGTGACTTTCACCGTGCGGGTGATCACTTCCTTCGCCGTCACCGCCTT
20）查看reads_1.fq 中每条序列的第一位碱基的质量值的平均值
echo $PATH |grep -o ":"|wc
cat reads_1.fq |paste - - - - |less -SN
cat reads_1.fq |paste - - - - |cut -f 2|grep -o [ATCGNatcg]|wc
# http://ascii.911cha.com/
# 63 ?
# 53 5
# 97 a
# 107 k
>awk '{if(NR%4==0)print substr($0,1,1)}' reads_1.fq | awk '
BEGIN{for(i=0;i<256;++i) ord[sprintf("%c",i)]=i}BEGIN{count=0}{ count+=(ord[$1]-33)}END{print count,count/NR}'
163621 16.3621
#方法2
>awk '{if(NR%4==0)print substr($0,1,1)}' reads_1.fq | awk 'BEGIN{for(i=0;i<256;++i) ord[sprintf("%c",i)]=i}{print ord[$1]-33}'|paste -s -d+|bc
163621