fasta和fastq格式文件的shell小练习
原文链接
这个是有机结合生物信息学的linux和数据格式的练习题：
下载bowtie2软件后拿到示例数据：
mkdir -p ~/biosoft
cd ~/biosoft
wget https://sourceforge.net/projects/bowtie-bio/files/bowtie2/2.3.4.3/bowtie2-2.3.4.3-linux-x86_64.zip
unzip bowtie2-2.3.4.3-linux-x86_64.zip
cd ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
1)统计reads_1.fq 文件中共有多少条序列信息
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ less -SN reads_1.fq #查看fq文件的结构或fastq文件知识）
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ grep '@r' reads_1.fq |wc
10000 10000 68894
#或者
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ wc reads_1.fq #行数除以4，即4000除以4
40000 40000 2285692 reads_1.fq
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ wc -l reads_1.fq #行数除以4，即4000除以4
40000 reads_1.fq
#或者
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fq |paste - - - - |wc
10000 40000 2285692
#或者
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if(NR%4==0)print }' reads_1.fq |wc
10000 10000 1098399
awk '{print NR}' reads_1.fq#NR是awk行号
cat reads_1.fq |paste - - - -|cut -f1 #第一列
2）输出所有的reads_1.fq文件中的标识符(即以@开头的那一行)
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fq |paste - - - -|cut -f1 #第一行
#or
awk '{if (NR%4==1) print}' reads_1.fq
3） 输出reads_1.fq文件中的 所有序列信息(即每个序列的第二行)
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==2) print}' reads_1.fq
#or
cat reads_1.fq |paste - - - -|cut -f2 #第二行
4）输出以‘+’及其后面的描述信息(即每个序列的第三行)
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==3) print}' reads_1.fq
#or
cat reads_1.fq |paste - - - - |cut -f 3
5）输出质量值信息(即每个序列的第四行)
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==0) print}' reads_1.fq
#or
cat reads_1.fq |paste - - - -|cut -f4 #第四行
6） 计算reads_1.fq 文件含有N碱基的reads个数
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==2) print}' reads_1.fq | grep N |wc
6429 6429 782897
#or
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==2) print}' reads_1.fq | grep -c N
6429
7）统计文件中reads_1.fq文件里面的序列的碱基总数
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==2) print}' reads_1.fq | grep -o [ATGCN] |wc
1088399 1088399 2176798
#or
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==2) print length}' reads_1.fq | paste -s -d + |bc
1088399
8）计算reads_1.fq 所有的reads中N碱基的总数
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==2) print}' reads_1.fq | grep -o N |wc #含有N的碱基总数
26001 26001 52002
9）统计reads_1.fq 中测序碱基质量值恰好为Q20的个数
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==0) print}' reads_1.fq | grep -o "5" |wc
21369 21369 42738
10）统计reads_1.fq 中测序碱基质量值恰好为Q30的个数
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==0) print}' reads_1.fq | grep -o "?" |wc
21574 21574 43148
#本题要结合质量值的对应表Q30是“?”
11）统计reads_1.fq 中所有序列的第一位碱基的ATCGNatcg分布情况
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==2) print}' reads_1.fq |cut -c 1
#显示出第一位碱基
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ awk '{if (NR%4==2) print}' reads_1.fq |cut -c 1|sort |uniq -c
2184 A
2203 C
2219 G
1141 N
2253 T
12）将reads_1.fq 转为reads_1.fa文件(即将fastq转化为fasta)
cat reads_1.fq |paste - - - -|cut -f1-2 #取前两行
cat reads_1.fq |paste - - - -|cut -f1-2 |tr "\t" "\n" #\n制表符
cat reads_1.fq |paste - - - -|cut -f1-2|tr "\t" "\n"|tr "@" ">" #以“@”改为以“>”开头
cat reads_1.fq |paste - - - -|cut -f1-2|tr "\t" "\n"|tr "@" ">"> reads_1.fa #保存
13） 统计上述reads_1.fa文件中共有多少条序列
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ grep ">" reads_1.fa |wc
#or
wc reads_1.fa
14）计算reads_1.fa文件中总的碱基序列的GC数量
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ grep -o [GC] reads_1.fa |wc
529983 529983 1059966
15）删除 reads_1.fa文件中的每条序列的N碱基
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fa |tr -d "N"
#cat reads_1.fa |tr -d "N" |grep "N"#grep可以查看还有没有N，证明没有N了
16）删除 reads_1.fa文件中的含有N碱基的序列
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fa |paste - -|grep -v N |wc
3571 7142 340122
#cat reads_1.fa |paste - -|grep -v N |tr '\t' 'n'
17）. 删除 reads_1.fa文件中的短于65bp的序列
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fa |paste - -|awk '{if(length($2)>65)print}' |wc
7076 14152 992399
18） 删除 reads_1.fa文件每条序列的前后五个碱基
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fa |paste - -|cut -f2|sed 's/.//'|head #sed 's/.//' 删除首个字符;sed 's/..//' 删除每行的前两个字符;sed 's/...//' 删除每行的前三个字符;可以用"k"代替；如k=3删除每行的前三个字符,sed 's/.{5\}//g'
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fa |paste - -|cut -f2| sed 's/.....//' |head #删除了前5个碱基，加上head是便于查看前10行，与原文件对比
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fa |paste - -|cut -f2| sed 's/^.....//' | sed 's/.....$//' |head #删除每行前后5个碱基
# ^代表行首，$代表行尾
#or
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fa |paste - -|cut -f2| sed 's/^.\{5\}//' | sed 's/ \{5\}.$//' |head #sed 的正则表达式
19）删除 reads_1.fa文件中的长于125bp的序列
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fa |paste - -|awk '{if(length($2)<=125)print}'|wc
20）查看reads_1.fq 中每条序列的第一位碱基的质量值的平均值
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fq|paste - - - -|cut -f 4|cut -c1 #取第4行，即质量值那行的首个字符
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fq|paste - - - -|cut -f 4|cut -c1|perl -alne '{print ord($_)-33}' #质量符转换成十进制数值http://ascii.911cha.com/ #这一步 不会？
vip52@VM-0-15-ubuntu:~/biosoft/bowtie2/bowtie2-2.3.5-linux-x86_64/example/reads$ cat reads_1.fq|paste - - - -|cut -f 4|cut -c1|perl -alne '{print ord($_)-33}'| paste -s -d+|bc
#这个结果还要除以碱基个数（即行号）。这一题还不会做，还要学
echo $PATH |grep -o ":"|wc
cat reads_1.fq |paste - - - - |less -SN
cat reads_1.fq |paste - - - - |cut -f 2|grep -o [ATCGNatcg]|wc
# http://ascii.911cha.com/
# 63 ?
# 53 5
# 97 a
# 107 k