作业原文:sam和bam格式文件的shell小练习 | 生信菜鸟团
原始数据准备
~/biosoft/bowtie2/bowtie2-2.4.1-linux-x86_64/example/reads
../../bowtie2 -x ../index/lambda_virus -1 reads_1.fq -2 reads_2.fq > tmp.sam
grep -v '^@' tmp.sam| head -n 1 | tr "\t" "\n" | cat -n
说明：练习共有20题。因为最后一道题目是要求用samtools工具把1-19重做一遍，所以每题会分别用两种方法。
Q1
统计共多少条reads(pair-end reads这里算一条)参与了比对参考基因组
grep -v "^@" tmp.sam | cut -f 1 | sort | uniq -c | wc
samtools flagstat tmp.bam
Q2
统计共有多少种比对的类型(即第二列数值有多少种)及其分布。
grep -v '^@' tmp.sam| awk '{print $2}' | sort | uniq -c | sort -r
samtools view tmp.sam | awk '{print $2}' | sort | uniq -c
Q3
筛选出比对失败的reads，看看序列特征。
grep -v '^@' tmp.sam| awk '$3 == "*" {print $1"\t" $10}' | less -SN
samtools view -f 4 tmp.bam | awk '{print $10}' | less
Q4
比对失败的reads区分成单端失败和双端失败情况，并且拿到序列ID
grep -v '^@' tmp.sam| awk '$3 == "*" {print $1}' | sort | uniq -c | wc
#看结果好像均为双端失败
samtools view -f 4 tmp.bam | awk '$3 == "*" {print $1}' | sort | uniq -c | wc
Q5
筛选出比对质量值大于30的情况（看第5列）
grep -v '^@' tmp.sam| awk '$5 > 30 "*" {print}' | less -SN
samtools view -q 30 tmp.bam | awk '{print $5}' | sort | uniq -c | sort
Q6
筛选出比对成功，但是并不是完全匹配的序列
# 完全匹配
grep -v '^@' tmp.sam| awk 'length($6) < 5 && length($6) != 1{print}' | less -SN
# 不完全匹配
grep -v '^@' tmp.sam| awk 'length($6) > 4{print}' | less -SN
samtools view -h -F 4 tmp.bam | awk '/\t[0-9]+M.*[0-9]+M\t/{print$6}' | wc
Q7
筛选出inset size长度大于1250bp的 pair-end reads
grep -v '^@' tmp.sam| awk '$9 > 1250|| $9 < -1250{print $9}' | wc
samtools view tmp.sam | awk '$9 > 125|| $9 < -125{print $9}' | wc
Q8
统计参考基因组上面各条染色体的成功比对reads数量
#sam的头文件SQ与正文第三列
grep -v '^@' tmp.sam| awk '$3 != "*" {print $3 }'| sort | uniq -c
# 19574
samtools view -F 4 tmp.bam | cut -f 3 | sort | uniq -c
# 18995 与上面的数目不一致，奇怪！！！
Q9
筛选出原始fq序列里面有N的比对情况
grep -v '^@' tmp.sam| awk '{print $1"\t"$6"\t"$10}' | grep N | wc
# grep -v '^@' tmp.sam| awk '$10 ~ "N"{print}' | wc
samtools view tmp.bam | awk '{print $1"\t"$6"\t"$10}' | grep N | less -SN
Q10
筛选出原始fq序列里面有N，但是比对的时候却是完全匹配的情况
grep -v '^@' tmp.sam| awk 'length($6) < 5 && length($6) != 1{print $1"\t"$6"\t"$10}' | grep N | wc
samtools view tmp.bam | awk '/\t[0-9]+M\t.*N.*AS/{print $1"\t"$6"\t"$10}' | wc
Q11
sam文件里面的头文件行数
grep '^@' tmp.sam | wc
samtools view -H tmp.bam | wc
Q12
sam文件里每一行的tags个数一样吗
grep -v '^@' tmp.sam | awk '{for(i=12;isamtools view tmp.bam | cut -f 12- | awk '{print NF}' | sort | uniq -c
Q13
sam文件里每一行的tags个数分别是多少个
grep -v '^@' tmp.sam | awk '{for(i=12;isamtools view tmp.bam | cut -f 12- | awk '{print NF}'
Q14
sam文件里记录的参考基因组染色体长度分别是？
grep '^@SQ' tmp.sam |cut -f3|cut -d: -f2
samtools view -H tmp.bam | grep @SQ | cut -f 3 | cut -d : -f 2
Q15
找到比对情况有insertion情况的
grep -v '^@' tmp.sam |awk '$6 ~ "I"{print $6}' | wc
samtools view tmp.bam |awk '$6 ~ "I"{print $6}' | wc
Q16
找到比对情况有deletion情况的
grep -v '^@' tmp.sam |awk '$6 ~ "D"{print $6}' | wc
samtools view tmp.bam |awk '$6 ~ "D"{print $6}' | wc
Q17
取出位于参考基因组某区域的比对记录，比如 5013到50130 区域
# 5000-10000
grep -v '^@' tmp.sam | awk '$4 > 5000 && $4 < 10000 {print $4}'|wc
#第四列
samtools sort tmp.bam -o tmp.sorted.bam
samtools view tmp.sorted.bam "gi|9626243|ref|NC_001416.1|":5000-10000 | less -SN
Q18
把sam文件按照染色体以及起始坐标排序
grep -v '^@' tmp.sam | awk '$4!=0{print}'|sort -k4,4n |less -SN
samtools view tmp.sorted.bam | cut -f 1,3,4 | less -SN
Q19
找到 102M3D11M 的比对情况，计算其reads片段长度。
grep -v '^@' tmp.sam | awk '$6=="102M3D11M"{print length($10)}'
samtools view tmp.bam | awk '$6=="102M3D11M"{print length($10)}'