linux-P14-sam和bam格式文件的shell小练习

sam和bam格式文件的shell小练习

练习题网址

linux awk 命令详解

image-20190617095445181

image-20190617095608215

image-20190617095552042

image-20190617095644389

image-20190617095815332

image-20190617095840379

# 创建名为rna的小环境
conda create -n rna python=2 -c anaconda 
# 激活小环境
conda activate rna
# 安装软件
conda install -y sra-tools
# 批量安装
conda install -y sra-tools fastqc trim-galore hisat2 subread multiqc samtools salmon 
# 退出小环境
conda deactivate

mkdir -p ~/biosoft
cd ~/biosoft
wget https://sourceforge.net/projects/bowtie-bio/files/bowtie2/2.3.4.3/bowtie2-2.3.4.3-linux-x86_64.zip 
unzip bowtie2-2.3.4.3-linux-x86_64.zip 
cd ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
../../bowtie2 -x ../index/lambda_virus -1 reads_1.fq -2 reads_2.fq > tmp.sam
# samtools view -bS tmp.sam >tmp.bam

image-20190617105004709

image-20190617105231758

全局

1. 统计共多少条reads(pair-end reads这里算一条)参与了比对参考基因组

把头文件以@开头的去掉，grep -v就是不要，最后20000条，但是左右两条序列算一条，是10000条

image-20190617105846501

2. 统计共有多少种比对的类型(即第二列数值有多少种)及其分布。

image-20190617110436162

排序一下

image-20190617110619084

image-20190617110724002

3）筛选出比对失败的reads，看看序列特征。

cat tmp.sam |grep -v '^@'|less -SN

image-20190617111252862

image-20190617111605988

cat tmp.sam |grep -v '^@'|awk '{if($6=="*")print $10 }'|less -S

image-20190617114014715

4. 比对失败的reads区分成单端失败和双端失败情况，并且拿到序列ID

cat tmp.sam |grep -v '^@'|awk '{if($6=="*")print $1 }'|sort|uniq -c

image-20190617114421412

cat tmp.sam |grep -v '^@'|awk '{if($6=="*")print $1 }'|sort|uniq -c|grep -1

grep -wThe test is that the matching substring must either be at the beginning of the line, or preceded by a non-word constituent character. Similarly, it must be either at the end of the line or followed by a non-word constituent character. Word-constituent characters are letters, digits, and the underscore.

一端没有比对上的

两端没有比对上的

5. 筛选出比对质量值大于30的情况（看第5列）

cat tmp.sam |grep -v '^@'|awk '{if($5>30)print $0}'|less -S

image-20190617121023695

6. 筛选出比对成功，但是并不是完全匹配的序列

比对成功的就是不带"*"号键的。

cat tmp.sam |grep -v '^@'|awk '{if($6!="*")print $6 }'|less -S

除了match的还包括deletion的

除了匹配的M还包含其他字符串的，比如I、D。

除了匹配的M还包含其他字符串的，比如I、D

cat tmp.sam |grep -v '^@'|awk '{if($6!="*")print $6 }'|grep "[IDNXSHP]"

image-20190617123119986

7. 筛选出inset size长度大于1250bp的 pair-end reads

image-20190617124937128

8. 统计参考基因组上面各条染色体的成功比对reads数量

image-20190617125117587

9. 筛选出原始fq序列里面有N的比对情况

N在第10列，匹配到第10列含有N的序列,匹配~

awk '{if($10 ~"N")print}'tmp.sam |less -S

截图没截全，后面应该也是含有N的

• 问题是为什么不用cut呢？因为想看的是整个sam ，如果要是单纯想看含有N的序列的话在fq里就行了呀，但是现在想看的是整个sam 情况
• 另外可以看倒数第2行，虽然有N，但是还是有98个match，然后得到下一题的出题

10. 筛选出原始fq序列里面有N，但是比对的时候却是完全匹配的情况

less -SN tmp.sam|grep -v '^@' |awk '{if($10~N)print}'|awk '{if($6!~"[IDNSHP]")print}'|awk '{if($6!~"*") print}'|less -SN

11. sam文件里面的头文件行数

grep '^@' tmp.sam |wc

image-20190617133117261

12. sam文件里每一行的tags个数一样吗

cut -f 12-1000 tmp.sam |less -S

不一样

13. sam文件里每一行的tags个数分别是多少个

14. sam文件里记录的参考基因组染色体长度分别是？

在头文件中可以看到，这个测试sam里只有一条染色体，48000多个字符

15. 找到比对情况有insertion情况的

awk '{if($6~"I")print}' tmp.sam |less -S

image-20190617142347050

16. 找到比对情况有deletion情况的

awk '{if($6~"D")print}' tmp.sam |less -S

17）取出位于参考基因组某区域的比对记录，比如 5013到50130 区域

less  tmp.sam | grep -v '^@'|awk '{if($4>5013 && $4 <50130)print}'|less -S

image-20190617142813100

18. 把sam文件按照染色体以及起始坐标排序

awk '{if($4>5013 && $4 <50130)print}' tmp.sam|sort -k4,4|less -S

image-20190617143218681

19. 找到 102M3D11M 的比对情况，计算其reads片段长度。

grep 102M3D11M tmp.sam|cut -f 10|wc

image-20190617143525339

20. 安装samtools软件后使用samtools软件的各个功能尝试把上述题目重新做一遍。

• samtools