首先使用bowtie2软件自带的测试数据生成sam/bam文件，代码如下：
mkdir -p ~/biosoft
cd ~/biosoft
wget https://sourceforge.net/projects/bowtie-bio/files/bowtie2/2.3.4.3/bowtie2-2.3.4.3-linux-x86_64.zip
unzip bowtie2-2.3.4.3-linux-x86_64.zip
cd ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
../../bowtie2 -x ../index/lambda_virus -1 reads_1.fq -2 reads_2.fq > tmp.sam
# samtools view -bS tmp.sam > tmp.bam
LINUX练习题
- 统计共多少条reads（pair-end reads这里算一条）参与了比对参考基因组
grep -v '^@' tmp.sam | cut -f 1 | sort | uniq -c | wc -l
共10000条reads参与了比对参考基因组。
- 统计共有多少种比对的类型（即第二列数值有多少种）及其分布。
grep -v '^@' tmp.sam | cut -f 2 | sort -n | uniq -c
得到结果：
- 筛选出比对失败的reads，看看序列特征。
grep -v '^@' tmp.sam | awk '{if ($6 == "*") print}' | less -SN
grep -v '^@' tmp.sam | awk '{if ($6 == "*") print $10}' | less -SN
序列碱基含有较多的N。
- 比对失败的reads区分成单端失败和双端失败情况，并且拿到序列ID
grep -v '^@' tmp.sam | awk '{if ($6 == "*") print $1}' | sort -n | uniq -c | grep -w 2
grep -v '^@' tmp.sam | awk '{if ($6 == "*") print $1}' | sort -n | uniq -c | grep -w 1
- 筛选出比对质量值大于30的情况（看第5列）
grep -v '^@' tmp.sam | awk '{if ($5 > 30) print}' | less -SN
- 筛选出比对成功，但是并不是完全匹配的序列
grep -v '^@' tmp.sam | awk '{if ($6 != "*") print}' | awk '{if ($6 ~ "[IDNXSHP]") print}'
- 筛选出insert size长度大于1250bp的 pair-end reads
grep -v '^@' tmp.sam | awk '{if ($9 > 1250) print}' | less -SN
- 统计参考基因组上面各条染色体的成功比对reads数量
grep -v '^@' tmp.sam | awk '{if ($6 != "*") print}' | cut -f 3 | sort -n | uniq -c
- 筛选出原始fq序列里面有N的比对情况
grep -v '^@' tmp.sam | awk '{if ($10 ~ "N") print}' | less -SN
- 筛选出原始fq序列里面有N，但是比对的时候却是完全匹配的情况
grep -v '^@' tmp.sam | awk '{if ($10 ~ "N") print}' | awk '{if ($6 !~ "[IDNXSHP*]") print}' | less -SN
- sam文件里面的头文件行数
grep '^@' tmp.sam | wc -l
头文件行数为3。
- sam文件里每一行的tags个数一样吗
grep -v '^@' tmp.sam | cut -f 12- | less -SN
不一样。
- sam文件里每一行的tags个数分别是多少个
grep -v '^@' tmp.sam | cut -f 12- | awk '{print NF}' | sort -n | uniq -c
结果：
- sam文件里记录的参考基因组染色体长度分别是？
grep '^@' tmp.sam
LN:48502
- 找到比对情况有insertion情况的
grep -v '^@' tmp.sam | awk '{if ($6 ~ "I") print}' | less -SN
- 找到比对情况有deletion情况的
grep -v '^@' tmp.sam | awk '{if ($6 ~ "D") print}' | less -SN
- 取出位于参考基因组某区域的比对记录，比如 5013到50130 区域
grep -v '^@' tmp.sam | awk '{if ($4 > 5013 && $4 < 50130) print}' | less -SN
- 把sam文件按照染色体以及起始坐标排序
grep -v '^@' tmp.sam | sort -n -k 4 | less -SN
- 找到 102M3D11M 的比对情况，计算其reads片段长度。
grep '102M3D11M' tmp.sam | awk '{print length($10)}'
- 安装samtools软件后使用samtools软件的各个功能尝试把上述题目重新做一遍。
其它概念题
- 高通量测序数据分析中，序列与参考序列的比对后得到的标准文件为什么文件？
SAM文件。 - sam文件是一种比对后的文件，能直接查看吗？
可以直接查看，如可使用less -SN命令。 - Sam/Bam文件分为两部分，一部分以@开头的是什么序列，另一部分是什么序列？
以@开头的是头部注释信息（header section），另一部分是比对结果（alignment section）。 - Sam文件除头文件，以什么符号分割文本的，比对部分信息一行是多少列？你能用awk计算列数吗？
以制表符分隔文本，比对部分信息一行由11个必须字段（mandatory fields）和数量可变的可选字段（optional fields）构成。计算列数cat tmp.sam | grep -v '@' | awk '{print NF}'。 - Sam/Bam文件的@SQ开头的行是什么？你能生成一个文本，两列，一列是参考基因组染色体/sca id，一列是长度吗？
@SQ开头的行是参考序列说明。SN*: 参考序列名称。LN*: 参考序列长度。
cat tmp.sam | grep @SQ | cut -f 2,3 | tr -d 'SN:' | tr -d 'LN:' > test.txt - Sam文件的比对位置是从1还是0开始的？
是从1开始。 - 常见CIGAR 字符串各字母代表的意义？
CIGAR
- 比对质量的数字是哪一列？越大比对质量越好还是越小越好？
第5列，越大质量越好。
MAPQ: MAPping Quality.（−10 log10 Pr {mapping position is wrong}） - Sam文件的flag是第几列，数字代表什么意义？是怎么计算来的？
第2列，FLAG，位标识，比对结果的数字表示，每一个数字代表一种比对情况，这里的值是符合情况的数字相加总和。
查询网站：
http://broadinstitute.github.io/picard/explain-flags.html
https://www.samformat.info/sam-format-flag - Sam文件怎么转bam文件？用什么指令？为什么要转换？
samtools view -bS tmp.sam > tmp.bam
BAM文件其实就相当于二进制压缩的SAM文件，节省存储空间。 - Bam文件查看用什么指令？如果需要查看头文件需要增加参数？
查看BAM文件用samtools view命令，需要查看头文件需要增加参数-H。 - Bam文件为什么要排序？排序后的bam和未排序的bam头文件和chr position列有什么区别？
BAM 文件排序后体积会变小，二进制文件相似内容放在一起可以提高压缩比，排序后可构建索引。
Using positional sorting and indexing, applications can perform streambased processing on specific genomic regions without loading the entire file into memory.
排序后@HD 标题行的SO（比对排序的类型）会由unsorted变为coordinate，第4列POS从小到大排列。samtools sort -O bam -@ 5 -o tmp_sorted.bam tmp.bam
- Bam文件建索引的指令是什么？
samtools index tmp_sorted.bam - Bam文件可视化用什么工具？查看时需要建立索引吗？
可以用IGV工具，需要建立索引。 - Bam文件统计reads比对情况用samtools的哪一个子命令？
samtools flagstat -@ 2 tmp_sorted.bam
samtools idxstats tmp_sorted.bam - SE测序和PE测序的所比对后得到的sam文件的区别在哪里？
SE测序一个片段只有一条read比对信息，PE测序一个片段有两条read比对信息。 - Bam能用gzip再压缩吗？
能再压缩。
gzip tmp_sorted.bam
gunzip tmp_sorted.bam.gz - Sam文件通常由哪些比对软件得到的？
bowtie2, BWA, hisat2等。 - Sam/Bam文件能转成fastq文件吗？
能。 - 有时候不能通过文件名的后缀来区别是sam还是bam，你是怎么区别的？
看其能否直接打开。SAM文件可以直接文本查看，而BAM文件为二进制文件打开需要使用samtools view命令。
参考：
http://www.bio-info-trainee.com/3578.html
http://www.bio-info-trainee.com/398.html
https://vip.biotrainee.com/d/117-samtools
https://vip.biotrainee.com/d/162-sam
https://www.jianshu.com/p/9c99e09630da
https://hc1023.github.io/2019/09/07/linux-sam-bam/