如何利用NR库快速进行物种鉴定

引言

在做基因或者蛋白质功能注释的时候,NR数据库包含非常重要的信息。但是有没有人跟我一样遇到相同的苦恼,就是在运行的时候特别耗时,经过一番搜索后,发现可以根据实际数据建立自己的NR子库,这样运行效率将大幅提高。那么怎么创建NR子库呢,跟着我一起来做吧。

01 NR 数 据 库 介 绍

目前我们可以从很多数据库中获取蛋白质的序列信息,比如GenPept, Swissprot, PIR, PDF, PDB 和 NCBI RefSeq等。但是在这些数据库之间,蛋白质序列存在冗余性,为了解决这个问题,NCBI构建了一个非冗余的蛋白质序列数据库,即NR(non-redundant proteins)。

我们可以看到最新版的NR库是刚刚更新的,压缩后的文件存储已经达到了73G,这是相当恐怖的。跟着来建立自己的NR子库吧~

image

02 准 备 工 作

首先我们下载NR数据库及需要用到的软件。

2.1 下载NR数据库

https://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/nr.gz
下载后需要解压,fasta格式文件,存放路径 mypath/nr 。
既然是非冗余数据库,那么NR数据库中序列合并必须同时满足以下两个原则:

  • 两条序列有相同的长度;
  • 两条序列上的每个残基都是相同的。

2.2 下载分类数据库

  • 物种及分类信息的文件:
    https://ftp.ncbi.nlm.nih.gov/pub/taxonomy/taxdump.tar.gz

  • 解压文件 taxdump.tar.gz:

1 mkdir  mypath/taxdump
2 tar  -zxvf  mypath/taxdump.tar.gz   -C mypath/taxdump

  • taxdump 目录中有两个重要文件:
    names.dmp:记录物种名及其分类编号
    nodes.dmp:记录分类编号的分类节点信息

2.3 下载accession与taxid的对应关系

下载链接为:
https://ftp.ncbi.nlm.nih.gov/pub/taxonomy/accession2taxid/prot.accession2taxid.gz
1gzip -dc prot.accession2taxid.gz >prot.accession2taxid

2.4 其他工具

  • taxonkit:
    https://github.com/shenwei356/taxonkit/releases/download/v0.6.0/taxonkit_linux_amd64.tar.gz
  • csvtk:
    https://github.com/shenwei356/csvtk/releases/download/v0.20.0/csvtk_linux_amd64.tar.gz
  • ncbi-blast:
    ftp://ftp.ncbi.nlm.nih.gov/blast/executables/blast+/LATEST/ncbi-blast-2.10.0+-x64-linux.tar.gz
  • 这几个工具都是下载后解压可以直接用的,解压目录路分别为 :
    mypath/taxonkit/taxonkit;mypath/csvtk/csvtk;mypath/ncbi-blast/ 。

03 构 建 命 令

我们以构建病毒子库为例,首先要知道病毒的tax id为10239,这个需要要先验知识,或者在taxdump/names.dmp文件中查找。

1.提取病毒包含的所有物种编号

1 mypath/taxonkit/taxonkit list -j 2 --ids 10239 --indent "" --data-dir mypath/taxdump/ >mypath/virus.list
这行命令运行很快,大概十秒钟,看下结果,总共提取出来205975个taxid。

-j ,线程,给2足以;
--ids,需要提取的分类的taxid;
--data-dir,该目录下必须包含文件names.dmp和nodes.dmp;
--indent,提取的物种编号缩进位置,这个参数很重要,记得一定要设置为空 ""

2.根据taxid获取对应accession.version

1 zcat mypath/prot.accession2taxid.gz | mypath/csvtk/csvtk -t grep -f taxid -P mypath/virus.list | mypath/csvtk/csvtk -t cut -f accession.version > mypath/virus.taxid.acc.txt
这一步运行也比较快,我这不到10分钟就运行结束了,这一步提取出来的accession就能对应到NR数据库中的标识符,总共提取出来了6065494行数据。

很显然这个数目比上一步taxid的数目多了很多,这是因为一个accession可能会对应多个taxid,这个我们在mypath/prot.accession2taxid.gz 中就可以看到。

3.NR数据库建索引

1 mypath/ncbi-blast/bin/makeblastdb -in nr -dbtype prot -parse_seqids
建索引的步骤非常耗时,可能会花费好几个小时,需要耐心等待。

4.提取NR子库

1 mypath/ncbi-blast/bin/blastdb_aliastool -seqidlist mypath/virus.taxid.acc.txt -db nr -out nr_virus -title nr_virus
最后这一步也会比较耗时,大概运行了2个多小时。运行结束后只生成了文件 mypath/nr_virus.pal,不要怀疑自己,确实只生成一个文件。

04 功 能 注 释

对于NR数据库,一般都是blast直接比对,获取基因或者蛋白质的功能注释信息,更近一步,如果有Taxonomy 数据库的数据,我们还可以做物种注释。

接下来我们试试用提取的病毒子库做功能注释吧,测试数据我选取了100条蛋白质序列,命名为test.fa。

运行命令:
1 mypath/ncbi-blast/bin/blastp -query mypath/test.fa -db mypath/nr_virus -evalue 1e-5 -num_alignments 5 -outfmt 6 -out mypath/test.blastp.out

运行结果是m8格式的文件如下图:

image

该文件包含12列,每列信息简单介绍如下:

  1. qseqid:查询序列ID标识
  2. sseqid:比对上的目标序列ID标识
  3. pident:序列比对的一致性百分比
  4. length:符合比对的比对区域的长度
  5. mismatch:比对区域的错配数
  6. gapopen:比对区域的gap数目
  7. qstart:比对区域在查询序列(qseqid)上的起始位点
  8. qend:比对区域在查询序列(qseqid)上的终止位点
  9. sstart:比对区域在目标序列(sseqid)上的起始位点
    10.send:比对区域在目标序列(sseqid)上的终止位点
    11.evalue:比对结果的期望值,evalue越小,越有可能是真实的相似序列
    12.bitscore:比对结果的bit score值

注 意 ! ! !

  • 因为我们用的ncbi-blast+中的blastp,-outfmt 要设置为6,如果你用的是blast中的blastp工具,要设置 -m 8;
  • 一般我们比较关注第3、11、12列信息;
  • 一条序列比对可能有多条结果,我们可以按照bitscore筛选得分最高的一条即可。

子库运行时间不到50分钟,而选择整个NR数据库比对时,将近4个小时才结束,很显然,选择子库比对大大提升了比对效率。因此,如果我们对研究的物种比较确定,提取子库再进行比对,将会提升运行效率降低集群压力。

05 物 种 注 释

5.1 合并物种分类文件

names.dmp,nodes.dmp 这两个文件的内容我们上文已经介绍过,现在我们先来处理一下。将这两个文件的信息整合在一起,便于后续应用。

这里介绍网上一个脚本,首先运行
1 git clone https://gitee.com/wangshun1121/TaxonomyPickUp.git
命令后会在当前路径下生成目录mypath/TaxonomyPickUp/,然后将names.dmp,nodes.dmp 两个文件拷贝到目录mypath/TaxonomyPickUp/。
最后运行
1 perl NodeExtract.pl >TaxInfo.txt
大概一两分钟就得到结果,它存储了NCBI的Taxonomy物种分类的详细层级信息,格式如下:

image
  • 第一列为TaxID,
  • 第二列为该TaxID的拉丁学名。
  • 第三列表示该TaxID所处的层级:即经过追溯多少次Parents到达分类级别的最高层级。
  • 第四列则是TaxID向上追溯的详细信息。不同分类层级之间以“-”间隔,最左边为该TaxID代表的层级,例如7 “Azorhizobium caulinodans”表示species,其上一级的TaxID为6,层级为genus,再向上为335928的family,依次类推。

5.2 进行物种注释

比对之后我们可以继续做物种分类注释,需要用到上一步blastp的结果,prot.accession2taxid.gz,names.dmp,nodes.dmp 这几个文件了。接下来,我们只需要写个简单的脚本,就能从blastp比对结果mypath/test.blastp.out获取每条reads对应的物种分类信息了。这里简单说下逻辑:

    1. 从mypath/test.blastp.out文件前两列获取reads id 和accession对应关系;
    1. prot.accession2taxid.gz文件包含accession和taxid的对应关系,结合1可以得到每条reads id和taxid的对应关系;
    1. 上述TaxInfo.txt包含了taxid和物种的对应关系,结合2就能获取reads id和物种的关系了,还可以方便筛选所有层级的分类单位。

通过这个详细的描述,相信大家都已经掌握了整个过程,快动手试试吧。

作者:生信阿拉丁
链接:https://www.jianshu.com/p/45fdb5cf930a
来源:
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

你可能感兴趣的:(如何利用NR库快速进行物种鉴定)