寻找同源基因工具OrthoMCL与OrthoFinder的安装与使用

比较基因组学

        简单介绍一下比较基因组学,Comparative genomics是基于基因组图谱和测序技术,对已知的基因特征和基因组结构进行比较以了解基因功能、表达机制和不同物种亲缘关系的生物学研究。

        通过对不同亲缘关系物种的基因组序列比较,能够鉴定出编码序列、非编码序列及给定物种独有的序列。而基因组范围内的序列比对,可以了解不同物种核苷酸组成、同/共线性关系和基因顺序异同,有助于理解基因分析定位、系统发育关系。

        其中,比较基因组学的重要一部分正是系统进化关系的研究,由此对基因家族分析,基于单拷贝基因的串联比对分析构建系统进化树是其中的一环。所以,下面简单介绍基因家族分析的重要程序OrthoMCL和OrthoFinder。

OrthoMCL (http://orthomcl.org/orthomcl/) 寻找同源基因工具

        OrthoMCL (http://orthomcl.org/orthomcl/) 是现在用的最多的一款来找直系同源基因(Orthologs)以及旁系同源基因 (Paralog) 的软件 ,同源基因的定位和注释在对基因组后续分析中至关重要。它主要在比较完整的基因组之间找直系同源基因。OrthoMCL的使用主要有13步,官方在2013年公布OrthoMCL v2.0版本就很久没有更新过。从v1.4最初版本说明文档可以了解OrthoMCL的使用步骤,大体有Mysql数据库配置、修改OrthoMCL配置文件、转换序列格式、过滤、比对、解析结果和聚类等步骤,特别麻烦。并且由于MySql数据库的安装和配置的过程也需要管理员权限。

        Github上的一款工具OrthoMCL Pipeline (https://github.com/apetkau/orthomcl-pipeline) 能够很好的解决这些繁琐的步骤和分析过程中的繁琐参数设置。这个工具的安装过程虽然复杂,但是在最后的使用是舒爽的很。

寻找同源基因工具OrthoMCL与OrthoFinder的安装与使用_第1张图片
OrthoMCL-pipline工具

OrthoMCL-pipline的安装、配置及其使用

    OrthoMCL-pipline的安装不仅需要工具OrthoMCL所依赖的MySql数据库外还需要工具所必须的perl模块环境,在对MySql数据库的搭建成功后,才可以对接下来的pipline工具进行配置。

    主要安装步骤如下:

        1.在VMware上安装Ubuntu系统

        由于MySql数据库的搭建和配置需要管理员权限,并且处于对实验室服务器的保护,我自己在电脑上安装了虚拟机进行操作。对于VMware的安装、Ubuntu的安装,此处略过。

        2. Mysql数据库的安装及其配置

        由于对于老版本的OrthoMCL的执拗,之前一直尝试利用源码在Ubuntu上安装MySql数据库,以便能够修改MySql配置满足OrthoMCl应用。最后通过MySql的官方网站和看了些资料认识到可以直接下载MySql-Server解决问题,不用从源码安装MySql这么费时费力,最新版MySql8.0版本的安装可以按照官方指导安装:https://websiteforstudents.com/install-mysql-8-0-on-ubuntu-16-04-17-10-18-04/。但是我们要按照其中这个连接中的方法安装5.7版本,而不是最新版MySQL,因为最新版本会在orthomcl第十部报错。

        按照链接中的教程安装MySQL,在如下这一步确定之后,记得选择5.7的版本,最新版本与老版本orthomcl会在第十步冲突。


寻找同源基因工具OrthoMCL与OrthoFinder的安装与使用_第2张图片
选择第一项,然后选择5.7

3. 安装OrthoMCL-pipline的依赖perl模块和配置

        安装好mysql5.7后,就是一些模块的安装。

        git获得pipline工具

  $ git clone https://github.com/apetkau/orthomcl-pipeline.git

         需要的perl依赖模块:  BioPerl、DBD::mysql、DBI、Parallel::ForkManager、Schedule::DRMAAc、YAML::Tiny、Set::Scalar、Text::Table、Moose、SVG、Algorithm::Combinatorics。这些包可以通过cpanm(建议)下载安装

 $ sudo apt-get perlbrew install-cpanm     ##获得cpanm软件(Ubuntu系统中没有的时候需要安装)

        然后通过cpanm获得如上的依赖包

$ cpanm BioPerl DBD::mysql DBI Parallel::ForkManager YAML::Tiny Set::Scalar Text::Table Exception::Class Test::Most Test::Warn Test::Exception Test::Deep Moose SVG Algorithm::Combinatorics

         在安装这些perl模块时,可能会遇到报错说模块找不到的问题,这时候可以通过命令单独安装报错的模块,比如报错中提到需要安装Algorithm::Combinatorics模块

$ cpanm Algorithm::Combinatorics  

         但有时运行如上命令还会报错,这是需要加上 --force 参数尝试重新安装,或者可以直接在开始就加上 --force 参数。运行结果如下,说明安装正确。

寻找同源基因工具OrthoMCL与OrthoFinder的安装与使用_第3张图片
cpanm安装单独模块

        在安装perl模块时,我遇到一个xlocale.h的报错问题,google之后解决了问题。

$ sed -i 's/xlocale/locale' /path/to/perl.h

        还有可能遇到的几个常见模块安装问题:

第一个bioperl:解决办法 sudo apt-get install bioperl 或者 conda install perl-bioperl

第二个DBD:mysql 解决办法 sudo apt-get install libdbd-mysql-perl 或者 conda install perl-dbd-mysql

其余模块基本都可以用cpanm或者cpan安装成功,如果不可以就下载源码包make install安装,或者sudo apt-get install或者conda安装,最终都会解决perl模块问题。

4. 安装BLAST2(v2.2.26)、MCL及OrthMC软件

           下载编译安装MCL (http://www.micans.org/mcl/src/mcl-latest.tar.gz)

           下载编译安装OrthoMCL (http://orthomcl.org/common/downloads/software/v2.0/orthomclSoftware-v2.0.9.tar.gz)

           下载BLAST2 v2.2.26(包含blastall和formatdb)

BLAST一定要安装v2.2.26版本,我上传到云,可以直接下载(失效的话请告知谢谢~)

链接:https://pan.baidu.com/s/1DhhFbp2QRBP9oYYnn6JT0A 提取码:u4wm  

            下载好依赖的三个软件,将三个软件加入环境变量并保存。

$ vim   ~/.bashrc

在打开文件的最后一行加入路径。

export PATH=$PATH:/path/to/blast-2.2.26/bin

export PATH=$PATH: /usr/local/bin/mcl

export PATH=$PATH:/path/to/orthomcl/bin

修改好后保存退出,并激活环境。

$ source ~/.bashrc

                安装好perl依赖模块和依赖的blast、orthomcl工具后,可以检查依赖内容是否齐全,运行出现以下内容说明依赖内容正确。

$ cd /path/to/orthomcl-pipline

$ perl scripts/orthomcl-pipeline-setup.pl

Checking for Software dependencies...

Checking for OthoMCL ... OK

Checking for formatdb ... OK

Checking for blastall ... OK

Checking for mcl ... OK

Wrote new configuration to orthomcl-pipeline/scripts/../etc/orthomcl-pipeline.conf

Wrote executable file to orthomcl-pipeline/scripts/../bin/orthomcl-pipeline

Please add directory orthomcl-pipeline/scripts/../bin to PATH 

                5.依赖MySql数据库配置orthomcl数据库

                配置orthomcl数据库(MySql8.0与老版不同,建立新的用户需要CREAT USER而不再单单是GRANT)

$ mysql -u root -p

Enter password: 

mysql> CREAT USER 'orthomcl'@'localhost' identified by 'your_password';  #设置用户密码

mysql> GRANT ALL PRIVILEGES on *.* to 'orthomcl'@'localhost' WITH GRANT OPTION;  #创建用户并授权

mysql> quit;

                建好orthomcl数据库后用perl脚本配置,当出现一下运行结果说明配置成功。

$ cd /path/to/orthomcl-pipline

$ perl scripts/orthomcl-setup-database.pl --user orthomcl --password your_password --host localhost --database orthomcl --outfile orthomcl.conf

Connecting to mysql and creating database **orthmcldb** on host orthodb with user orthomcl ...OK

database orthmcl created ...OK

Config file **orthomcl.conf** created.

                运行后脚本会生成orthomcl.conf配置文件。

coOrthologTable=CoOrtholog

dbConnectString=dbi:mysql:orthomcl:localhost:mysql_local_infile=1

dbLogin=orthomcl

dbPassword=your_password

dbVendor=mysql

evalueExponentCutoff=-5

inParalogTable=InParalog

interTaxonMatchView=InterTaxonMatch

oracleIndexTblSpc=NONE

orthologTable=Ortholog

percentMatchCutoff=50

similarSequencesTable=SimilarSequences

                6. 经过以上依赖模块、软件和数据库的配置后,就可以测试piipline是否可以正常工作了,运行perl脚本后出现如下内容说明正常。

 $ cd /path/to/orthomcl-pipline

$ perl t/test_pipeline.pl -m orthomcl.conf -s fork -t /tmp

Test using scheduler fork

TESTING NON-COMPLIANT INPUT

TESTING FULL PIPELINE RUN 3

README:

Tests case of one gene (in 1.fasta and 2.fasta) not present in other files.

ok 1 - Expected matched returned groups file

...

                7.终于经过及其繁琐的安装、配置和调试,我们终于可以运用orthomcl-pipline直接加入输入文件就可以得到同源基因信息了。

运行orthomcl-pipline查看相关使用参数。

$ cd /path/to/orthomcl-pipline

$ ./bin/orthomcl-pipeline


寻找同源基因工具OrthoMCL与OrthoFinder的安装与使用_第4张图片
orthomcl-pipline相关参数

                8.示例运行

$ ./bin/orthomcl-pipeline -i /path/to/input.fasta -o /path/to/outdir -m /path/to/orthomcl.conf --nocompliant

        其中,需要注意的地方是输入文件必须是fasta格式的蛋白序列文件,所有软件分析得到的结果,包括聚类完成的groups文件,orthologs文件,inparalogs文件以及coorthologs文件都会输出到输出目录下,参数 --nocompliant 表示不显示提示信息。

        在运行中可能遇到连接MySQL数据库和similarsuquences文件过大的问题,解决办法:

1 文件过大:修改/etc/mysql/mysql.conf.d/mysql.conf 下的[mysqld] 内的innodb_buffer_pool_size参数改大,比如改成8g。

2 连接超时:登陆mysql -> SET @@GLOBAL.wait_timeout = 315360; (注意修改完不要重启mysql,否则会恢复原始值!) -> SHOW GLOBAL VARIABLES LIKE "wait_timeout";(查看是否修改成功)

至此,利用orthomcl寻找同源基因的便捷软件orthomcl-pipline安装完成,orthomcl-pipline工具能在满足使用最新版orthomcl工具分析的基础上,既能省去了官方orthomcl的使用就需要13个过程的复杂步骤,通过带入输入文件就可以直接得到想要的信息,而且极大程度上节省了时间,虽然安装繁琐,但是使用起来很方便简单。


OrthoFinder的安装与使用

        在前面介绍过比较旧版本的但引用hin高的orthmcl之后,我们来介绍一款引用虽然没有orthomcl那么高,但是依然热门的程序orthofinder。OrthoFinder(文章链接)同样是寻找同源基因的利器,优势在于版本较新,应用方便,相关介绍可在github查看。

        安装,直接conda安装即可

$conda install -y orthofinder

        orthofinder的参数写的很详细,自己查看选择即可。其中有个说明就是在比对和建树是的e值和bootstrap的设置,可以在anaconda/bin/config.json下修改相应程序的参数,添加e值和bootstrap的值。

        示例使用:

$orthofinder -f /path/to/input -t 24

$orthofinder -f /path/to/input -M msa -T iqtree -t 24 

        orthofinder会自动生成orthomcl格式的结果文件,除此之外还会生成单拷贝基因文件及其树文件。过程的程序选择相比orthomcl更多样,结果更直接。

        orthofinder的介绍很少,但是安装和使用很方便、很直观。(强推!)

参考内容:

比较基因组wiki

快速寻找同源基因---自动化运行OrthoMCL - ;

OrthoMCL 安装配置与使用-Bluesky's blog;

MySql的官方安装方法:https://websiteforstudents.com/install-mysql-8-0-on-ubuntu-16-04-17-10-18-04/;

VMware Ubuntu安装详细过程(非常靠谱) - stpeace的专栏 - CSDN博客;

Bioperl的安装(一) - 高锦的博客 - CSDN博客;

orthomcl-pipeline/INSTALL.md at master · apetkau/orthomcl-pipeline · GitHub.

你可能感兴趣的:(寻找同源基因工具OrthoMCL与OrthoFinder的安装与使用)