基因家族分析 | 预测基因家族收缩与扩张（orthofinder，cafe）

以下参照 hoptop的「基因组学」使用OrthoFinder进行直系同源基因分析这篇帖子试跑了一遍

1.软件安装

#用conda安装orthofinder
conda create -n orthofinder orthofinder=2.2.7

#安装CAFE
安装二进制软件，最好有管理员权限

2.数据准备

下载「基因组学」使用OrthoFinder进行直系同源基因分析中 hoptop准备的数据，总共有十二个物种的蛋白数据以及接下来会用到的Python脚本。

#解压缩
tar xf twelve_spp_proteins.tar.gz
for i in `ls -1 twelve_spp_proteins/*.tar.gz`; do tar xf $i -C twelve_spp_proteins; done
rm twelve_spp_proteins/*.tar.gz

3.识别基因家族：

①仅保留每个基因中有代表性的转录本，去除可变剪切和冗余基因；
②建立BLAST数据库，使用blastp进行 all-by-all 的比对；
③使用MCL基于blastp结果进行聚类，基因序列相似的通常是一个基因家族；
④解析MCL的输出结果，用作CAFE的输入。

①将所有最长的转录本合并成单个文件

#提取每个基因中最长的转录本
python python_scripts/cafetutorial_longest_iso.py -d twelve_spp_proteins/ 
#合并每个物种的最长转录本成为1个文件
cat twelve_spp_proteins/longest_*.fa | /data1/spider/ytbiosoft/seqkit rmdup - > makeblastdb_input.fa

②All-by-all BLAST

##我的blast工具安装在miniconda的一个子环境里面，首先需要激活这个环境
source/data1/spider/miniconda3/bin/activate
conda activate bioinforspace

##先用makeblastdb建立BLAST数据库
makeblastdb -in makeblastdb_input.fa -dbtype prot -out blastdb

##之后用blastp进行序列搜索，得到每个序列的相似序列
blastp -num_threads 20 -db blastdb -query makeblastdb_input.fa -outfmt 7 -seg yes > blast_output.txt &
#参数：
-seg参数过滤低复杂度的序列(即氨基酸编码为X)
-num_threads线程数，此处设置为20

③使用MCL进行序列聚类
根据BLAST输出中序列相似性信息寻找聚类，这些聚类将用于后续CAFE分析的基因家族。

##使用shell命令将BLAST转成MCL能够识别的ABC格式grep -v "#"  blast_output.txt | cut -f 1,2,11 > blast_output.abc##创建网络文件(.mci)和字典文件(.tab)，然后进行聚类source /data1/spider/miniconda3/bin/activateconda activate orthofinder     #mcxload安装在orthofinder环境中mcxload -abc blast_output.abc --stream-mirror --stream-neg-log10 -stream-tf 'ceil(200)' -o blast_output.mci -write-tab blast_output.tab &#参数：--stream-mirror: 为输入创建镜像，即每一个X-Y都有一个Y-X--stream-neg-log10: 对输入的数值做-log10 转换-stream-tf: 对输入的数值进行一元函数转换，这里用到的是ceil(200)

#根据mci文件进行聚类, 其中主要调整的参数是-I，它决定了聚类的粒度，值越小那么聚类密度越大。一般设置为3。
mcl blast_output.mci -I 3
mcxdump -icl out.blast_output.mci.I30 -tabr blast_output.tab -o dump.blast_output.mci.I30

④整理MCL的输出结果
上一步MCL的输出还不能直接用于CAFE，还需要对其进行解析并过滤。

##1.将原来的mcl格式转成CAFE能用的格式
python python_scripts/cafetutorial_mcl2rawcafe.py -i dump.blast_output.mci.I30 -o unfiltered_cafe_input.txt -sp "ENSG00 ENSPTR ENSPPY ENSPAN ENSNLE ENSMMU ENSCJA ENSRNO ENSMUS ENSFCA ENSECA ENSBTA"
##2.将那些基因拷贝数变异特别大的基因家族剔除掉，因为它会造成参数预测出错。以下脚本是过滤掉一个或多个物种有超过100个基因拷贝的基因家族。
python python_scripts/cafetutorial_clade_and_size_filter.py -i unfiltered_cafe_input.txt -o filtered_cafe_input.txt -s
##3.将原本的编号替换成有意义的物种名
sed  -i -e 's/ENSPAN/baboon/' -e 's/ENSFCA/cat/' -e 's/ENSBTA/cow/' -e 's/ENSNLE/gibbon/' -e 's/ENSECA/horse/' -e 's/ENSG00/human/' -e 's/ENSMMU/macaque/' -e 's/ENSCJA/marmoset/' -e 's/ENSMUS/mouse/' -e 's/ENSPPY/orang/' -e 's/ENSRNO/rat/' -e 's/ENSPTR/chimp/' filtered_cafe_input.txt
sed  -i -e 's/ENSPAN/baboon/' -e 's/ENSFCA/cat/' -e 's/ENSBTA/cow/' -e 's/ENSNLE/gibbon/' -e 's/ENSECA/horse/' -e 's/ENSG00/human/' -e 's/ENSMMU/macaque/' -e 's/ENSCJA/marmoset/' -e 's/ENSMUS/mouse/' -e 's/ENSPPY/orang/' -e 's/ENSRNO/rat/' -e 's/ENSPTR/chimp/' large_filtered_cafe_input.txt

4.物种树推断

构建物种树主要分为多序列联配和系统发育树两步，随后，在已有进化树的基础上构建超度量树用作CAFE的输入。
①多序列联配一般用的是单拷贝的直系同源基因，分别进行多序列联配，然后合并成单个文件；
②使用系统发育树推测软件进行建树（软件： RAxML, PhyML, FastTree； MrBayes），生成的系统发育树用NEWICK格式保存为twelve_spp_raxml_cat_tree_midpoint_rooted.txt；

cat twelve_spp_raxml_cat_tree_midpoint_rooted.txt
(((cow:0.09289 ,(cat:0.07151,horse:0.05727):0.00398):0.02355,((((orang:0.01034,(chimp:0.00440,human:0.00396):0.00587):0.00184,gibbon:0.01331):0.00573,(macaque:0.00443,baboon:0.00422):0.01431):0.01097,marmoset:0.03886):0.04239):0.03383,(rat:0.04110,mouse:0.03854):0.10918);

③推断超度量树
超度量树(ultrametric tree)也叫时间树，就是将系统发育树的标度改成时间，从根到所有物种的距离都相同。构建方法有很多，比较常用的就是r8s。

#使用cafetutorial_prep_r8s.py构建r8s的批量运行脚本，然后提取超度量树
python python_scripts/cafetutorial_prep_r8s.py -i twelve_spp_raxml_cat_tree_midpoint_rooted.txt -o r8s_ctl_file.txt -s 35157236 -p 'human,cat' -c '94'
/data1/spider/liupiao/biosoft/r8s1.81/src/r8s -b -f r8s_ctl_file.txt > r8s_tmp.txt &
tail -n 1 r8s_tmp.txt | cut -c 16- > twelve_spp_r8s_ultrametric.txt

5.运行CAFE

估计出生-死亡参数λ
CAFE的主要功能是根据给定的进化树和基因家族数估计一个或多个λ参数。λ参数描述的是出现或消失的概率。
①为整个树估计单个λ

##编辑脚本cafetutorial_run1.sh。注意：以下脚本的括号中不能出现任何空格。

#!cafe
load -i filtered_cafe_input.txt -t 4 -l reports/log_run1.txt
tree ((((cat:68.710507,horse:68.710507):4.566782,cow:73.277289):20.722711,(((((chimp:4.444172,human:4.444172):6.682678,orang:11.126850):2.285855,gibbon:13.412706):7.211527,(macaque:4.567240,baboon:4.567240):16.056992):16.060702,marmoset:36.684935):57.315065):38.738021,(rat:36.302445,mouse:36.302445):96.435575)
lambda -s -t ((((1,1)1,1)1,(((((1,1)1,1)1,1)1,(1,1)1)1,1)1)1,(1,1)1)
report reports/report_run1

mkdir -p reports
/data/biosoft/cafe cafetutorial_run1.sh   ##运行脚本

##结果统计
#上一步运行结束后的报告文件存放在reports/reportrun1.cafe,可以用已有的脚本分析哪些基因家族发生了扩张或进行搜索
python  python_scripts/cafetutorial_report_analysis.py -i reports/report_run1.cafe -o reports/summary_run1

#在reports文件夹下会出现如下文件
summary_run1_node.txt: 统计每个节点中扩张，收缩的基因家族数
summary_run1_fams.txt: 具体发生变化的基因家族

②为高基因拷贝数的基因家族预测λ
之前过滤掉的高拷贝数变异的基因家族可以进行单独的分析，运行命令如下：

#!cafe
load -i large_filtered_cafe_input.txt -t 4 -l reports/log_run2.txt
tree ((((cat:68.710507,horse:68.710507):4.566782,cow:73.277289):20.722711,(((((chimp:4.444172,human:4.444172):6.682678,orang:11.126850):2.285855,gibbon:13.412706):7.211527,(macaque:4.567240,baboon:4.567240):16.056992):16.060702,marmoset:36.684935):57.315065):38.738021,(rat:36.302445,mouse:36.302445):96.435575)
lambda -l 0.00265952 -t ((((1,1)1,1)1,(((((1,1)1,1)1,1)1,(1,1)1)1,1)1)1,(1,1)1)
report reports/report_run2

#运行脚本
/data/biosoft/cafe cafetutorial_run2.sh

③为树的不同部分预测多个λ
如果你认为不同物种或者不同分支的基因家族进化速率不同，那么可以让CAFE预测多个值. 对lambda部分进行调整，相同数字表示相同，不同数字表示不同。

#!cafe
load -i filtered_cafe_input.txt -t 4 -l reports/log_run3.txt
tree ((((cat:68.710507,horse:68.710507):4.566782,cow:73.277289):20.722711,(((((chimp:4.444172,human:4.444172):6.682678,orang:11.126850):2.285855,gibbon:13.412706):7.211527,(macaque:4.567240,baboon:4.567240):16.056992):16.060702,marmoset:36.684935):57.315065):38.738021,(rat:36.302445,mouse:36.302445):96.435575)
lambda -s -t ((((3,3)3,3)3,(((((1,1)1,2)2,2)2,(2,2)2)2,3)3)3,(3,3)3)
report reports/report_run3

#运行脚本
/data/biosoft/cafe cafetutorial_run3.sh

CAFE主要输出文件格式

Lambda是整个进化树的预测值
IDs of nodes表示不同节点的编号，这里cat为0，horse为2，cat和horse所在的节点是1
最后是每个基因家族的结果。以最开始的表示行为例，第一列对应输入基因家族的编号；第二列是Newick的进化树，cat_59中的59表示该基因家族在cat里有59个基因；第三列是Family-wide P-value，用于表明该基因家族是否是显著性的扩张或是收缩，这里是0.438，说明变化不明显。在第三列的p值小于0.01时，第四列表明哪个分支的基因家族发生了变化，上图中只有ID 11的基因家族有变化, 但是0,1,2,4分支并没有变化。

亟待解决的问题：怎么将cafe输出结果可视化？？？

参考
01 「基因组学」使用OrthoFinder进行直系同源基因分析
02 「基因组学」使用CAFE进行基因家族扩张收缩分析