使用MAKER进行基因注释(高级篇之AUGUSTUS模型训练）

准备训练集和测试集

根据Augutus的官方教程，可靠的基因结构序列的要求如下：

• 提供基因的编码部分，包含上游几KB。通常而言，基因越多，效果越好，至少准备200个基因以上。还得保证这些基因中要有足够多的外显子，这样子才能训练内含子。

• 这些基因的基因结构一定要足够的准确。不过，也不需要百分百的正确，甚至注释都不需要特别的完整，只要保证起始密码子和终止密码子的准确是准确的即可。

• 需要保证这些基因没有冗余，也就是说不同序列如果有几乎相同的注释后氨基酸序列，那么仅仅取其中一个（AUGUSTUS教程的建议是：保证任意两个基因在氨基酸水平上低于70%的相似度），这一步既可以避免过度拟合现象，也能用于检验预测的准确性

• 一条序列允许有多个基因，基因可以在正链也可以在负链，但是这些基因间不能有重叠，每个基因只要其中一个转录本，存放格式是GenBank

之后随机将注释数据集分成训练集和测试集，为了保证测试集有统计学意义，因此测试集要足够多的基因（100~200个），并且要足够的随机。

基因结构集的可能来源有:

• Genbank
• EST/mRNA-seq的可变剪切联配, 如PASA
• 临近物种蛋白的可变剪切联配，如GeneWise
• 相关物种的数据
• 预测基因的迭代训练

由于目前的转录组数据比较多，我先用Trinity对转录组数据进行从头组装，然后用PASA将Trinity组装的转录本回贴到参考基因组上

Launch_PASA_pipeline.pl \
      -c alignAssembly.config \
      -C \ # 创建数据库
      -R \ # 运行alignment/assembly 流程
      -g reference.fasta \
      -t Trinity.fasta \
      --ALIGNERS blat,gmap \ # 可以只用一个
      --CPU 12 &> &> pasa_$(date +%Y-%m-%d-%H-%M).log &

alignAssembly.config可以复制PASApipeline-v2.3.3/pasa_conf的pasa.alignAssembly.Template.txt, 修改如下内容

DATABASE=<__DATABASE__> # MySQL中的数据库名, 也是最后文件名的前缀

# 如下调整的是PASApipeline-v2.3.3/scripts/validate_alignments_in_db.dbi参数
script validate_alignments_in_db.dbi
validate_alignments_in_db.dbi:--MIN_PERCENT_ALIGNED=<__MIN_PERCENT_ALIGNED__>
validate_alignments_in_db.dbi:--MIN_AVG_PER_ID=<__MIN_AVG_PER_ID__>

这一步得到的.assemblies.fasta和.pasa_assemblies.gff3

从PASA组装中提取ORF(开放阅读框)

PASApipeline-v2.3.3/scripts/pasa_asmbls_to_training_set.dbi \
    --pasa_transcripts_fasta .assemblies.fasta.transdecoder.genome.gff3\
    --pasa_transcripts_gff3 .pasa_assemblies.gff3

最后会生成一系列文件,如下

• .assemblies.fasta.transdecoder.cds/pep/gff3/bed: 虽然不再基因组上，但是根据转录本信息，有可能是编码区的结果
• .assemblies.fasta.transdecoder.genome.bed/gff3: 对应基因组序列的基因模型

我们需要的是后者。PASA组装的GFF3文件的属性一栏分为：

• complete:
• 5primer_partial: 缺少起始密码子，翻译到5'端为止
• 3primer_partial: 缺少终止密码子，翻译到3'端为止
• internal: 缺少起始密码子和终止密码子

格式转换

我们基于PASA的结果，将GFF3格式转换成Genbank格式

augustus/scripts/gff2gbSmallDNA.pl \
    .assemblies.fasta.transdecoder.genome.bed/gff3 \ #gff3 from pasa_asmbls_to_training_set.dbi
    reference.fa \ # reference genome sequence
    1000 \ # flank
    .gene.raw.gb # output

这一步的gff2gbSmallDNA会忽略掉UTR序列。

过滤可能错误的基因结构

转录组数据不像以前的EST序列，最后组装的基因数不多。如果同时使用多个组织的转录组，就会组装出一万条以上的基因，所以我们更加关注于质量。

先创建初始化的物种HMM文件

augustus/scripts/new_species.pl \
    --species=for_bad_genes_removing \
    --AUGUSTUS_CONFIG_PATH=/path/to/augustus/config

然后尝试训练，捕捉错误

augustus/bin/etraining \
    --species=for_bad_genes_removing \
    --stopCodonExcludedFromCDS=false \
    .gene.raw.gb 2> train.err

提取错误，并进行过滤

egrep -o 'ctg[[:digit:]]+_[[:digit:]]+-[[:digit:]]+' train.err > badgenes_list.txt
augustus/scripts/filterGenes.pl badgenes_list.txt .gene.raw.gb > .genes.gb

初步训练

将上一步过滤后的文件随机分成两份，测试集和训练集。其中训练集的数目根据gb的LOCUS数目决定，至少要有200.

augustus/scripts/randomSplit.pl .gene.gb 200 # 200为测试集的基因数

创建初始化HMM参数文件，并进行训练

augustus/scripts/new_species.pl --species aha_train1
augustus/bin/etraining --species= .genes.gb.train | tee train.out

用测试数据集检验预测效果。这里可以比较我们训练的结果，和近缘已训练物种的训练效果

augustus --species= .genes.gb.test | tee train_test1.out
augustus --species=arabidopsis .genes.gb.test | tee ara_test.out

可以用tail -n 40 xx_test.out查看预测结果的统计。要看着最后的结果，需要解释几个统计学概念:

• TP(True Positive): 预测为真，事实为真
• FP(False Positive): 预测为真，事实为假
• FN(False Negative): 预测为假，事实为真
• TN(True Negative): 预测为假，事实为假

基于上述，引出下面两个概念。"sensitivity"等于TP/(TP+FP)， 是预测为真且实际为真的占你所有认为是真的比例."specificity"等于TN/(TN+FN), 是预测为假且实际为假的占你所有认为是假的比例。我们希望在预测中，尽可能地不要发生误判，也就是没有基因的地方不要找出基因，有基因的地方不要漏掉基因。

优化训练参数

很有可能的一种情况是，我们第一次的训练结果没有已有训练的效果好，所以我们需要进行循环训练找到最优参数

augustus/scripts/optimize_augustus.pl --species= \
    --cpus=12 \ #受限于--kfold=k
    --rounds=12 \
    .genes.gb.train

评估优化训练结果

使用optimize_augustus.pl训练的参数未必会比前一步的训练结果好，因此需要

augustus/bin/etraining --species= .genes.gb.train
augustus/bin/augustus --species= .genes.gb.test | tee train_test2.out

比较前后的"sensitivity"和"specificity"参数，选择其中表现比较好的一个，作为最终用于预测的HMM文件。