2021-评估不同软件组合检测ONT数据中germline SV的表现

1.Bolognini, D. & Magi, A. Evaluation of Germline Structural Variant Calling Methods for Nanopore Sequencing Data.Frontiers Genetics12, 761791 (2021).

总结：1）检测germline SV，深度推荐20x以上；2）支持reads数阈值设置，5-10条（得跟数据量相关呀，本文最高深度约50x，但是考虑到20x以上F值变化不大，所以这个阈值，最多能代表20x以上深度数据的设置）；3）检测软件cuteSV相对其他软件表现更好，组合考虑时比对软件表现最好NGMLR，但是minimap2就差一点点，可以根据情况选择；4）多软件共同应用策略，在提高准确性方面有一定效果，但是看F值的话，cuteSV(单独与组合相对表现最好)的单独和组合的F值没有提升效果。

摘要：

使用模拟和真实的ONT测序数据，评估了5种结构变异检测软件（4种比对方法）的表现。关注点主要在比对，测序深度(down-sampling获得不同深度数据)，和突变allele的深度对于不同类型、不同长度SV的检测和分型的影响。

评估的5种SV检测软件分别为：Sniffles、SVIM、cuteSV、npInv（只检测倒位）、pbsv。4种比对软件分别为：minimap2、NGMLR、Lra、pbmm2。

方法：

数据集：评估利用的测序数据，为GIAB项目中NA24385的ONT实测数据（约157G，只有7281插入和5464缺失），以及用VISOR模拟的数据SI00001（约154G，模拟了5027缺失，5027插入，300重复，300倒位，22易位）。金标准数据集为此样本GIAB和模拟数据的真阳SV数据集。

统计工具：统计precision和recall使用的truvari工具。SURIVOR统计检测的SV与真阳SV的交集；

结果：

1）NA24385数据集，SVIM经minimap2比对，比其他组合检测到更多的deletion（9566）和insertion（12818）；用NGMLR比对时，pbsv检测到更多的重复（1941）；用minimap2比对时，cuteSV检测到更多的倒位（156）和易位（37）；「supp. figure S2」

SI00001数据集，cuteSV经minimap2比对，检出更多的插入和缺失；SVIM经minimap2比对先出更多的重复；cuteSV经NGMLR比对检出更多的倒位；pbsv经NGMLR比对检出更多的易位；「supp. figure S3」

2）minimap2比对后检测SV，与真阳SV数据集，交集最多的变异类型为缺失（4022 for the NA24385 dataset and 3368 for SI00001)）和插入（4054 for the NA24385 dataset and 3101 for SI00001）；「supp. figure S4」;NGMLR和Lra比对后趋势类似；

3）利用truvari统计precision，recall和F值，对于NA24385数据集，cuteSV经NGMLR比对后得到最高的SV检测和分型F值（分别约0.93和0.91）；对于SI00001数据集，SVIM经minimap2比对后得到最高的SV检测F值（约0.93），cuteSV经NGMLR比对后得到最高的SV基因分型F值（约0.92）；总体来说，cuteSV，SVIM和pbsv表现相当，F值均约0.9（cuteSV相对表现最好）；Sniffles具有最低的recall值，特别是在SI00001数据集经Lra比对后。「Figure 1, supp table S4」

4）对于检测deletion，cuteSV, SVIM和 pbsv都能获得大于0.9的F值；但是对于insertion，NA24385数据集只有cuteSV经NGMLR比对后能得到，SI00001数据集也只有cuteSV经NGMLR/minimap2比对后能获得大于0.9的F值。对于重复，SVIM和cuteSV经NGMLR比对后比其他组合表现好；对于倒位，SVIM+minimap2，Sniffles+minimap2/NGMLR，npInv+minimap2, pbsv可以获得大于0.9的F值。pbsv和SVIM搭配minimap2检测易位获得最好的F值约0.9；Lra比对时任何检测软件都没有得到高质量的重复或者易位检测结果。「supp Figure S7」

5）通过down sampling抽取数据，构建5X, 10X, 15X, 20X, 25X, and 35X的数据，评估深度对检测SV的影响。从低深度到中高深度增加是对于SV检测和分型提到F值都有显著影响，高深度时再增加效果就不明显了。对于低深度NA24385数据，cuteSV经NGMLR比对后获得最高的F值（SV检测约0.8，分型约0.72），sniffles经Lra比对获得最低的F值（SV检测约0.6，分型约0.28）。SI00001低深度数据，cuteSV经NGMLR比对有最高的SV检测F值约0.7，pbsv的F值最低约0.43；sniffles经NGMLR比对有最高的SV分型F值约0.61，SVIM经Lra比对最低约0.32。「supp table S5，截图一部分，整体表现较好的组合，F值从数据看20x以上增加不明显了」

6）另外测试了SV检测时，设置最少支持的reads数的阈值，recall会随着阈值升高降低（precision相反），最终推荐的一个较好的平衡范围为选择5-10条reads支持（这得跟数据量相关呀，本文最高深度约50x，但是考虑到20x以上F值变化不大，所以这个阈值，最多仅能代表20x以上深度数据的设置）。「Figure 3， supp table S6（截图部分）」

7）利用SURVIVOR产生不同组合检出的数据，测试了怎么通过不同方法组合降低假阳性结果，结果显示对于NA24385数据集，通过组合经NGMLR比对后cuteSV,sniffles,SVIM的检测结果，SV检测的准确性和分型的准确性，相对单个软件获得的最佳准确性值，分别提高约2%和3%。consensus数据集准确性与其他组合相当约0.96，但是recall约0.89比其他组合高。对于SI00001数据集，组合策略没有显示出相对与单个软件检测显著的precision的提高，几乎所有组合的precision都约1，另外单独sniffles经NGMLR比对后的precision也大于0.99。「supp table S7」。

讨论：

推荐使用cuteSV，在检测SV和分型时F值都表现不错。分析低深度数据时，看用户自己关注点是precision还是recall，sniffles在考虑更好的precision时可以使用（但是不推荐用于分型），cuteSV或者SVIM则可以在考虑更高的recall时使用。