新的预测模型的局部评价指标-pAUROCc

新的预测模型的局部评价指标-pAUROCc

Background

局部评价主要是用在不平衡数据上，其合理性：1.局部评价比全局评价敏感，更容易区分模型的优劣；2.临床决策曲线（DCA）可知，模型使用过程中，阈值是在一个范围之内，在这个范围之内的模型效能才会直接影响模型的应用。局部评价并不是新提出的概念。使用pROC包可以实现y轴方向上的AUROC局部评价，而使用precrec包可以实现x轴和y轴上的AUROC局部评价。
pAUCc（concordent partial AUC ）是在2020年一篇文章（PMID：31906931）中介绍的指标，可以用于评价不平衡数据，作者认为是优于现有的局部AUROC的评价指标，详细的关于这个指标的介绍和评价，可以参考以上文献。
下图是对该指标的解释:

Introduction of the APP

为了让大家更直观的了解这个局部评价指标，制作了这个APP。在这个APP中，使用了precrec包内的函数来实现。通过使用内置的数据或者上传自己的数据来观察局部评价的指标的制作过程，体会局部评价是否较全局评价更加能够区分模型优劣。目前主要涉及了两个模块，演示模块和分析模块。两个模块几乎一样，不同的是演示模块使用的内置的数据集，不需要自己上传数据，而分析模块有稍多的可调整的参数。
本APP需要的数据为模型预测的概率和实际的标签。
模块1：数据集为内置，选择相应的列，即可显示局部AUROC的计算结果和图像，可调节的参数为阈值的范围。有助于理解相关的概念和数据要求。
模块2：自行上传数据集，增加了一个调整参数，曲线的精细度，是通过调整阈值的跨度来实现的，数值越小曲线越精细，但对局部AUC的计算并没有影响。在进行了全局评价之后，可以使用预测概率进行局部评价，对比一下效果。
APP address: https://liuyp2080.shinyapps.io/partialROCcDemo/

其它APP地址：

DCA分析的演示，https://liuyp2080.shinyapps.io/DcaDemonstration/
保序回归的演示，https://liuyp2080.shinyapps.io/save_your_probability/