特征归因(Feature Attribution)

特征归因

特征之间的依赖引入了归因和外推问题。例如,当特征之间相互关联并共享信息时,特征的重要性和作用就变得难以区分。

  • 随机森林中的相关特征具有较高的重要性,许多基于灵敏度分析的方法会置换特征,当置换后的特征与另一特征具有某种依赖性时,此关联将断开,并且所得数据点将外推到分布之外的区域。
  • 特征归因(Feature Attribution)_第1张图片
  • ML模型从未在这类组合数据上进行过训练,并且可能不会在应用程序中遇到类似的数据点。因此,外推可能会引起误解。

归因方法主要是指输入特征的解释能力进行排名或度量,并以此来解释任务模型,有时也称为特征/变量重要性,相关性或影响力方法。大多数post-hoc都属此类,临床医生比较喜欢,因为有助于了解哪些功能可导致预期的结果,且能快速与自己的先验知识进行比较。我们可以根据解释产生机制将归因方法分为扰动和反向传播方法。基于反向传播的方法不是模型不可知的,因为它们通常是为特定的模型类设计的,或者要求模型的功能可区分。

定性指标包括通过访谈或问卷调查的方式来询问所提供的解释的用处,满意度和信任度。
量化指标包括根据准确性,所需的响应时间,偏差的可能性或检测错误的能力来测量人机任务的性能。

你可能感兴趣的:(可解释性)