可解释性机器学习——从金融科技视角（1）

可解释性机器学习——从金融科技视角（1）

内容摘要：可解释性的重要性

---

---

1、过程为什么重要

• 尽管机器学习模型表现良好，但单一指标（如分类准确性）是对大多数实际任务的不完整表述。（Doshi-Velez & Kim 2017）。某些任务不仅需要得到预测结果，更需要解释模型是如何得出预测的。

For example，一个人感到不适，想知道：“我为什么感觉这么恶心？ ”他了解到，每次吃麦片时，他都会生病。，于是，他更新了自己的心智模型，吃麦片导致了疾病，因此应该避免吃麦片。在信贷自动审批模型工作中，你的主要目标是仅向最终会偿还贷款的人发放贷款。 在这种情况下，其实隐含了一个约束，你不仅要尽量减少贷款违约，而且还有义务防止过拟合，以免因抽样数据的不随机导致对部分特定群体造成歧视。 这是一个额外的约束，是问题表述（以低风险和合规的方式发放贷款）的一部分，但机器学习模型的损失函数不包括该约束。

• 模型犯错误造成后果的严重程度决定对准确性的需求。常常可解释性和预测准确性之间存在一种平衡balance，你需要在两者之间做出选择。（比如说电影推荐系统，极少的错误无关紧要。但在金融领域，信用评估的误判，股价预测的错误会造成严重损失。更恐怖的在于医疗领域、自动驾驶领域，误判的后果不必多说）。

默认情况下，机器学习模型会从训练数据中获取偏差。 这可能造成过拟合，有学者因金融领域使用机器学习产生过拟合，导致了对民众信用的误判，称模型为”歧视代表性不足群体的种族主义者“。 可解释性是一种有用的调试工具，用于检测机器学习模型中的偏差。

• 对过程的解释是人类从机器学习知识的体现。 科学的目标是获取知识，但许多问题都是通过大数据集和黑匣子般的机器学习模型解决的。 大模型本身能成为知识的来源，而不是数据的来源。 可解释性使得提取模型捕获的这些额外知识成为可能。
• 机器学习模型只有在可以解释时才能进行调试和审核。可解释性提高了模型优化的可能性与效率。

---

2、可解释性机器学习模型能做到什么

如果能确保机器学习模型可解释，技术员和审核员可以更容易地检查以下特征（Doshi-Velez and Kim 2017）

• 公平性：确保预测公正，并且不会隐含或明确地歧视代表性不足的群体。
  一个可解释的模型可以告诉你为什么它决定某个人不应该获得贷款，并且人类更容易判断这个决定是否基于学习的人口统计学（例如是否存在种族偏见）
• 隐私：确保数据中的敏感信息受到保护。
• 可靠性或稳健性：确保输入中的微小变化不会导致预测的大幅变化。
• 因果关系：检查自变量和因变量的因果关系。
• 金融机构负责人的信任：与黑匣子相比，人类更容易信任能解释其决策的系统。

---

3、什么时候不需要可解释性

• 模型的误判没有较大影响。

比如你只想预测下白月光喜不喜欢你hhh

• 可解释性的公开造成风险（导致套利，系统操纵）

这种问题一般是由于模型的创建者和用户的目标不匹配造成的。
比如信用评分系统。因为银行希望确保贷款只提供给可能归还贷款的申请人，而申请人的目标是获得贷款，即使银行不想给他们贷款。 目标之间的这种不匹配使得贷款申请者想钻空子，以增加他们获得贷款的机会。 例如，如果申请人知道拥有两张以上的信用卡会对他的分数产生负面影响，他只需归还额外的第三张，第四张信用卡以提高分数，并在贷款获得批准后再申请新卡。 虽然他的分数有所提高，但偿还贷款的实际概率保持不变。 只有当输入是因果特征的替代物（proxies），但这个替代物事实上并不导致结果时（持有信用卡多少不导致借款者能否还款的结果），系统才能被钻空子。只要有可能，就应避免使用替代特征，它们使模型具有可博弈性。