通过影响函数理解黑箱预测

摘要：
我们如何解释黑箱预测的结果？在本文中使用影响函数-一个经典的技术来追踪模型预测在学习算法中并返回到训练数据， 隐藏确定训练点对给定预测最相关的点。按比例夸大影响函数到现代机器学习设定，我们开发一个简单有效的实现只要求得到梯度和Hessian-vector乘积，我们展示甚至在非凸和非可导模型，对影响函数的近似仍然提供有价值的信息。我们显示影响函数对多种意图有用：理解模型行为，debug模型，检测数据集误差，甚至创造可视的不能区分的训练集攻击。
1 简介
本文解决黑箱问题通过追踪模型预测从学习算法追溯到训练数据。为形式化在预测时的训练点的影响，当我们没有这个训练点会发生什么，或者当这个点轻微地改变或发生什么。
通过打乱数据并重新训练模型代价太大。为克服这个问题，我们使用影响函数解释模型参数如何改变当我们对训练点增加一个小的量到权重上。
一个阻碍是影响函数需要二阶导数并假设模型可导和凸函数性质，这个限制了现实中的应用。我们解决这个挑战通过展示我们能有效近似影响函数使用二阶优化技术。
2 方法
考虑一个预测问题输入空间X 例如图像， 到一个输出空间y（例如标签），我们给定训练点 z1,⋅⋅⋅,zn , 其中 zi=(xi,yi)∈X×Y ,对于一个点z 和参数 θ , L(z,θ) 表示损失，经验风险 1n∑ni=1L(zi,θ) . 目标是经验风险最小 θ^=argminθ1n∑ni=1L(zi,θ) . 假设经验损失是二阶可导并严格凸，
2.1 Upweighting 训练点