【论文阅读】Does Neuron Coverage Matter for Deep Reinforcement Learning?: A Preliminary Study.
文章目录
- 一.论文信息
- 二.论文结构
- 三.论文内容
-
- Abstract
- 摘要
- 四.参考资料
一.论文信息
论文题目： Does Neuron Coverage Matter for Deep Reinforcement Learning?: A Preliminary Study.【神经元覆盖率对深度强化学习有影响吗?:初步研究。】
发表年份： 2020
期刊/会议： International Conference on Software Engineering Workshop(CCF-A会议Workshop)
论文链接： https://dl.acm.org/doi/abs/10.1145/3387940.3391462
作者信息：
Miller Trujillo（哥伦比亚，洛斯安第斯大学）,
Mario Linares-Vásquez（哥伦比亚，洛斯安第斯大学）,
Camilo Escobar-Velásquez（哥伦比亚，洛斯安第斯大学）,
Ivana Dusparic（爱尔兰，都柏林三一学院）,
Nicolás Cardozo（哥伦比亚，洛斯安第斯大学）
关键词： Deep networks, Reinforcement learning, Coverage analysis, Testing
二.论文结构
Abstract
1 Introduction
2 Related Work
3 Deep Reinforcement Learning
4 Empirical study design
4.1 The Mountain Car Benchmark
4.2 Analysis Method
5 Results
5.1 Evolution Patterns of Neuron Coverage(神经元覆盖的进化模式)
5.2 Coverage-Reward Correlation(覆盖率和奖励的关系)
6 Conclusion & Future Work
三.论文内容
Abstract
Deep Learning (DL) is powerful family of algorithms used for a wide variety of problems and systems, including safety critical systems. As a consequence, analyzing, understanding, and testing DL models is attracting more practitioners and researchers with the purpose of implementing DL systems that are robust, reliable, efficient, and accurate. First software testing approaches for DL systems have focused on black-box testing, white-box testing, and test cases generation, in particular for deep neural networks (CNNs and RNNs). However, Deep Reinforcement Learning (DRL), which is a branch of DL extending reinforcement learning, is still out of the scope of research providing testing techniques for DL systems.
In this paper, we present a first step towards testing of DRL systems. In particular, we investigate whether neuron coverage (a widely used metric for white-box testing of DNNs) could be used also for DRL systems, by analyzing coverage evolutionary patterns, and the correlation with RL rewards.
摘要
深度学习算法是一个强大的算法家族(powerful family of algorithms)，用于各种各样的问题和系统，包括安全关键系统(safety critical systems)。因此，分析、理解和测试DL模型吸引了更多的从业者(practitioners)和研究人员(researchers)，他们的目的是实现健壮(robust)、可靠(reliable)、高效(efficient)和准确(accurate)的DL系统。首先，DL系统的软件测试方法集中于黑箱测试、白箱测试和测试用例生成(test cases generation)，特别是对于深度神经网络(cnn和rnn)。然而，深度强化学习(Deep Reinforcement Learning, DRL)作为强化学习的一个分支，仍处于为强化学习系统提供测试技术的研究范围之外。
在本文中，我们提出了测试DRL系统的第一步(a first step towrads of DRL systems)。特别是，我们通过分析神经元覆盖率的演化模式，以及与RL奖励的相关性，研究了神经元覆盖率(一种广泛用于dnn白盒测试的指标)是否也可以用于DRL系统。
四.参考资料
1. https://zhuanlan.zhihu.com/p/386403604
本文主要描述了用神经元覆盖实验来进行RL算法的测试，看看神经元的覆盖关系和获得较高奖励之间有没有什么联系。文章整体写得比较粗糙，毕竟只是workshop，随便看看就行。大家就当扩展一下知识面，也不要太认真。
与深度神经网络（DNN）的神经元覆盖相比，本文的结果表明，神经元覆盖不足以得出关于DeepRL网络设计或结构的实质性结论。最好的覆盖性测试结果是通过广泛的探索来实现的，然而，探索过多并不利于寻找最优策略。因此，对于DeepRL来说，神经元覆盖似乎是评估网络早期层的状态空间探索，作为探索不同行为的一种手段。
未来的工作，对神经元覆盖性的评估可以作为有效的度量工具并扩展到其他的DeepRL场景，来探索一种能够关联覆盖度和最大回报的度量方式（个人觉得不太可能，应该是作者的一厢情愿）。此外，类似的方法可以用来评估其他基于dnn的学习模型。