ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 使用强化学习解决tsp问题（二）强化学习背景知识

本文主要结合两篇文献，第一篇是2017年Google brain团队Irwan Bello∗, Hieu Pham∗, Quoc V. Le, Mohammad Norouzi, Samy Bengio在ICLR上发表的NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING一文。第二篇是Hanjun Dai∗, Elias B. Khalil∗, Yuyu Zhang†, Bistra Dilkina, Le Song在2018年发表的Learning Combinatorial Optimization Algorithms over Graphs一文。

• NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING

• 这篇文章开篇提到了TSP的一个难题，即在实际应用中，TSP solvers大多使用人为的启发式去知道搜索过程，尽管这些启发式可以在TSP问题上表现的很好，但是一旦problem statement有轻微改变，之前定义的启发式就不好使了。这篇文章运用了机器学习的算法去开发了一个通用框架（neural combinatorial optimization），通过在训练集上自适应寻找启发式去解决多个优化问题，在TSP问题上最多100个点。
• 因为传统的监督学习不适用于组合优化的问题，团队采用了强化学习的算法，可以把强化学习中基于特定action对应的reward当作监督学习中的标签。
• 使用pointer network的架构
• 深度学习中的actor critic

• Learning Combinatorial Optimization Algorithms over Graphs

• 介绍Q-learning

• 要解决的问题：In this paper, we address the challenge of learning algorithms for graph problems using a unique combination of reinforcement learning and graph embedding.

• 完成的：We presented an end-to-end machine learning framework for automatically designing greedy heuris- tics for hard combinatorial optimization problems on graphs.

时间问题，这两篇论文没有进行详细的精读，以后有时间会补充。

未完待续。。。下一篇博文会详细分析ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 这篇文章。