[论文笔记]Web service composition using markov decision processes (WAIM 2005)

Time Spended: 3.5 hours
本文使用MDP方法对WSC进行建模, (S3.2)讨论了如何对Sequential结构进行建模, (S3.3)进一步讨论如何对conditional/parallel/iterative 结构进行建模. (S4)中则介绍了两个求解MDP的经典算法backward recursive value iteration和forward value iteration.

有几个notes:
1. 本文的目标是"minimizes response time"(S3.2), reward r(i, a) = response(s, op), 那么应该有个假设, 即调用了某个WS后, 不管调用是否成功, 都认为response是同一个固定值.

2. 本文中MDP的标准是finite horizon total expected reward.
有个不明白的地方是Decision Time Unit的个数N该如何确定?
还有在N步前组合成功以及N步时组合仍未成功这些情况涉及的细节问题.