【随机优化】李雅普诺夫优化在通信与排队系统中的应用（第一章）-绪论
【参考书目】Stochastic Network Optimization with Application to Communication and Queueing Systems
【作者】（美）Michael J.Neely---University of Southern California
【出版社】MORGAN&CLAYPOOL PUBLISHERS
目录
相关主题
背景知识
四个基本概念
几个简单的随机调度例子
示例问题1：在稳定性条件下最小化时间平均功率
示例问题2：在时间平均功率条件下最大化吞吐量
示例问题3：在时间平均功率条件下最大化吞吐量
常见的随机优化问题
李雅普诺夫漂移（LYAPUNOV DRIFT）与李雅普诺夫优化
相关主题
- 队列稳定性理论
- 背压机制，最大权重和虚拟队列方法
- 针对非凸随机利用率最大化的对偶方法
- 对于任意采样路径的全局优化
- 近似随机调度理论
- 更新系统和马尔可夫决策系统的优化
背景知识
- 基本的概率概念
- 马尔可夫链
- 标准优化
四个基本概念
- 伸缩求和（telescoping sums）
对于任意的f(t)：
在每一步控制函数的变化允许了人们可以控制函数的结束值。
- 迭代的期望（iterated expectations）
对于任意随机的变量X与Y，有：
其中外部期望是关于Y的分布，而内部期望是关于给定Y的X的条件分布
- 随机最小化期望（opportunistically minimizing an expectation）
- 简森不等式（Jensen’s inequality）
（凸）函数的期望值大于或等于期望的函数值
李雅普诺夫考虑的是随机网络（拥有随机事件、时变性及不确定性的网络）的分析与优化，主要关注通信系统和排队系统。但是，只要问题可以被转化为：在不确定参数的时间平均限制下，优化确定参数（certain quantities）的时间平均限制，就可以用李雅普诺夫优化方法。
几个简单的随机调度例子
【最基本模型】双用户无线调度系统
对于每个时隙（slot）t：
【假设】网络控制器可以在每个时隙转移
观察信道条件之后，再进行功率分配
-----新的到达
-----等待传输的队列
-----信道条件
-----功率分配
-----可能的功率分配集合
-----转移率函数
-----队列的动态表达式
示例问题1：在稳定性条件下最小化时间平均功率
【问题规划】
-----用户k在特定的功率分配下的时间平均功率消耗
在每个时隙，不需要与到达和信道相关的概率的先验知识
-----越大的V越优
-----平均队伍积压（queue backlogs）与时延的折衷
示例问题2：在时间平均功率条件下最大化吞吐量
【假设】到达的过程可以被 一个流量控制机制控制，即何时到达也需要被决定
【问题规划】
-----数据准入
-----用户k的数据准入速率
-----正的权重，分别代表了两个用户的重要性
-----两个用户给定的平均功率限制
示例问题3：在时间平均功率条件下最大化吞吐量
【假设】吞吐量由线性函数变为凹函数
【问题规划】
-----【效用函数】在a不小于0的情况下的连续的、凹的非减函数（可以在两用户之间达到“公平”，但若其为线性，优化它的结果通常是一个为1一个为0）
-----典型的效用函数形式（还有其它几种形式），前者提供的公平性经常被称为比例公平性。
-----用户1在达到了吞吐量下的效用或满意度
常见的随机优化问题
考虑一个随机网络在离散的时隙间运行，它可以被描述为队列积压的集合。
-----队列积压向量，K为非零的整数，K=0时表示没有队列
对于每一个时隙，控制的行为（control action）会影响队列的到达与离开，并产生一个实时的特征向量集合：
-----非负整数，用于区分平等约束和两种类型的不平等约束
这些特征可以是正的，也可以是负的，它们代表与时隙t上的网络相关联的惩罚或奖励，例如功耗、失真或丢包/接纳。这些特征也可由一般函数给出：
-----时隙t所观察到的随机事件，如到达、信道条件等
-----在时隙t所采用的动作，如接入、转移等
-----依赖于w(t)
-----在特定控制算法下的时间平均量
【问题规划】
【问题规划】优化时间平均的凸函数
-----RM封闭的凸的子集
-----在给定控制算法下的平均时间特征向量
上述提出的两大问题，可以被叫作随机规划（stochastic programs），是静态优化理论的经典线性规划和凸规划的类似。事实证明，排队论在这类随机优化中起着核心作用。即使原始问题中没有底层队列，我们也可以引入虚拟队列（virtual queues）作为确保满足所需时间平均约束的强有力的方法。低效的控制操作会在某些队列中导致更大的积压。这些积压充当“足够的统计数据”，作为下一个控制决策的基础。这使得算法不需要知道与随机网络事件ω( t )相关联的概率。
李雅普诺夫漂移（LYAPUNOV DRIFT）与李雅普诺夫优化
STEP 1：找出要解决的问题的限制
STEP 2：构造虚构队列帮助达到这些限制
STEP 3：定义李雅普诺夫函数（Lyapunov function）来描述所有在时隙t的虚拟队列的积压的平方。（网络拥塞的标量测度）
STEP 4：定义两个时隙间李雅普诺夫函数的变化：
STEP 5：最小化每个时隙的李雅普诺夫函数的变化，又称最小化李雅普诺夫漂移：
如果目标函数可以被映射到适当的惩罚函数，则可以在每个时隙t贪婪地最小化漂移加惩罚（drift-plus-penalty）：
-----一个非负的控制参数