干扰管理学习日志9-------强化学习_联邦学习_功率分配

目录

  • 一、文章概述
  • 二、系统环境
  • 三、理论模型
    • 1.系统目标
    • 2.公式推导
  • 四、应用算法
    • 1.顶层设计
    • 2.强化学习
      • (1)输入状态
      • (2)输出动作
      • (3)环境反馈
    • 3.联邦学习
    • 4.伪代码
  • 五、性能表征
    • 1.泛化性


本文是对论文《Transmit Power Control for Indoor Small Cells: A Method Based on Federated Reinforcement Learning》的分析,第一作者为 Peizheng Li
干扰管理学习日志9-------强化学习_联邦学习_功率分配_第1张图片

一、文章概述

本篇文章作者通过强化、联邦学习方法,联合优化小区功率分配,以达到更高的通信速率和更强的泛化性能。具体而言,对于不同场景下的功率分配任务,作者首先使用强化学习方法改进功率分配方案,提升信道容量。之后,又通过联邦学习将个模型参数进行融合,以达到更好的泛化性能,使得全局模型在不同场景中都有着较为优异的收敛速度。

二、系统环境

干扰管理学习日志9-------强化学习_联邦学习_功率分配_第2张图片
系统环境如上图所示,是布局各不相同的室内微小区,基站分配各载波频段的功率,实时计算当前信道容量大小。

三、理论模型

1.系统目标

干扰管理学习日志9-------强化学习_联邦学习_功率分配_第3张图片
系统目标在于最大信道容量,其中Pm是可选功率值组成的集合。

2.公式推导

在这里插入图片描述
信道容量C由香农公式给出(信噪比考虑干扰)
在这里插入图片描述
其中SINR(信号加干扰噪声比)如上式定义,在这里插入图片描述在这里插入图片描述代表发送和接受天线增益,在这里插入图片描述为发射功率。在这里插入图片描述代表基站m和用户n之间的路径损耗loss,以距离为变量。在这里插入图片描述代表的是热噪声,在这里插入图片描述为其他基站对用户的干扰。

四、应用算法

1.顶层设计

干扰管理学习日志9-------强化学习_联邦学习_功率分配_第4张图片

整个系统如上图运行,每一个房间中,微基站收集信道状态信息,输出不同载波频段的功率,并将历史数据保存用于强化学习模型的训练。每隔一定周期,全局基站收集各微基站强化学习的模型,对模型参数进行加权平均,得到更具有泛化性的参数并下发,如此反复。

2.强化学习

(1)输入状态

在这里插入图片描述
包括在t时刻基站的发射功率,连接用户数以及各频段信道状态。

(2)输出动作

输出动作为t时刻各个载波频段的发射功率值。

(3)环境反馈

在这里插入图片描述
环境反馈为系统总吞吐量的变化。

3.联邦学习

在这里插入图片描述
联邦学习使用常规平均算法。

4.伪代码

干扰管理学习日志9-------强化学习_联邦学习_功率分配_第5张图片

五、性能表征

1.泛化性

干扰管理学习日志9-------强化学习_联邦学习_功率分配_第6张图片
相较于传统强化学习模型,联邦学习模型在新的环境中学习速率更高。

你可能感兴趣的:(干扰管理,学习,人工智能)