无线通信人工智能 认知无线电 Cognitive Radio (CR)
面向智能通信的深度强化学习方法
“… wireless personal digital assistants and the related networks are sufficiently computationally intelligent about radio resources and related computer to computer communications to detect user communications needs as a function of use context, and to provide radio resources and wireless services most appropriate to those needs”
“… 无线个人数字助理和相关网络对无线电资源和相关的计算机到计算机通信具有足够的计算智能，以根据使用环境检测用户通信需求，并提供最适合这些需求的无线电资源和无线服务”
Mitola’s PhD thesis, 2000
J. Mitola在1999年提出
认知无线电是一种智能无线通信系统
认知无线电知道无线电频率环境
认知无线电选择通信参数以优化频谱使用
认知无线电会相应地调整其发送和接收参数
Resources
- Radio Spectrum
- Energy
- Network Resources (RAT, …)
- Infrastructure
Needs
- EE/SE/CE
- QoS/QoE
…
资源
- 无线频谱
- 能量
- 网络资源 (无线接入技术？Radio Access Technology, …)
- 基础设施
需求
- EE/SE/CE
- 服务质量 Quality of Service (QoS)
- 体验质量 Quality of Experience (QoE)
…
Cognition Cycle: 认知无线电 1.0 动态频谱接入
- 动态频谱接入
- 解决频谱短缺问题
- 主要与次要使用者
- Dynamic Spectrum Access
- Solving Spectrum Shortage Issue
- Primary vs Secondary Users
- IEEE 802.22
- LTE-U/LAA
认知无线电：brain-empowered 无线通信
Cognitive radio: brain-empowered wireless communications
频谱分配：常规方式
监管机构将无线电频谱的不同部分分配给不同的服务。
无线电频谱已在许多国家被完全分配！
比喻：
在高速公路上的车道
机会频谱接入（OSA）
机会频谱接入是关键解决方案
介绍分配频谱的次要使用
主要用户（PU）与次要用户（SU）
次要用户定期检测主要用户是否存在
- 如果是，则次要用户不能使用该频谱
- 否则，次要用户可以利用该频谱。
比喻：
动态改变高速公路上的车道
次要用户通过频谱感知了解主要用户的开/关状态
次要用户捕获时间/频谱空洞以进行传输
频谱空洞
主要用户不活动的时隙/频段/空间位置
- 时域频谱空洞
- 频域频谱空洞
- 空间域频谱空洞
电视空白
暂时未使用的电视频谱
频谱感知
次要用户识别频谱空洞的技术
带内感知
次要用户感知次要用户当前正在操作的频带
带外感知
当发现带内被主要用户占用时，次要用户感知次要用户当前没有正在操作的，但是可能要移动到的频带
保护电视主要用户：频谱感知与地理位置数据库
电视时间表、地理位置→数据库→空间时间频谱地图
频谱感知、地理位置→数据库→空间时间频谱地图
| 对比 | 频谱感知 | 数据库 |
|---|---|---|
| 主要用户 | 消极 | 积极 |
| 次要用户 | 积极 | 消极 |
| 保护电视？ | 是 | 是 |
| 保护无线Microphone？ | 是 | 否 |
频谱感知：两个假设
目标：基于x(n), n-0,1,…,N-1,来确定主要用户是否处于活动状态。
样本协方差矩阵
当不存在信号时，最大特征值与最小特征值之比=1
当存在信号时，最大特征值与最小特征值之比>1
我们可以将比值与阈值进行比较，以确定是否存在主信号
使用多个天线的频谱感知：An Overview
Multi-antenna based spectrum sensing for cognitive radios: A GLRT approach
周期性带内感知的认知MAC设计
两个关键问题：
应该分配多少时间进行感知？
应该多久进行一次感知？
感知时间优化
认知无线电网络的感知-吞吐量权衡
Sensing-Throughput Tradeoff for Cognitive Radio Networks
Sensing-Throughput Tradeoff for Cognitive Radio Networks
次要用户的吞吐量最大化
主要用户的充分保护
动态频谱访问的三种模型：
机会频谱接入，也称为交织模型
频谱共享，也称为Underlay模型
混合共享模型
频谱共享
主要用户和次要用户在相同的频段和时间共存
干扰温度
次要用户的传输导致的主要用户-Rx可以承受的最大干扰功率水平
性能损失容忍
次要用户的传输导致的主要用户-Rx可以承受的最大性能（例如capacity）损失
通过利用主要用户CSI对衰落的认知无线电信道进行最优功率控制
Optimal Power Control over Fading Cognitive Radio Channel by Exploiting Primary User CSI
| 次要用户 | 机会频谱接入 | 频谱共享 |
|---|---|---|
| 一直开着吗？ | 否 | 是 |
| 如何学习环境？ | 频谱感知 | 信道估计/干扰预测 |
| 定义主要用户保护的数量 | 检测概率 | 干扰温度/性能损失幅度 |
| 保护主要用户的技术 | 主要用户开机时不传输 | 功率控制 |
混合共享模型
结合机会频谱接入和频谱共享模型的优势
工作原理：
当主要用户关闭时，次要用户以其最大功率进行传输
当主要用户开启时，次要用户根据频谱共享模型（例如，干扰功率约束）调节其发射功率
认知无线电网络中基于感知的频谱共享
Sensing-Based Spectrum Sharing in Cognitive Radio Networks
有关认知的更多信息
维基百科关于认知的定义
认知是不同学科以不同方式使用的概念，但通常被认为是指认知或思考的过程。
认知级别
儿童级别：了解主要用户的开/关状态→机会频谱访问（OSA）（交织模型）
成人级别：了解对主要用户的影响（干扰温度，性能影响）→频谱共享（underlay模型）
Genie级别：了解主要用户的信息消息→频谱共享（Overlay模型）
硬件/软件可重新配置
需要硬件/软件重新配置，以便基于认知对环境做出灵活反应
频带，可变带宽，编码/调制方案
认知传输
意识到它对主要用户的影响
5G网络的全频谱访问
频谱聚合
许可专用频谱
未经许可的频谱
- 电视空白
- 遗留蜂窝频谱
- 5GHz非授权频段
主要Cell（许可频谱）与次要Cells（非许可频谱）
Co-located
分开的
蜂窝频谱未得到充分利用！
在网络过渡期间，遗留的蜂窝频谱被严重利用不足
频谱利用率不均
- 在不同的运营商之间
- 在不同的网络之间
- 在频分双工网络的上行和下行频谱之间
GSM频段上的LTE
GSM和LTE溢出到彼此的频段：GSM和LTE功率分配问题
WCDMA频段上的LTE
整个WCDMA频段上的LTE并发传输
WCDMA和LTE相互干扰：LTE功率分配问题
CDMA接收SINR（完全加载与部分加载的系统）→
CDMA容许干扰幅度→
OFDMA操作的机会
BS天线共享使事情变得更加轻松！
无许可频段中的LTE
5GHz频段包含超过500MHz的无线电资源
出色的补充无线电资源，可提高系统吞吐量
5GHz频段的Wi-Fi作为主要网络，LAA-LTE作为次要网络
IEEE 802.22 WRAN
使用认知无线电技术在VHF/UHF电视波段中操作
- 使用前感知
- 没有固定频谱可用
与主要用户共存，例如电视广播和无线microphone
- 主要用户在频道使用方面具有更高的优先级
由于使用了低频段，覆盖范围可以达到100 km
IEEE802.22无线区域网（WRAN）电视空白应用
将未使用或未充分利用的电视频段（54MHz – 862MHz）重新用于宽带无线访问
与主要用户（电视，microphones）共存
Cognition Cycle: 认知无线电 2.0 利用人工智能
认知无线电：使软件无线电更个人化
Cognitive radio: making software radios more personal
网络中的智能 认知网络
D. D. Clark et al., “A Knowledge Plane for the Internet,”
Proc. SIGCOMM ’03, New York, NY, 2003, pp. 3–10.
The first to propose a new kind of network which is aware of itself and its surroundings, thus a self-aware network, able to learn, decide and act according to those decisions to reach high-level goals.
The network is controlled by the knowledge plane (KP), an entity that spans over layers and devices.
According to Clark et al., the KP ‘‘is a pervasive system within the network that builds and maintains high-level models of what the network is supposed to do, in order to provide services and advice to other elements of the network” while heavily relying on tools from artificial intelligence (AI) and cognitive systems.
第一个提出一种新型网络，该网络要了解自身及其周围环境，因此是一个自我感知的网络，能够学习，决策并根据这些决策采取行动以达到高层次目标。
网络由知识plane（KP）控制，知识plane是跨层和设备的实体。
根据Clark等人的说法，知识plane“是网络中的一个普遍的系统，它建立并维护网络应该做什么的高级模型，以便为网络的其他元素提供服务和建议” 严重依赖人工智能（AI）和认知系统的工具。
TCCN
IEEE Transactions on Cognitive Communications and Networking (TCCN)
https://www.comsoc.org/publications/journals/ieee-tccn
https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=6687307
- Y.-C. Liang, New Journal Proposal Presentation to IEEE
TAB Periodicals Committee, 27 June 2013, San Diego, USA
IEEE认知通信和网络事务（TCCN）致力于及时出版高质量的手稿，这些手稿已发展为认知通信和网络研究的最新技术。在这种情况下，认知是指感知，学习，推理，记忆和自适应方法在通信系统设计中的应用。
这些交易将考虑在认知交流和网络的广泛领域中提交的内容，重点是在复杂通信系统的设计上采取整体的，可能跨学科的方法。
涵盖的核心主题包括（但不限于）：认知网络的体系结构，协议，跨层和认知周期设计，认知通信和网络的机器学习和人工智能，端到端和分布式智能超越了通信的所有层面，软件定义的网络，认知无线电，频谱共享，网络的交易和相关的经济方面，认知网络中的安全性和隐私问题，新颖的新兴服务和由此类概念实现的应用。
人工智能能做的事情
实现人类可以做的事
- 简单但重复
- 耗时的
- 超越人类
识别具有超高复杂度的模式
- 具有足够大的历史信息的预测
- 具有大量参数的决策
目标：在没有或很少人工干预的情况下，自动完成复杂但不需要创造力的任务！
Key Enabler of AI – 学习
人们从老师、图书、新闻、…中学习知识
通过练习来积累、尝试与出错、比较…
机器从数据（来自人类的标记数据、未标记的数据、来自其他域的数据…）中学习
通过互动积累、尝试与出错、适应、…
将数据转化为知识
积累知识
通过不断增长的数据/知识和交互来提高给定任务的性能
常规收发器设计
常规发射机：导频+数据
常规接收器：基于任务的符号检测：
信道估算
根据估算的信道进行决策。
为了具有准确的信道估计，所需的导频数量可能非常高，从而导致大量开销。
而且，检测性能将受到信道估计误差的限制。
模型和任务驱动→数据驱动
机器学习
通信的内在特征
从聚类接收到的信号
接收到的信号自然会落入聚类。
可以将符号检测问题转换为聚类问题。
基于机器学习的收发器设计
提出了一种标签辅助传输框架，用于收发器的重新设计。
特定于通信的学习用于对接收到的信号进行聚类
传输已知标签，以将聚类映射到传输符号
短包通信的标签辅助传输：一种机器学习方法
Label-Assisted Transmission for Short Packet Communications: A Machine Learning Approach
反向散射通信的聚类接收器
信号检测→聚类问题
基于星座学习的环境反向散射通信系统信号检测
Constellation Learning-Based Signal Detection for Ambient Backscatter Communication Systems
盲调制分类
调制分类→聚类问题
一种MIMO系统的盲调制分类的机器学习方法
A Machine Learning Approach to Blind Modulation Classification for MIMO Systems
循环神经网络用于调制分类
不确定噪声条件下，基于循环神经网络的鲁棒调制分类
Robust Modulation Classification under Uncertain Noise Condition Using Recurrent Neural Network
深度强化学习
深度强化学习在通信和网络中的应用：一项调查
Applications of Deep Reinforcement Learning in Communications and Networking: A Survey
深度强化学习 for AMC
在公共频谱信道上，多个收发器与主要用户共存
由于物理隔离/阻塞，ST无法正确检测到主要用户的传输并对BS造成有害干扰
问题：BS上经验丰富的SINR高于预期！
结果：在每帧开始时选择的MCS（常规方案）是sub-optimal！
主要思想：利用深度强化学习并让BS（主要接收器）了解来自ST的干扰模式并自适应选择MCS
仿真结果：
BS处的平均主要用户信号强度为20dB（通过噪声功率标准化），平均干扰强度为5dB
MCS设置：BPSK，QPSK，16QAM，64QAM，对应的SER来自： Proakis, Digital communications, 5th edition text
DQN设置：一个输入层包含4个神经元，两个隐藏层分别包含100个神经元，一个输出层包含4个神经元
在准静态干扰环境中的性能：考虑两个次要收发器，每个ST的未检测出的概率为1，衰落相关系数为0.99。
在动态干扰环境中的性能：考虑三个次要收发器，未检测出的概率分别为1、1，和0.5，衰落相关系数为0。
与传统方法相比，基于深度强化学习的算法在准静态和高动态干扰环境中均能够将平均传输率提高约100％！
从认知无线电到智能网络
智能网络
- 认知无线电/软件定义无线电/软件定义网络/网络功能虚拟化/NS
- 人工智能/机器学习
- 无线大数据
高效资源利用
动态网络优化
智能服务供应
无线大数据：将异构网络转变为智能网络
Wireless big data: transforming heterogeneous networks to smart networks
基本挑战
无线通信的学习算法
- 考虑无线通信性质的专业算法
- 在高度动态的环境中学习什么
- 可解释的学习算法
分布式学习效率
- 用于通信的学习算法必须具有高效的通信能力
- 不同的层次结构级别具有不同的数据和计算能力
- 有损编码会权衡学习准确性和传输开销
终身学习
- 需要知识转移
- 积累学习成果以进一步改进