1.40 基于WiFi的室内定位深度学习方法综述(2)

文献来源:Feng X, Nguyen K A, Luo Z. A survey of deep learning approaches for WiFi-based indoor positioning[J]. Journal of Information and Telecommunication, 2022, 6(2): 163-216.

以下为文章的中文翻译

文章的前半部分参照:

基于WiFi的室内定位深度学习方法综述(1)-CSDN博客

5. Evaluation metric

WiFi室内定位系统的目的是对用户进行准确定位。理想情况下,定位系统可以预测用户在3D空间中的位置,并给出3D坐标的结果。然而,由于不同楼层的信号相似性的挑战,大多数人只考虑在二维空间中的定位。即使在2D空间中,一些人估计位置的精确2D坐标,而另一些人将测试平台划分为几个网格,只预测用户在哪个网格上。为了应对这种情况,研究人员将同时提供楼层估计甚至建筑物估计。将建筑物和楼层预测与二维定位估计相结合,可以推断出用户在三维空间中的准确位置。

在所有被评审的论文中,没有一套通用的评价指标。缺乏令人信服的通用评价方法是由几个原因造成的。首先,Torres-Sospedra et al.(2014)的UJIIndoorLoc虽然是室内定位领域公认的公共WiFi数据集,但它只关注WiFi RSS信号。许多研究人员开发了基于CSI信号的系统,以达到亚米级的精度。因此,目前还没有这样的公共WiFi CSI数据集用于室内定位,导致所有CSI论文的测试平台和数据集的多样性。即使是基于WiFi RSS信号的系统,也可能不会使用公共数据作为评估其性能的标准。其次,这一领域的从业者没有遵循一个普遍的主题,他们试图以不同的方式考虑定位任务,这导致需要不同的评估框架。在WiFi室内定位中,根据不同的预测目的,主要有两种系统:一种系统将室内定位问题作为分类问题,另一种系统将室内定位问题作为回归问题。因此,对于这种油和醋的情况,需要考虑几个评估指标。

为了获得全面的结果,使用一组标准指标来评估和比较大多数基于深度学习的系统的性能。本节将介绍在审稿中常用的六种WiFi室内定位系统的一般评估框架。这些指标包括命中率、平均距离误差(MDE)、均方根误差(RMSE)、累积分布函数(CDF)、复杂性(即隐藏层的数量)和测试时间。第6节和第7节将包括这些指标,用于评估和比较所有涵盖的系统。其中,准确率是分类系统的主要评价标准,MDE和RMSE是回归系统的定量评价标准。CDF是回归系统的另一种评价方法。但由于CDF的性质,将其作为绩效评价方法的系统无法提供直接、有效和令人信服的比较结果。复杂性和测试时间的评价指标为评估室内定位系统的可行性提供了另一种视角。

5.1. Hitting rate

对于WiFi室内定位分类系统,研究论文可以分为两大类。第一类人的目标是达到建筑物级或楼层级的精度,因此他们的分类目标是将物体或用户定位到特定的建筑物或楼层。为了提高准确性,另一组进一步将他们的分类输出类细化到测试平台中更小的区域或网格。这样,室内定位问题就变成了预测目标物体在哪个网格或区域。但这里的主要挑战是,由于设置网格或区域大小的差异,很难公平地比较所有不同分类系统的性能。所有论文的主要评价指标是准确率,它代表了分类问题的预测准确性。

中率定义为

利用这种评价方法,可以推导出分类系统性能的一般表达式。为公平起见,将首先比较所有楼层分类系统,然后比较所有针对区域/网格的系统。

5.2. Mean distance error (MDE):平均距离误差

评价回归室内定位系统的最直接方法是通过平均误差来判断。大多数WiFi室内定位回归系统使用回归层作为输出层来预测目标用户或物体的精确坐标。这种预测通常基于对用户或物体所在楼层的事先假设或确认。因此,回归系统要么在单层测试台上测试其性能,要么先使用层级分类器,然后根据分类结果形成回归量。回归系统的评价指标主要有两个,即平均距离误差(MDE)和均方根误差(RMSE)。在第6节和第7节中,基于MDE和RMSE的回归室内定位系统将因其使用的评估方法而分别进行比较。

MDE由所有距离误差的平均值得到。常见的距离误差是预测坐标与特定位置的地面真值坐标之间的欧氏距离。MDE定义为

1.40 基于WiFi的室内定位深度学习方法综述(2)_第1张图片

其中N为测试样本总数,Disti为预测坐标(xi, yi)与第i个样本的真值坐标(xi, yi)之间的欧氏距离。

5.3. Root mean squared error (RMSE):均方根误差

RMSE是另一个通常用于评估回归系统性能的度量。RMSE是预测值与真实值之间误差的标准差,定义为

其中N为测试样本总数,(^xi,^ yi)为第i个样本的预测坐标,(xi, yi)为第i个样本的真实坐标。

5.4. Cumulative distribution function:累积分布函数(CDF)

累积分布函数FX (x)显示了x的值小于或等于x的概率。一些回归系统使用CDF而不是MDE或RMSE作为描述其性能的评估指标。例如,使用CDF的系统的结果将是它可以实现2米的距离误差,概率为90%。请注意,研究人员使用CDF来评估他们的系统的方式是不同的,即他们用不同的概率来表示距离误差。因此,使用这种评价指标比较系统将不是本调查的主要焦点。读者可以在表2和表4中找到CDF的记录。

5.5. Complexity (i.e. the number of hidden layers)

为了更好地研究覆盖系统的有效性,还将分析神经网络的复杂性。虽然神经网络的复杂性包括神经网络模型的框架、模型的大小、优化过程和数据复杂性(Hu et al., 2021),但很少有相关论文提供如此详细的信息,这使得很难从这个角度进行更深入的分析和比较。隐藏层的数量将被用作衡量WiFi室内定位系统所采用的深度学习方法复杂性的指标。隐藏层是深度学习神经网络中位于输入层和输出层之间的层,如图8所示。由于所有这150多篇论文都使用了深度学习方法,因此将复杂性作为比较所有系统的另一个维度是很重要的。随着用户越来越依赖智能手机,在不久的将来,智能手机将成为人们用于室内定位的首选设备。因此,考虑系统的复杂性是迫切和必要的。此外,隐藏层的数量是大多数论文用来展示其系统复杂性和计算成本的一般信息。因此,引入这样一个度量,利用深度学习方法对WiFi室内定位系统进行比较。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第2张图片

图8。隐藏层是介于输入层和输出层之间的层。隐藏层的数量可以从一个到数百个不等。

5.6. Testing time

所有室内定位系统的另一个重要目标是快速定位物体或用户。测试时间是室内定位系统在单个测试样品上执行所有必要的计算/预测所需的时间。无论是跟踪还是导航,都必须立即执行室内定位,因为物体或用户可能以较低但不可忽视的速度移动。变慢意味着预测离用户当前的确切位置越来越远。从计算成本的角度来看,测试时间也是评价某一系统的决定性指标。虽然大多数论文使用笔记本电脑作为其室内定位系统的接收器,但有些论文正在智能手机上实现定位算法。这一趋势表明,研究人员正在关注使用这种便携式设备进行定位。因此,引入测试时间作为评估度量将帮助读者理解系统在不久的将来的潜力。

本文还包括了所有的测试时间结果,为评估室内定位系统的可行性提供了一个新的视角。

6. 基于深度学习的wifi室内定位特征提取方法

本节概述了那些仅将深度学习作为特征提取方法的WiFi室内定位系统。这意味着深度学习方法仅用于寻找输入数据的更有效表示。这些系统可以使用概率方法或传统的机器学习方法作为最终的预测算法。因此,为了比较这些室内定位系统,我们将研究它们的定位性能、计算复杂度和成本。换句话说,隐藏层的数量和测试时间包括了评估指标,而不是命中率、MDE或RMSE。

本节中回顾的系统的基本结构如图9所示。输入数据,包括WiFi RSS, CSI和来自其他传感器的混合信号,在输入到特征提取方法之前进行预处理。为了使深度学习特征提取方法的最佳性能,在预处理过程中需要使用统计方法或传统的机器学习算法(如SVM和PCA)对输入数据进行归一化、校准、增强、分类或降维预处理。利用深度学习神经网络提取输入数据的层次特征。本节所涉及的神经网络类型可分为人工神经网络(ANN)、卷积神经网络(CNN)、自动编码器(AE)、深度信念网络(DBN)、递归神经网络(RNN)和其他架构(如深度高斯过程(DGP))。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第3张图片

图9。基于wifi的室内定位系统的一般流程采用深度学习作为特征提取方法。请注意,深度学习和神经网络之间的区别在这个图中被识别出来。而在比较中,覆盖系统所采用的所有不同的神经网络,无论是深度神经网络还是简单神经网络,仍然会进行比较。

表2比较了采用深度学习作为特征提取方法的WiFi室内定位系统。评估指标是隐藏层的数量、MDE、RMSE、命中率、数据大小和测试时间。所有关于系统的信息都是直接从论文中获得的,缺失的条目意味着论文没有具体的信息。MDE、RMSE、命中率或CDF可以清晰地展示定位性能,而通过隐藏层数、数据大小和测试时间可以推断其可行性和计算复杂度。在第6.5节中可以找到更详细和精确的比较。

表2。采用深度学习作为特征提取方法的室内wifi覆盖定位系统的比较。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第4张图片

1.40 基于WiFi的室内定位深度学习方法综述(2)_第5张图片

1.40 基于WiFi的室内定位深度学习方法综述(2)_第6张图片

6.1. ANN

Qi等人(2018)提出了一种采用多个ELM(人工神经网络的一种变体)分类器输出来估计用户位置的系统,如图10所示。在离线阶段,系统首先利用主成分分析(PCA)对RSS数据进行降维,以提高性能,并过滤掉训练数据中的不相关信息。然后将预处理后的数据输入集成模型。在集成模型中,针对每一层训练不同的ELM分类器,得到单独的楼层分类结果。在执行这些分类之后,elm的所有结果都传递给最终的分类算法,即多数投票。最后的下限估计结果由投票策略得到。在在线阶段,实时RSS数据通过PCA过滤并传递给集成模型。楼面预测由最终分类函数完成。本系统的试验台为南京邮电大学学生宿舍,共7层,共有95个ap。为了验证性能,他们对系统进行了700次测试RSS测量。最终楼面预测精度达96%以上。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第7张图片

图10。Qi等人(2018)提出的系统结构。RSS数据通过PCA预处理,然后输入到多个ELM分类器中。这些分类器的结果用于预测用户的位置。

Belmonte-Hernández等人(2019)基于神经网络的特征提取方法开发了WiFi室内定位系统SWiBluX。SWiBluX系统是一个用户跟踪系统。该系统的新颖之处在于它的多源输入数据,所谓的多阶段统计指纹和深度学习破坏性方法的实现,以及使用高斯离群值滤波器来减少最终估计的误差。如图11所示,SWiBluX的输入由XBee的RSS、蓝牙和WiFi组成。为了解决RSS信号的不稳定性,系统采用了步进估计和速度估计以及偏航(即用户航向)估计。该系统利用用户的运动信息,可以更好地跟踪用户,避免仅根据RSS信号预测用户的位置而推断出不可能的位置估计。将多源数据和偏航信息进行转换并存储在特征向量中。然后使用人工神经网络进行指纹估计并输出用户在特定位置的概率。高斯滤波器从人工神经网络的输出中检测异常值,然后将处理后的数据传递给粒子滤波器。粒子过滤器根据真实运动模型估计用户的最终位置。该系统的试验台分为70个单元,范围为150 cm × 150 cm ~ 240 cm × 240 cm,每个单元采集7500个特征向量。该系统的MSE为0.4541 m,与相关室内定位系统相比,定位效果改善达50%。Belmonte-Hernández等人也证明了偏航/航向信息、高斯离群值滤波和粒子滤波都能给系统带来巨大的改进。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第8张图片

图11。Belmonte-Hernández等人(2019)提出的系统结构。系统的输入数据为XBee、蓝牙、WiFi的RSS信号。该系统还采用了步长、速度估计和偏航估计的特征向量信息。然后使用人工神经网络进行指纹估计,并生成用户在特定位置的概率。高斯滤波器从人工神经网络的输出中检测异常值,然后将处理后的数据传递给粒子滤波器。粒子过滤器根据真实运动模型估计用户的最终位置。

6.2. CNN

Elbakly和Youssef(2020)提出了一种基于RSS的楼层预测系统,称为“StoryTeller”。这个想法是将RSS信号转换成图像的形式,并使用CNN进行基本的预测。该系统的一个重要主题是,该系统假设提供最强RSS的ap位于用户所在楼层附近的楼层。因此,它缩小了候选楼层,只关注目标楼层以及高于或低于目标楼层的楼层。目标层,上面的层和下面的层一起被认为是一个虚拟的建筑。在该虚拟建筑上实现了预测。在横向上,系统还基于相同的假设将用户可能到达的区域最小化。该系统的神经网络结构如图12所示。将RSS信号的图像归一化后传递给CNN。CNN的目的是生成一个归一化的楼层估计。然后将这种估计反规格化到候选层的范围内,通过加权质心法进行处理,得到最终的层预测。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第9张图片

图12。StoryTeller中深度学习网络的架构。

Zhao等人(2019)提出的系统也将输入数据转换成图像。为了应对室内定位问题中时变的测量噪声和过程噪声,该系统采用卷积神经网络和双因子增强变分贝叶斯自适应卡尔曼滤波(dual factor EVBAKF)。提出的双因子EVBAKF对测量噪声协方差矩阵(MNCM)和过程噪声协方差矩阵(PNCM)进行自适应估计。在这两个矩阵的帮助下,系统大大降低了WiFi室内定位的误差。该系统首先从OFDM中提取CSI信息,CSI信息包含WiFi信号中隐藏的时空特征。然后预处理模型将这些CSI信息压缩成图像的形式,从而使CNN得以成功实现。测试区域为50 m2,分为42个参考点和4个目标位置,每个参考点收集54,000个CSI测量值。研究人员还测量了每个目标位置的3600个CSI数据组。CSI数据的图像来自3个接收天线和1个发射天线。这些3 × 1 = 3天线链路的CSI时空矩阵以数据包数(即时间因子)构成。每张图像代表90个CSI数据包。因此,每个参考点和每个目标位置分别获得600和40张CSI指纹图像。测试结果表明,与传统的CNN模型ResNet18、ResNet34、ResNet50和ResNet10相比,该系统在视距(LoS)环境下提高了22%,在非视距(NLoS)环境下提高了9.8%。NLoS场景下系统的均方误差为1.11 m, LoS场景下系统的均方误差为0.46 m。

6.3. AE(Auto-encoder:自动编码器)

X. Wang, Gao, Mao, 和 Pandey (2015, 2016) 和 X. Wang, Gao, 和 Mao (2015, 2016, 2017) 所有提出类似的系统与不同的输入和次要的细节。这些系统被广泛引用和常用作为参考系统,与该领域新提出的室内定位系统进行比较。他们的主要思想是使用Autoencoder在进行降维的同时过滤掉输入数据中的无意义信息或噪声,然后输出每个位置的位置权重。在预测阶段,系统使用概率方法得到最终的估计。

在此,我们考察了经典的DeepFi系统(X. Wang, Gao, Mao, & Pandey, 2015, 2016) 。DeepFi系统如图13所示,主要分为离线阶段和在线阶段。在离线阶段,移动设备从ap接收WiFi信号并进行预处理,然后传递给深度学习方法。所有数据根据其收集数据的位置分为几组。图14中详细介绍的深度学习方法(即AE)为每个位置生成唯一的权重,作为该位置的新指纹。在在线阶段,将实时测试数据与每个位置的新指纹进行比较。然后使用概率方法来估计用户的位置。在客厅和实验室的测试台上,DeepFi的mse分别为0.95 m和1.8 m。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第10张图片

图13。DeepFi系统。归一化后的CSI数据根据位置进行分离。深度学习方法利用CSI信息,利用所有位置的权重重构WiFi指纹。然后使用概率方法来估计给定测试CSI的用户位置。

另外,X. Wang, Gao, 和Mao (2015, 2016)采用CSI相位信息作为系统输入。 采用线性变换提取CSI相位数据。每个位置的权值通过贪婪学习策略进行训练。如本文所述,两个连续层之间的子网络形成了一个受限玻尔兹曼机。X. Wang, Gao, 和 Mao (2017) 提出了一种名为Bi-loc的系统,该系统利用双模态数据(即从CSI数据中得到的估计到达角和平均振幅)进行定位估计。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第11张图片

6.4. 定位估计算法

在提取层次特征并通过神经网络生成候选位置后,需要对用户的位置进行最终估计。由于深度学习方法是机器学习的一种形式,因此所涵盖的系统可以继续执行预测。

所涵盖系统的统计结果表明,共有13篇论文执行了预测用户所在楼层的分类任务,而所有论文都使用多数投票作为预测算法。多数投票将神经网络的分类结果作为最终结果,并选择获得最多分类(或投票)的类别。它可以定义为

式中,X为输入WiFi数据,C(X)为X的分类结果,mode为多数投票算法,h1(X), h2(X),…, hB(X)为神经网络生成的分类结果的B个数。

在本节中有56个系统执行回归任务,其中39.3%(56个中的22个)利用概率方法。它们通过计算候选位置的加权质心/加权平均值来估计用户的最终位置。其中12个系统采用贝叶斯定律计算后验概率作为权重。需要注意的是,训练位置作为训练WiFi数据的标签进行最终加权平均计算,在回归情况下同时生成预测坐标x和y。用户坐标的最终估计值由加权平均值计算。加权平均的基本计算定义为

1.40 基于WiFi的室内定位深度学习方法综述(2)_第12张图片

式中(x, y)为最终估计位置,xi和yi为第i个候选位置的坐标,N为候选位置的总数,ai为第i个候选位置对应的权值。

此外,12个系统利用贝叶斯定律计算所有候选者的后验概率

1.40 基于WiFi的室内定位深度学习方法综述(2)_第13张图片

其中(^x, ^y)为最终估计位置,K为训练位置总数,P((xj, yj) | D)为(xj, yj)的后验概率,D表示训练数据,(xj, yj)为第j个训练位置,P((xj, yj))和P((xk, yk))分别为第j个和第K个训练位置的先验概率,P(D | (xj, yj))和P(D | (xk, yk))为似然函数。

此外,在56个回归系统中,有21.4%(12个)采用了流行的机器学习方法K-Nearest neighbors (KNN)进行最终的定位估计。KNN算法根据用户采集的WiFi数据生成新位置的新特征后,测量该新位置的特征到所有训练位置的距离。使用的距离度量可以是欧几里得、曼哈顿、闵可夫斯基或加权距离。然后,KNN选择最接近新位置的前K个训练位置,并计算它们的平均值作为最终位置估计。加权k近邻(WKNN)是KNN的加权版本,并且能够更好地抵抗可能导致错误决策的KNN距离变化。特别是,WKNN中的权重可以是每个选定的训练位置是用户所在位置的预测概率。所涵盖的系统使用的算法还包括扩展卡尔曼滤波(EKF)、最大似然估计(MLE)、动态马尔可夫决策过程(MDP)和支持向量回归(SVR)。这里的主要趋势是计算由深度学习方法生成的候选位置生成的加权平均值。

6.5. 采用深度学习作为特征提取方法的系统性能比较

在本小节中,将使用累积分布函数(CDF)图箱线图来说明使用深度学习方法提取特征的WiFi室内定位系统的性能比较。

将室内定位系统分为两组,将定位问题作为分类问题的系统和将定位问题作为回归问题的系统。在分类组中,所有系统将根据地板命中率和区域命中率进行比较,而在回归组中,将根据系统的MDE和RMSE进行比较。本节涉及12个分类系统和49个回归系统。请注意,有些系统执行两种类型的定位任务,这将包括在两个组中。

首先,将对不同的分类系统进行详细的比较。由于涉及的论文缺乏多样性,研究人员仅提出了13种分类系统,并且都报道了地板级精度。所有这些论文都是基于WiFi RSS信号。其中只有1个系统使用了CNN, 1个使用了AE, 2个使用了ANN和AE的混合方法,其余的系统使用了ANN从输入数据中提取特征。这些室内定位系统的平均地板命中率为92.59%,滤除异常值后达到93.97%。特别是Qi等人(2018)达到了98.69%的最佳性能(该系统的确切准确率来自他们论文中的图表,但不是由研究人员直接提供的),而第二好的是Campos等人(2014),地板命中率为97%。两篇论文都采用了ANN神经网络作为特征提取方法,Qi et al.(2018)采用了集成ELM, Campos et al.(2014)使用了ANN。这两篇论文使用多数投票策略作为最终的预测算法,因为使用了几个单独的人工神经网络,并且它们的结果是合并的。

对于本节所述的拟议回归系统,将调查它们的性能,并根据它们使用的不同评价指标进行比较。

由于与分类组相同的原因,回归组中使用RMSE的论文数量相对较少。除了Y. Li et al.(2019)使用RSS以外的多个传感器的混合信号外,其余均仅基于WiFi RSS信号。具体而言,Y. Li等人(2019)采用RSS来估计位置不确定性,并进一步将这些结果与惯性传感器的航位推算(DR)解相结合,通过扩展卡尔曼滤波(EKF)来估计用户的位置。我们尝试了多种神经网络,15个系统中有8个使用了人工神经网络,2个使用了DBN,其他系统使用了混合深度学习方法,包括人工神经网络与SDAE、CNN与RNN与MDN、ANN与CNN与AE、AE与ANN的组合。

为了比较,本文分为两组:一组使用单个神经网络,另一组使用混合深度学习方法,采用多个神经网络进行特征提取。用RMSE测量的性能箱线图如图15所示。W. Zhang等人(2016)给出了最好的性能,其定位的RMSE为0.339 m。W. Zhang等人(2016)采用了结合DNN和SDAE的混合方法,其中SDAE用于DNN的预训练,然后使用粗定位器和基于hmm的精细定位器进行最终估计。这里的深度学习方法是用于特征提取和特征分类。令人惊讶的是,基于rss的室内定位系统的均方根误差可以达到亚米级的精度。第二好的是Soro和Lee(2018),它使用多个人工神经网络实现了1.39 m的RMSE。所有封面论文的平均RMSE为4.18 m。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第14张图片

图15。箱线图显示了使用深度学习作为特征提取方法的系统的RMSE结果。从图中可以看出,使用多个神经网络可以提高WiFi室内定位系统的RMSE结果。例如,W. Zhang等人(2016)使用DNN和SDAE相结合的方法从输入数据中提取特征,给出了0.339 m的最佳RMSE。

使用MDE作为评价指标的论文数量达到50篇,这为进行更全面的比较提供了机会。将比较采用不同深度学习特征提取方法的系统的性能,并研究使用不同WiFi信号作为输入的效果。

一般结果通过比较具有顶级回归性能的系统的CDF图来证明(参见图16)。如CDF图所示,基于CSI的系统在98%以上的情况下可以产生小于2米的距离误差。另一方面,使用RSS的系统在98%以上的情况下产生小于3米的距离误差。这些结果表明,使用CSI信号的系统比使用RSS信号的系统可以获得更稳定和准确的定位性能。虽然基于rss的系统在50%的情况下可能得到小于0.5 m的距离误差,但其估计偏差较大,导致其性能不如基于csi的系统可靠。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第15张图片

图16。基于不同WiFi信号的室内定位系统对比基于csi的系统比基于rss的系统具有更好、更稳定、更准确的定位估计。

为了进一步研究定位结果,图17显示了不同类型输入的MDE箱形图,其中基于csi的室内定位系统比基于rss的系统具有更稳定的预测。值得注意的是,基于rss的系统的MDE中位数低于基于csi的系统,基于rss的系统的平均MDE为1.96 m,而基于csi的系统的平均MDE为1.43 m。系统基于CSI图像生成了6个定位结果,MDE均值也为1.43 m。

图17。基于不同输入的覆盖系统的MDE结果的箱线图。虽然使用深度学习作为特征提取方法的基于WiFi rss的系统总体上可以获得比基于CSI的更好的结果,但其MDEs的变化更大。值得注意的是,最好的三个基于rss的系统都利用来自其他传感器(例如惯性测量单元(IMU))的信号来提高其定位稳定性。

接下来,比较采用不同神经网络的系统的MDE性能见图18。很明显,ANN和CNN的表现通常都比其他神经网络好。采用人工神经网络的室内定位系统平均误差为1.607 m,而采用CNN的平均误差为1.343 m。滤除异常值后,ANN的平均MDE可达1.188 m。“其他网络”组(即使用除ANN、CNN和AE以外的神经网络的系统)的平均MDE为1.555 m。在这些网络中,使用LSTM Hoang等人(2019)和Capsule Network Own等人(2019)的系统都达到了亚米级的精度。CNN和胶囊网络是神经网络的类型,它们使用称为卷积层的特定层从二维(如图像)的纵向数据中提取信息。转换成二维的数据也可以输入到这样的网络中。这些网络能够从数据中找到更高级的信息,因为它们将2D输入数据进行多次卷积,并使用压缩后的输出作为证据来执行位置估计。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第16张图片

图18。MDE箱线图显示了使用不同神经网络提取特征的效果。ANN和CNN的表现通常都比其他神经网络好。采用人工神经网络的室内定位系统平均MDE为1.607 m,而采用CNN的平均MDE为1.343 m。箱线图表明,与CNN相比,ANN作为一种计算成本更低的特征提取方法,能够有效地从输入数据中生成有意义的信息。

虽然室内定位系统仅使用WiFi RSS实现亚米级精度并不常见,但某些系统仍然可以通过精心修改的模型获得非常惊人的结果,例如Belmonte-Hernández等人(2019),Own等人(2019),G. Zhang等人(2019),Xue等人(2020),Hoang等人(2019),Soro和Lee(2019)和D. V. Nguyen等人(2018)。表3总结了这些系统的结果。特别是,对于使用来自RSS以外的多个传感器的信息的系统,获得亚米级精度并不困难。例如Xingli et al.(2018)的MDE为0.29 m, Belmonte-Hernández et al.(2019)的MDE为0.45 m。使用iBeacon、蓝牙低功耗(BLE)、惯性测量单元(IMU)和磁力计等多个传感器,绝对可以提高性能。有关这些传感器的详细信息可在k.a. Nguyen等人(2021)中找到,因此将不包括在本综述中。此外,Zhao等人(2019)和T. Li等人(2018)仅使用CSI作为输入并实现了亚米级精度,其中Zhao等人(2019)使用CNN获得了0.46 m的MDE, T. Li等人(2018)使用DNN获得了0.6 m的MDE。

表3。实现亚米级MDE的基于rss的系统。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第17张图片

6.6. 使用深度学习作为特征提取方法的趋势和经验教训

WiFi室内定位系统采用深度学习作为特征提取方法,可以产生稳定的预测结果。在本节中,研究论文倾向于更多地使用RSS,特别是用于楼层预测。使用多数投票策略的多个人工神经网络可以在所有同行论文中获得最佳的地板预测性能。对于回归室内定位系统,50个结果中有32个来自rss系统,而基于csi的定位结果只有18个。由于易于访问,RSS在这个领域似乎仍然更受欢迎。为了获得更稳定和准确的定位估计,CSI显然是更好的选择。然而,某些使用RSS的系统也可以达到亚米级的精度,如果使用改进的深度学习方法来提取特征。有趣的是,利用多个传感器的基于rss的系统可以获得比基于csi的系统更好的性能。这些结果清楚地表明,来自多个传感器的不同信号的组合可以极大地提高基于rss的室内定位系统的性能。考虑到IMU和磁力计等传感器是智能手机上常见的集成传感器,基于多传感器的系统(例如y.b. Bai等人,2016;Xingli等人,2018)在不久的将来可能更容易在智能手机上实施和普及。就神经网络类型而言,人工神经网络在特征提取方面足够高效。另一方面,对于WiFi室内定位系统来说,CNN是一个更好的选择,因为它的卷积层可以更好地从二维数据中提取层次特征,从而获得更有希望和准确的定位估计。如果计划使用CNN作为提取方法,则需要将输入数据修改为二维数据,并且CNN的计算成本比ANN高。这些事实使得CNN比ANN更难实现。

 7.基于深度学习的WiFi室内定位解决方案

本节回顾了那些使用深度学习直接预测用户或物体位置的WiFi室内定位系统。与前一节不同,这些系统将只使用定位效率评估指标进行比较,包括命中率、MDE、RMSE和CDF。

本节中回顾的系统的基本结构如图19所示。对于任何直接使用深度学习作为定位解决方案的系统,输入数据在被定位算法使用之前也要进行预处理。利用深度学习方法进行位置估计,这是本节的重点。本节所涉及的深度学习神经网络可分为人工神经网络(ANN)、卷积神经网络(CNN)、自动编码器(AE)、深度信念网络(DBN)、递归神经网络(RNN)等网络。多层感知器(MLP)、深度神经网络(DNN)、反向传播神经网络(BPNN)、极限学习机(ELM)、前馈神经网络(FFNN)、判别自适应神经网络(DANN)等都归为人工神经网络。将叠置自编码器(SAE)和叠置去噪自编码器(SDAE)归为AE,将长短期记忆(LSTM)归为RNN。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第18张图片

图19所示。WiFi室内定位系统采用深度学习作为预测方法的一般过程。请注意,深度学习和神经网络之间的区别在这个图中被识别出来。而在比较中,覆盖系统所采用的所有不同的神经网络,无论是深度神经网络还是简单神经网络,仍然会进行比较。

表4比较了直接使用深度学习对用户或物体位置进行估计的WiFi室内定位系统,评估指标为MDE、RMSE、命中率和CDF。所有关于系统的信息都是直接从论文中获得的,缺失的条目表明论文没有提供具体的信息。更详细的比较将在7.4节中讨论。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第19张图片

7.1 ANN

Koike-Akino等人(2020)提出了一种使用相对不同的WiFi信号-空间波束信噪比(SNRs)的系统。与细粒度CSI和粗粒度RSS相比,它是WiFi的中粒度测量。系统利用波束信噪比形成指纹数据库,并在数据库上实现了ANN(一种改进的ResNet),如图20所示。输入是波束信噪比,其中包含波束训练阶段使用的毫米波WiFi信号的空间传播路径的丰富信息。然后将波束信噪比传递到3个残差块,其中从输入到输出有捷径以保持残差梯度。波束信噪比和残块的结合保证了WiFi室内定位系统稳定性和精度的提高。三个主要任务:位置分类、位置与方向分类和坐标预测。试验台由6个办公室和8个小隔间组成,在繁忙的时候摆满了家具。3 ap沿通道的固定位置按特定方向固定。数据收集工作在7个地点进行。该系统实现了100%的正确位置预测和99%的同时定位和方向分类精度。直接坐标估计的系统均方根误差达到11.1 cm。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第20张图片

图20。Koike-Akino等人(2020)提出的神经网络架构。“BN”表示批处理归一化,这是一种深度学习方法,用于规范化数据。该网络利用残差块来保持输入数据的残差梯度,并根据不同的输出层进行仅定位分类、同时定位和方向分类以及直接坐标估计。

Xingli et al.(2018)认为室内定位任务是一个回归问题。为了提高坐标预测精度,考虑了多源数据的融合。作者在他们的数据库中使用了地磁数据、iBeacon信号和WiFi RSS信号。所有多源数据都传递给rbm初始化的ANN(具体来说是DNN)。除了使用交叉验证和网格搜索对神经网络进行微调外,还使用卡尔曼滤波(KF)对预处理后的数据进行平滑处理,以简化输入并保留重要信息。试验台由两个相连的124平方米的房间组成。选择一条清晰的用户运动轨迹,沿途有15个参考点,每个位置收集1300组数据。结果表明,采用深度神经网络和卡尔曼滤波的系统平均距离误差为0.29 m,最大位置误差为1.59 m,位置误差在1 m以内,概率为96.33%。相比之下,其他机器学习方法在同一试验台上通过二次判别分析得到的最佳MSE为1.26 m。RSS系统实现如此小的MDE是令人惊讶的。在一些特定的测试平台中使用多源数据可以大大提高室内定位系统的回归精度。

7.2 CNN

Sinha和Hwang(2019)提出了一种基于CNN的系统,利用WiFi RSS信号的图像表示进行室内定位。其主要思想是将RSS信号转换为二维图像,并利用神经网络对图像进行处理。试验台设置了74个参考点,收集了256个ap的RSS信号。在单个参考点收集的256个RSS测量值被转换成16 × 16的图像,如图21所示,其中的光点表示可以在当前参考点接收到来自这些ap的RSS值。在预处理过程中,通过简单地促进增强和利用平均值和均匀随机数向数据集中添加信息来丰富输入RSS数据(参见Sinha & Hwang, 2019)。然后提出了一个六层神经网络来预测用户所处的参考点,如图22所示。与AlexNet、ResNet、ZFNet、Inception v3、MobileNet v2等现有CNN模型相比,本文系统的定位精度为94.45%,MSE为1.44 m。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第21张图片

图21。从RSS信号到二维图像数据的转换。每张16 × 16灰度图像由256个RSS信号转换而成。图像中像素的亮度表示相应的RSS有多强。图像中的黑点表示无法接收到来自相应ap的RSS。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第22张图片

图22。Sinha和Hwang的CNN架构(2019)。该神经网络包含4个卷积层和全连接层来进行分类。

C. H. Hsieh et al.(2019)比较了不同神经网络(1D-CNN和MLP)和不同输入(CSI和RSS)的几种组合,讨论了在使用1D-CNN作为预测方法的同时,基于CSI的最佳系统。神经网络的架构如图23所示。这个1D-CNN不同于一般的CNN,因为1D-CNN的卷积层只有一维小滤波器,处理的是一维数据而不是二维图像数据。由于原始CSI数据是1D数据,因此使用这种1D- CNN是合适的,既保证了系统的准确性,又降低了高昂的计算成本。利用从CSI中提取的信息来确定用户位置。试验台是一个13.82米× 8.58米的房间,里面充满了障碍物。共收集了251,388个CSI测量值,其中90%用于训练,其余用于测试。作者将房间分成16个区域,并使用该系统预测用户所处的确切街区。为了研究该系统的稳健性,我们选取了3名不同体型的测试者参与实验。结果表明,基于1D-CNN和CSI数据的系统最大误差为0.92 m,概率为99.97%。然而,由于试验台的尺寸较小,需要使用大型公共数据集对系统进行进一步验证。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第23张图片

图23。C. H. Hsieh等人(2019)的1D-CNN架构。

7.3 AE

Kim, Wang等人(2018)提出了一种基于堆叠自编码器(SAE)和人工神经网络的系统来估计用户所在的建筑物和楼层。该系统将位置估计视为多类分类估计。然而,它不能同时预测单个样本的目标建筑和地板水平。相反,它分别估计建筑物、楼层和位置,如图24所示。因此,室内定位系统采用了多个分类器。输入的RSS数据由SAE进行降维和噪声过滤。预处理后,RSS数据的层次特征被输入到不同的分类器中,用于建筑、楼层和位置预测。对于建筑物和楼层的预测,该系统的建筑物命中率达到99%,楼层命中率达到93.429%。对于楼层位置估算,试验台位于西交利物浦大学校区EE大楼四层。在收集了4000多个RSS指纹的环境中设置了大约200个ap。楼层位置估计精度达到97.198%。然而,当将相同的系统应用于公共WiFi数据集UJIIndoorLoc时,楼层定位精度低于70%。作者认为这是由于公共数据集中的位置数量和相应指纹的接近程度要大得多。由于声发射主要用于降低数据的维数复杂度和噪声,因此如何提高声发射在复杂环境下的室内定位性能一直是研究人员面临的挑战。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第24张图片

图24。Kim、Wang等人(2018)提出的深度神经网络结构。该系统将多标签分类问题视为多类分类问题。由于它通过不同的输出层来预测建筑物、楼层和位置,因此系统具有可扩展性和灵活性,可以在不同的室内定位场景中轻松实现。

7.4. 采用深度学习作为定位估计方法的系统性能比较

在本小节中,我们将比较使用深度学习方法直接预测用户位置的WiFi室内定位系统的性能。将室内定位系统分为两组,将定位问题作为回归问题的系统和将定位问题作为分类问题的系统。在回归组中,所有系统将根据其MDE和RMSE进行比较,而在分类组中,将使用地板命中率和区域命中率。这里考虑了42个分类系统和58个回归系统。值得注意的是,有一些系统执行两种类型的定位问题,将在两组中进行比较。首先对分类算法进行分析,然后对回归算法进行详细的比较。

对于楼层floor-level室内定位系统,RSS是所有覆盖论文的常见输入类型。因此,重点将放在不同的神经网络上。根据所使用的主要神经网络类型,将系统分为5组。它们是使用ANN、AE、Hybrid AE、DBN等网络(即CNN、RNN、LSTM)的系统,其平均楼层命中率分别为90.81%、93.60%、94.89%、94.45%和93.40%(见图25)。从图25可以看出,虽然ANN和DBN的方差相对较高,但它们在底层预测中的表现相对较好。事实上,在楼层命中率超过98%的前5个楼层预测系统中,有3个应用了人工神经网络(Alitaleshi et al., 2020;Ding et al., 2008;He et al., 2016),一个系统(He et al., 2016)使用DBN,一个系统(h.y. Hsieh et al., 2018)使用LSTM。

1.40 基于WiFi的室内定位深度学习方法综述(2)_第25张图片

图25。箱线图显示了使用深度学习作为预测方法的系统的楼层命中率结果。这些论文根据它们使用的主要神经网络类型进行分组。从箱线图中可以看出,ANN和DBN在地板水平预测方面表现较好,但两组的方差相对较高。准确率在98%以上的前5个楼层预测系统中,有3个采用了人工神经网络。

更精确的定位方法是将用户定位到预设的网格或位置。如前所述,不同的研究人员在他们的测试平台中使用了不同的术语。为了公平地比较系统,术语“区域”用于描述这些系统的目标类别或位置,无论它是网格,块还是区域。然而,不同系统中使用的区域大小从1米× 1米到一个房间不等。因此,箱线图中表示的结果可能无法提供所有区域预测系统的全面视图。由图26可以看出,CSI在区域预测设置中比RSS信号甚至混合RSS输入信号(即WiFi RSS与其他传感器测量相结合)具有更好、更稳定的性能。所有覆盖论文的总体平均区域命中率为83.44%,而基于rss的混合系统的平均区域命中率为77.89%,基于rss的系统为82.59%,基于csi的系统为91.83%。

使用不同神经网络的区域预测系统的性能比较如图27所示。基于ANN的系统的平均区域命中率为79.16%,基于CNN的系统为83.43%,使用其他神经网络(如AE、RNN和反传播网络(CPN))的系统为91.18%,使用混合网络(如GAN+ANN、ANN+AE或CNN+LSTM)的系统为89.19%。然而,对于基于cnn的系统,如果过滤掉异常值,平均区域命中率将达到93.26%。从箱线图可以看出,对于区域预测任务,CNN通常是更好的选择。

8.结论与未来展望

本文回顾了150多篇将深度学习应用于WiFi室内系统的相关研究论文。这些论文被分为两类。第一种是采用深度学习方法作为WiFi室内定位的特征提取方法。第二种方法是在处理WiFi信号时使用深度学习模型作为回归器或分类器。在每个类别中,分别对系统进行比较,然后分析应用不同神经网络和输入的效果。我们设计了一组性能指标来评估这些系统,包括命中率、平均距离误差、均方根误差、累积分布函数、复杂性(即隐藏层的数量)和测试时间。

为了回答研究问题“什么是室内定位系统最准确的WiFi信号测量?”,我们的研究表明,RSS仍然是一种相对有用的技术,可以作为系统输入来进行定位估计,而CSI的平均估计要准确得多。在所有利用RSS的系统中,有些系统可以达到亚米级精度,而大多数系统可以达到米级精度。使用来自IMU和磁强计等其他传感器的信号可以显著提高基于rsss系统的亚米级定位性能。CSI信号可以为亚米级定位提供更稳定和丰富的信息,但硬件的限制使其更具挑战性。因此,将WiFi RSS信号与多传感器信号相结合可能是WiFi室内定位的一个潜在研究方向。新发布的WiFi RTT技术是实现亚米级精度的一个有吸引力的选择。然而,目前文献中还没有足够的结果来得出结论。

对于研究问题“基于wifi的室内定位系统最有效的神经网络是什么?”,像ANN和DBN这样的神经网络更简单,性能精度也可以接受,而CNN要复杂得多,对计算资源的需求也更高,但效果更好。考虑到未来大多数室内定位用户越来越依赖智能手机,因此寻求易于在此类设备上实现的WiFi室内定位系统是明智的。值得注意的是,尽管智能手机有多个传感器的集合,但它们的计算能力是有限的。因此,在不久的将来,提出一个基于RSS和来自多个传感器的信号的系统,同时使用简单的神经网络(例如ANN和DBN)可能是一个很好的选择。如果系统将使用远程服务器在线执行位置估计,则可以减轻这些限制。在这种情况下,具有最佳特征提取能力的CNN应该是未来WiFi室内定位系统的最佳解决方案。

你可能感兴趣的:(深度学习,人工智能)