基于可见光通信的室内定位与导航及物联网应用

本人从2014年起从事可见光通信（Visible Light Communication, VLC）相关研究，主要包括：基于光电二极管（PD）、图像传感器（camera）的高精度可见光定位算法(Visible Light Positioning, VLP)、基于可见光通信的移动机器人定位与导航、成像可见光通信（Optical Camera Communications, OCC）、基于可见光通信的物联网（Internet of Things, IoT）应用、水下可见光通信等。

本博文为本人在可见光通信领域的工作及系列demo的总结。本人一直希望能促进可见光通信技术的进一步发展及产业化落地，希望能遇到更多从事可见光通信的朋友，多交流、合作。也希望此博客可以给大家一些motivation，共同促进行业的发展

特别鸣谢：华南理工大学-发光材料与器件国家重点实验室-文尚胜教授、华南理工大学-创新创业孵化基地、及R&C工作室历年学生的共同努力。

科研非一人之科研   As a researcher, I think there are two responsibilities: on one hand, to make a major breakthrough in my own research field; on the other hand, to vigorously cultivate a large number of talents in this professional field.

目录

项目演示

基于可见光通信的移动机器人定位与导航

基于可见定位的人机交互

基于可见光通信的物联网应用

实时LiFi通信及通显一体化系统

基于可见光通信的室内定位

可见光成像通信 (OCC)

代表性论文

已授权的可见光通信相关发明专利

更多关于可见光通信的介绍

---

项目演示

基于可见光通信的移动机器人定位与导航

下面演示为：本人受邀IEEE Photonics Journal Club session做的基于可见光通信的移动机器人定位与导航的讲座。

受邀出席IEEE Photonics Journal Club

下面演示为：本团队搭建的基于移动机器人的可见光通信与激光雷达融合定位系统，该系统在光通信顶会2022 Conference on Lasers and Electro-Optics (CLEO) 上做展示。

2022 CLEO Demo

下面演示为：本人给香港科技大学搭建的，基于可见光通信的移动机器人定位系统，该系统在光通信顶会2021 Optical Fiber Communication Conference and Exhibition (OFC) 上做展示。

本系统多次参与各类比赛与展示。最初搭建于2018年，参加《华南理工大学第十六届“挑战杯”大学生课外学术科技作品竞赛》并获终审决赛一等奖。其后，代表华南理工大学参加《2019年广东省第十五届“挑战杯”大学生课外学术科技作品竞赛》的作品，并获得广东省决赛的特等奖（请见下一演示）。同年，获《第五届中国“互联网+”大学生创新创业大赛》广东省决赛铜奖。2020年，本人将本系统引进华为，在公司内部进行展示。此后，本人再带到香港科技大学，同时把技术无偿给团队去进行各类产业化及科研应用。本系统亦曾连续两年（2020与2021）入选OFC Demo Zone。

PS：HKUST某团队的leader想霸占此技术（学术霸凌），强迫本人交出在华工期间开发的代码，本人拒绝，就反咬我曾经的demo图片的背景是他的公司场地，属于侵权，同时以美国人姿态侮辱我们中国人。故本人离开该团队。虽然后来此人求我回去（“still can offer***, if you help my company to do ***”），但士可杀不可辱！

2021 OFC Demo

一种具有通信与定位功能的智能LED灯具及其机器人定位系统——2020神灯奖申报技术 - 新品发布 - 阿拉丁-网上光亚展

下面演示为：我们搭建的世界首套基于移动机器人的可见光定位系统。该系统虽然比较简漏（机器人同一时刻需要观察到至少两个LED，且覆盖LED数、高度均有限），但却是我们团队所搭建的移动机器人可见光定位与导航的原型体。此作品算是我们团队承上启后的工作，既涵盖了数年在可见光定位领域的积累，而后续大量工作基本都是基于此系统进行了LED-ROI Tracking、LED-ID detection、VLP算法层面的改进。

广东省第十五届“挑战杯”大学生课外学术科技作品竞赛决赛特等奖

此作品荣获广东省第十五届“挑战杯”大学生课外学术科技作品竞赛决赛特等奖（全省116所参赛高校，共有1260项作品获奖，其中特等奖126项、一等奖191 项、二等奖245 项、三等奖698 项），此处展示当年的展板及查新报告。

下面演示为：我们实现的基于LiDAR-SLAM及VLP的高精度机器人定位系统，在大小的场景下，仅仅通过4盏LED即可实现2cm左右的定位误差，且场景会有遮挡等情况。进一步地，此工作结合了障碍物检测及路径规划等算法，真正意义上的实现了高精度定位与导航功能。

Multi-sensor fusion for VLP-SLAM localization and navigation

下面演示为：我们提出的基于RGB-D camera，轮式里程计以及VLP的多传感器紧耦合SLAM系统，该系统在实现高精度的可见光定位的同时，可以构建环境的地图（3D点云地图及LED-landmark地图）。

对于可见光定位而言，目前的工作均需要预先知道LED在环境中的位置（所谓的LED-ID识别就是通过VLC解码获取LED在世界坐标系下的位置）。但是对于大场景而言，如场景中有1000个LED，人为记录及测量这些LED的位置是非常的不现实的，为此我们提出的方法可以有效解决这一痛点。在实现高精度定位的同时，实时的记录及构建LED-landmark的地图，LED的位置无需预先知道，自动的把LED-ID序号与地图位置相关联，同时通过多传感器紧耦合进行联合优化提高定位与建图的精度。

Tightly-coupled SLAM for the VLP Landmark, Wheel Odometer and RGB-D camera

基于可见定位的人机交互

下面演示为：基于ROS-Android交互框架，开发了一款安卓APP，可实现基于可见通信的机器人与行人同时定位。

通过可见光定位分别实现机器人与手机的高精度定位，同时基于ROS-Android交互框架，实现机器人与手机之间的位置共享。

人机交互

基于可见光通信的物联网应用

下面演示为：我们自主研发的基于可见光通信的光二维码应用。可通过APP扫灯接入链接，实现猜灯谜、信息接入等。

该系统亦在团队的广东省光电技术协会作科创分享：【科普作品】一盏有故事的月球灯

具有信息的“月亮”——光二维码

下面的演示为：我们自主研发了基于蓝牙调控的可见光调制驱动芯片，可通过手机APP用蓝牙直接改变LED灯具的VLC编码，而不同的编码对应不同的网络接口。通过另外一台手机的APP扫灯具，实现光二维码扫码接入不同的网页。

蓝牙+VLC物联网应用

下面的演示为：基于可见光通信的光二维码技术，扫灯接入网页。

光二维码

实时LiFi通信及通显一体化系统

下面演示为：我们测试战略合作伙伴（深圳华创芯光科技有限公司）的LiFi产品。该系统可以实现实时的LiFi上网。如有需求，欢迎私信商业合作。

实时LiFi通信

下面演示为：我们团队与深圳利亚德光电有限公司合作的广东省科技计划项目（500万资助项目）《高带宽微芯片覆晶封装小间距显示器件开发与产业化》，项目主要探索了通信与显示器件相结合（通显一体化）的可见光通信系统。

项目简介：本项目开发了一种具有高带宽小间距的显示阵列器件。采用深沟槽蚀刻技术与新型覆晶技术对LED芯片的精确切割和小间距封装，制作出高清晰度的微型显示器件；同时，通过对芯片内部进行材料改性与结构优化实现芯片的高光效与高带宽；最后，设计出双重调制信号，实现显示器件通显一体化。

基于可见光通信的室内定位

下面演示为：仅仅基于一盏LED即可实现高精度可见光定位，与此同时，与PDR (Pedestrian Dead Reckoning) 相结合，在没有LED覆盖的区域（LED短缺或NLOS问题）仍然可以实现定位，而当检测到至少一盏LED时，即可实现PDR位置的矫正。

单灯VLP+PDR

下面的演示为：基于可见光通信的同时定位与校正算法。在实现高精度室内可见光定位的同时，可以矫正手机摄像头的参数，进一步提定位系统的稳定性与精度。虽然也是需要camera至少观测到两盏LED，但无需借助角度等传感器即可实现倾斜三维定位（六自由度定位）。

同时定位与相机参数校正

下面的演示为：我们自主开发的可见光室内定位App，该算法可实现倾斜状态下的可见光定位（基于两盏LED灯）。

可见光倾斜定位

下面演示为：基于可见光通信的室内定位及基于不同位置的信息推送。主要演示demo为视频的后半段，通过PDR+VLP融合，在无LED的区域通过PRR进行定位，而检测到LED时，通过基于VLP的临近法进行粗定位（与前面提到的单灯定位算法不同，此处仅仅采用临近法定位）。看到在不同的LED灯下，通过VLC接收信号，实现基于位置信息的服务（location-based service），进而实现基于不同的位置给用户推送不同的信息。

基于可见光通信的室内定位及信息推送

可见光成像通信 (OCC)

下面演示为：我们搭建的水下可见光成像通信系统，该工作发表于2021年光通信顶级会议 Optical Fiber Communication Conference and Exhibition (OFC)。

2021 OFC Demo 

下面演示为：本团队搭建的，实时可见光成像通信系统(基于C-OOK调制)。

实时可见光成像通信

代表性论文

• Guan, W., Huang, L., Wen, S., Yan, Z., Liang, W., Yang, C., & Liu, Z. (2021). Robot localization and navigation using visible light positioning and SLAM fusion. Journal of Lightwave Technology, 39(22), 7040-7051.
• Guan, W., Chen, S., Wen, S., Tan, Z., Song, H., & Hou, W. (2020). High-accuracy robot indoor localization scheme based on robot operating system using visible light positioning. IEEE Photonics Journal, 12(2), 1-16.
• Guan, W., Huang, L., Hussain, B., & Yue, C. P. (2021). Robust robotic localization using visible light positioning and inertial fusion. IEEE Sensors Journal, 22(6), 4882-4892.
• J. Chen, D. Zeng, C. Yang and W. Guan, "High Accuracy, 6-DoF Simultaneous Localization and Calibration Using Visible Light Positioning," in Journal of Lightwave Technology, vol. 40, no. 21, pp. 7039-7047, 1 Nov.1, 2022, doi: 10.1109/JLT.2022.3198649.
• Yan, Z., Guan, W., Wen, S., Huang, L., & Song, H. (2021). Multirobot cooperative localization based on visible light positioning and odometer. IEEE Transactions on Instrumentation and Measurement, 70, 1-8.
• Huang, L., Wen, S., Yan, Z., Song, H., Su, S., & Guan, W. (2021). Single LED positioning scheme based on angle sensors in robotics. Applied Optics, 60(21), 6275-6287.
• 基于图像传感器的高精度室内可见光定位算法研究 - 中国知网
• 本人所发表的论文详情及获取，请见：Google Scholar  或 SCI-Hub

希望有更多小伙伴一起学习交流，也希望多多引用我们的工作

已授权的可见光通信相关发明专利

专利详情及原文的获取，请见PatentGuru，SooPAT，中国知网或Google Patents

1. 基于关键帧选取的可见光定位与深度相机的紧耦合方法
2.  基于卷积神经网络的自编码算法
3. 一种基于ROS系统的机器人室内可见光定位导航方法和装置
4. 基于粒子滤波器的移动机器人多传感器融合定位方法
5. 基于双重调制技术的可见光通信方法及其可见光通信系统
6. 一种基于神经元网络的可见光通信接收方法及其系统
7. 一种基于CDMA调制的RSS三角定位迭代方法及系统
8. 基于CDMA调制的可见光通信定位方法及其定位系统
9. 一种基于光二维码的多址接入方法及其可见光通信系统
10. 一种基于粒子群优化的高精度可见光定位方法及系统
11. 基于脉冲振幅调控的可见光通信方法及其可见光通信系统 
12. 基于VLC‑Zigbee融合通信技术的自助打印系统
13. 基于可见光通信技术的电梯轿厢信息传输系统
14. 基于VLC与IMU的粒子滤波融合定位方法
15. 一种较高精度可见光室内机器人定位装置
16. 一种基于模糊效应的视觉可见光通信检测方法
17. 基于区域匹配算法的ITS-VLC信源检测方法
18. 一种基于光流法检测与贝叶斯预测的可见光动态定位方法
19. 一种基于禁忌搜索的可见光定位方法
20. 一种基于可见光室内定位的CDMA编码方法
21. 基于卷积神经网络的可见光成像通信解码方法
22. 基于粒子滤波的VLC-ITS信源追踪提取方法
23. 一种基于可见光通信的光学天线
24. 一种融合高斯混合模型和H-S光流法的视频前景目标提取方法

更多关于可见光通信的介绍

• 可见光通信介绍
• 可见光通信与可见光定位介绍及研究现状的分析
• 可见光成像通信（Optical Camera Communication,OCC）——基于IEEE 802.15.7-2018标准的解读