By 超神经
场景描述:新冠肺炎在全球的发展态势依然不见好转。韩国近日又出现反弹,近 7 日新增患者累计达到 1576 例,今日新增 288 例。韩国科学技术院的团队,开发出了一款基于深度学习的咳嗽识别模型,为及早发现新冠肺炎患者提供帮助。
关键词:咳嗽识别模型 CNN 深度学习
今年因新冠疫情防控需要,非接触式检测技术迅速落地。想必你已经见过各种各样的测温枪,比如额温枪、耳温枪、AI 红外测温仪等等。
除了发热,咳嗽也是新冠肺炎的主要症状之一。不过目前,尚未有针对咳嗽的非接触式检测方式。
近日,韩国科学技术院(KAIST)的一个研究组,则针对这一需求,开发了一个基于深度学习方法的咳嗽识别模型,以便及时发现新冠疑似病例。
韩国疫情复燃,近一周新增过千
眼下 2020 年已经过去了大半,但新冠病毒似乎还没有要收场的意思,全球每日新增确诊仍多达数十万。近期韩国、德国、日本等国家的疫情还出现了反弹。
据报道,韩国单日新增病例从 8 月 14 日起至 20 日,7 天累计确诊 1576 例,仅 20 日就新增 288 例。
韩国防疫官员甚至用「恐怖的速度」形容当前疫情态势
韩国的教会、餐厅、学校等公共场所的感染风险随之增大。韩国接下来又将面临一场紧张的防疫战,目前各场所已加强管控措施。
「早发现」,是疫情防控的第一步。对此,韩国科学技术院研究小组认为,目前非接触式的体温检测工具已经比较完善,但对于咳嗽症状,还没有此类检测方法。
为了及时发现新冠肺炎患者,同时减轻医务人员的工作负担,韩国科学技术院机械工程系的朴教授(Park Yong-Hwa)团队,开发出了一种基于深度学习的咳嗽识别模型,对咳嗽声进行实时分类。
除了对咳嗽进行实时分类,该模型还能识别出
咳嗽者的位置并将其可视化
该研究小组预计,咳嗽识别模型将用作医疗设备,可以在拥挤的公共场所检测传染病的流行情况,或在医院中随时监控患者的状况。
谁在咳嗽?这个模型一听一个准
该咳嗽分类模型与摄像机相结合,可以实时识别公共场所的咳嗽声、咳嗽者的位置以及咳嗽次数,还能实时将其可视化。
研究小组表示,他们的最佳测试准确度达到了 87.4% 。
基于卷积神经网络的咳嗽识别模型结构
为了开发该咳嗽识别模型,朴教授团队使用卷积神经网络(CNN)进行了监督学习。
该方法通过多层数据过滤来提取特征,并得出最接近的值。他们使用了「音频集」作为训练和评估的数据,「音频集」是 Google 和 YouTube 用于研究的开放音频数据集。
该模型最终通过输入一秒钟的声音轮廓特征,来执行二元分类(binary classification),然后生成咳嗽事件或其他的输出结果。
具体研究过程分为以下三个部分:
第一步:收集数据集
在训练和评估过程中,团队从 Audioset,DEMAND,ETSI 和 TIMIT 收集了各种数据集。
他们从 Audioset 中提取咳嗽声和其他声音,并将其余数据集用作背景噪声进行数据增强,以便该模型可以推广到有各种背景噪声的公共场所。
为了让咳嗽识别模型学习各种背景噪音,研究人员通过将背景噪声以 15% 至 75% 的比率混合到「音频集」中,并将音量调整为 0.25-1.0 倍来训练计算机。
第二步:模型优化,组合训练
在网络模型的优化过程中,朴教授团队使用 7 个优化器,对频谱图、mel -scale 谱图(梅尔缩放频谱图)、Mel-frequency (梅尔频率)倒谱系数等 5 种声学特征,进行了各种组合的训练。
用于训练咳嗽识别模型的声学特征的示例
然后将每种组合的性能与测试数据集进行比较,使用梅尔刻度频谱图作为声学特征,使用 ASGD 作为优化器,测试精度最高可达 87.4%。
第三步:结合声像摄像头,实现实时追踪
将训练好的咳嗽识别模型,与声像摄像头结合在一起。
咳嗽识别摄像机外观与信号处理框图
摄像头由麦克风阵列和摄像头模块组成,会对采集的一组声学数据进行波束形成处理,以确定传入声源的方向。
接着,咳嗽识别模型来确定声音是否为咳嗽声。如果是,则将咳嗽的位置可视化为视频图像,并在视频图像中,咳嗽声源的位置标上「咳嗽」(cough)标签。
团队在办公室进行测试,但是看起来
有种根据捂嘴动作来识别的错觉
研究团队发现,即使在嘈杂的环境下,该模型也能成功地识别出:咳嗽和其他声音。
如果在诸如医院、教室之类的环境中进行更多的训练,准确性还会更高。这项技术目前已经得到了韩国能源技术部门的支持。
朴教授说:「在像 COVID-19 这样的疫情之下,咳嗽检测摄像头有助于预防和及早发现公共场所的流行病。特别是应用到医院病房时,可以跟踪患者的病情一天 24 小时不间断,支持更准确的诊断,同时减少了医务人员的工作量。」
研发团队主要成员。朴教授(左一)称,这项技术
有望在非接触式的疫情检测中发挥重要作用
不过,话说回来了,发烧的标准很清晰,体温超过 37.3℃ 就视为发烧。
但咳嗽却有好多种类型,干咳、湿咳、风寒咳嗽、风热咳嗽、清嗓的咳嗽、为了缓解气氛的尬咳……
希望这个模型能够继续深入研究,判断出不同类型的咳嗽,或者结合体温测量。毕竟就算是健康人群,也会偶尔咳嗽两声嘛。
看到这里,不如清清嗓子吧
参考资料:
https://news.kaist.ac.kr/news/html/news/?mode=V&mng_no=9310&skey=keyword&sval=%EB%94%A5%EB%9F%AC%EB%8B%9D&list_s_date=&list_e_date=&GotoPage=1
—— 完 ——
扫描二维码,加入讨论群
获得更多优质数据集
了解人工智能落地应用
关注顶会&论文
回复「读者」了解详情
更多精彩内容(点击图片阅读)