LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记

LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记

摘要

  • 本文设计一个轻量级的深度神经网络模型
  • 该模型可以在轻量级边缘设备运行
  • 使用更深的瓶颈 递归结构 深度可分离卷积减少了深度学习模型的大小
  • 使用斯坦福地震数据集训练
  • 对标EQTransformer 模型大小减小了87.68% 但是我们的模型的性能与EQTransformer的性能相当

INTRODUCTION

  • 传统的P/S波检测方法:STA/LTA 使用连续地震波行振幅的短期和长期平均值处理地震信号,缺点:需要出去地震监测设备的地理位置和环境造成的各种噪声
  • PhaseNet EQTransformer都是使用深度学习方法检测地震信号
  • EQTransformer使用一个编码器和三个解码器组成 他们压缩和恢复数据,使用长短期记忆网络LSTM和注意力机制连接,EQTransoformer模型输出地震和P/S波的概率统计图

LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记_第1张图片

 上图绿色虚线表示地震的概率,蓝色虚线表示P波起点,红色虚线表示S波起点

  • 尽管EQTransformer模型可以以高精度检测地震和P/S相位拾取,但是几乎不可能在配备有限计算资源的地震仪器上部署

  • LEQNET使用各种轻量级的深度学习技术,比如递归 更深的瓶颈 深度可分离卷积 来减少深度学习模型的大小,使用STEAD数据集评估系统 LEQNET不仅大大减少了参数,而且没有显著的性能下降

  • LEQNet 包括四个主要部分:使用具有循环 CNN 的深度可分离卷积的编码器,这是一种使用具有循环 CNN、剩余瓶颈 CNN 和 LSTM & Transformer 的深度可分离 CNN 的解码器

LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记_第2张图片

基线模型 EQTransformer

  • EQTransformer使用编码器、解码器、ResNet 和 LSTM 和 Transformer 设计的的结构。编码器由七个卷积神经网络 (CNN) 层组成。在地震信号方面,这将STEAD地震信号数据降低到较低维度,并允许减少模型中的参数数量

  • EQTransformer有三个解码器,ResNet有五个残差块组成,每一个残差块输出在两个线性连接的CNN层中添加输入和输出。残差的引入避免由大量的层引起的性能下降,LSTM学习编码器提取的顺序特征,该网络将地震信号的特征携带到每一个解码器

  • EQTransformer 结构总共使用 323,063 个参数的 。编码器总共使用了 34672 个参数,ResNet 使用了 109,696 个,LSTM 和 Transformer 使用了 42,372 个参数。

LEQNET用到的技术

  • LEQNet 包括四个主要部分:使用具有循环 CNN 的深度可分离卷积的编码器,这是一种使用具有循环 CNN、剩余瓶颈 CNN 和 LSTM以及 Transformer 的深度可分离 CNN 的解码器。

下图展示的每一个部分的参数量:
LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记_第3张图片

模型轻量级技术

Depthwise Separable CNN 深度可分离卷积

  • 深度卷积通过每个通道执行卷积操作提取通道特征,因此输入和输出通道包含相同数量的通道

  • 逐点卷积压缩每个通道内相同位置的数据。提取通道之间的特征,控制输入和输出之间的通道数,当CNN中的卷积操作在多个通道之间冗余执行时,深度可分离卷积减少通道之间所需要的大量计算

更深层次的瓶颈架构BottleNeck

利用多个小卷积核代替一个大的卷积核,大大减少参数量

LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记_第4张图片

  • 第一种直接使用 3 x 3卷积核 256维的输入经过卷积层,输出得到一个256的feature map 参数量:256 x 3 x 3 x 256 = 589824

  • 第二种先使用1x1 在使用3 x 3 再使用1x 1 ,参数量256 x 1 x 1 x 64 + 64 x 3 x 3 x 64 + 64 x 1 x 1 x 256 = 69632

  • 参数量大大减少!

Recurrent CNN 递归CNN

  • 递归CNN是一个重用CNN层输出的概念
  • 要使用递归CNN 输入和输出的通道数需要相等 并且核形状相同
  • 我们将递归CNN分别应用于编码器和解码器 通过重用参数减小模型的大小
  • 其中卷积层被重复使用,而不需要引入新层来获得更好的性能,由于重复使用层,因此节省了大量的参数
  • 可以降低内存访问成本(MAC),因为重用的层参数只能获取一次

论文:

Convolutional Neural Networks with Layer Reuse

LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记_第5张图片

LEQNET

  • 从STEAD采样的50000组地震数据和噪声数据学习了一个检测模型,并且将学习过程重复了十个周期
  • 地震探测概率以及P和S相位拾取的阈值设置为探测概率=0.5、 P = 0.3和S=0.3 对标EQTransformer

结构

  • 深度可分离卷积 应用于特征压缩和解压缩步骤中的编码器和解码器
  • 更深的的瓶颈
  • 递归CNN 由于只获取一次参数 大大降低了内存访问时间和减小模型

LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记_第6张图片

  • LEQNET中的编码器和解码器由四层 BottleNeck由四层,编码器的输出通道数是32,和输入通道数相似,EQTransformer是64

模型尺寸减小

 LEQNet通过轻量级技术大大减少了参数数量和计算时间,和EQTransformer相比较,本研究的LEQNet的参数数量减少了88%。计算浮点运算的数量从79687040减少到5271488。与EQTransformer相比,这些结果将模型大小减少了约79%(4.5MB减小到0.94MB)

性能比较

  • 将LEQNet对比其他方法EQTransformer PhaseNet Yews STA/LTA方法
  • LEQNet和EQTransformer的F1得分几乎差不多
  • LEQNet在P震相拾取的时候比PhaseNet高0.02分,在S震相拾取的时候高0.03分

LEQNet: Light Earthquake Deep Neural Network for Earthquake Detection and Phase Picking 论文阅读笔记_第7张图片

讨论

  • 与EQTransformer相比,CNN层中的参数数量减少了87.68%,模型的优化是通过应用深度可分离卷积和递归CNN来实现
  • 减少ResNet中输出通道的数量也有助于减少LEQNet中的参数数量,但是当编码器和解码器中的一些参数减少时,性能下降,为了解决这个问题,模型中是用来更深层次的瓶颈架构EQTransformer,这增加了LEQNet的信息密度和Netscore

你可能感兴趣的:(人工智能,#,深度学习入门,#,论文,论文阅读,笔记)