超分之RCAN
- Image Super-Resolution Using Very Deep Residual Channel Attention Networks
- 使用非常深的残差通道注意力网络的图像超分辨率
- In: ECCV. (2018)
- Zhang, Y., Li, K., Li, K., Wang, L., Zhong, B., Fu, Y.
链接：
- 原文
- 知云解读
- 原文代码
摘要
- 首先说明了为什么更深的网络对SR是更难训练的？
- 因为低分辨率的输入和特征包含丰富的低频信息，这些信息在通道之间被平等对待，从而阻碍了 CNN 的表示能力。
- 然后提出了RCAN（the very deep residual channel attention networks）：
- 提出了一种==RIR(residual in residual)==结构，来形成非常深的网络：
- RIR由多个具有长跳跃连接（LSC）的残差组（RG）组成：
- 每个GP中，包含一些具有短跳跃连接（SSC）的残差块(RB)。
- RIR允许多个跳跃连接绕过丰富的低频信息，使网络专注于学习高频信息。
- RIR由多个具有长跳跃连接（LSC）的残差组（RG）组成：
- 提出了一种==CA(channel attention)==机制：
- CA通过考虑通道之间的相互依赖性，来自适应地重新调整通道特征。
- 提出了一种==RIR(residual in residual)==结构，来形成非常深的网络：
- 最后通过大量实验表明，RCAN达到了SOTA，实现了更好的准确性和视觉改进。
1 引言
- SR问题通常是指SISR、并且应用广泛、是一个不适定性问题：
- （任何LR图像输入都存在多种解决方案，因此提出了许多基于学习的方法来学习LR和HR图像对之间的映射）。
- 简单介绍了CNN用于SR问题的发展历程，来表明网络深度对SR的有效性：
- Dong等人首先引入了用于图像SR的三层CNN，提出了SRCNN。
- Kim等人在VDSR和DRCN中将网络深度增加到20层。
- 在He等人提出残差网络（ResNet）后，这种有效的残差学习策略被引入到许多其他基于 CNN 的图像 SR 方法中。
- Lim等人通过使用简化的残差块构建了一个非常宽的网络（EDSR）和一个非常深的MDSR（大约165层）。
- 说明当前的基于CNN的SR技术的缺点：
- 平等对待通道特征，在处理不同类型的信息（高频和低频信息）时缺乏灵活性。
- 平等对待每个通道特征的缺点：
- 会浪费大量低频特征的不必要的计算
- 缺乏跨特征通道的判别学习能力，
- 最终阻碍深度网络的表示能力。
并强调：
- 可以将SR技术看作是尝试恢复尽可能多的高频信息的过程。
- LR图像包含大部分低频信息，这些低频信息可以直接转向最终的HR输出，不需要太多计算。
- 提出了残差通道注意力网络（RCAN）：
- 目的：
- 来获得非常深的网络，并同时自适应地学习更多有用的通道特征。
- 提出了residual in residual（RIR）结构:
- 目的：
- 为了简化非常深的网路的训练。
- 其中，残差组（residual group，RG）作为基本模块，长跳跃连接（long skip connection， LSC）允许粗略水平（coarse level）的残差学习。在每一个RG模块中，使用短跳跃连接（short skip connection, SSC）堆叠了几个简化的残差块，这样做的优势：
- 长和短的跳跃连接以及残差块中的快捷方式允许通过这些 identity-based skip connection 绕过丰富的低频信息，从而可以简化信息的流动。
- 进一步，提出了通道注意力（channel attention，CA）机制：
- 目的：
- 通过对特征通道之间的相互依赖性进行建模，来自适应地重新调整每个通道特征。
- 优势：
- CA允许网络去集中于更有用的通道
- CA使网络增强判别学习的能力
- 目的：
- 目的：
- 目的：
- 总结三点贡献：
- 提出了非常深的残差通道注意力网络（RCAN），用于高精度的图像SR；
- 相较于CNN的SR，RCAN有更深的网络，获得得更好的性能。
- 提出了residual in residual结构（RIR），来构建更深的训练网络；
- RIR中的LSC和SSC，有助于绕过丰富的低频信息，使主网络学习到更有效的信息。
- 提出了通道注意力机制（CA），通过考虑特征通道之间的相互依赖性来自适应的重新缩放特征。
- CA机制进一步提高了网络的表征能力。
- 提出了非常深的残差通道注意力网络（RCAN），用于高精度的图像SR；
2 相关工作
- 目前CV已经有很多SR方法。虽然CA在high-level vision tasks很流行，但是在low-level视觉应用很少。相关工作主要介绍基于CNN的SR和CA相关的工作。
- Deep CNN for SR：
- 第一类方法：首先将 LR 输入插值到所需的大小，这不可避免地会丢失一些细节并大大增加计算量。
- 开创性的工作是由 Dong 等人在2014年完成的，他们提出了用于图像 SR 的 SRCNN，并取得了优于之前工作的性能。
- Kim等人在2016年通过引入残差学习来缓解训练难度，提出了20层的VDSR和DRCN，并取得了精度的显着提升。
- 2017年，Tai 等人后来在DRRN 中引入了递归块，在 MemNet中引入了内存块。
- 第二类方法：从原始 LR 输入中提取特征并在网络尾部提升空间分辨率，这种方法成为深度架构的主要选择。
4. Dong等人在2016年提出了一种更快的网络结构FSRCNN来加速SRCNN的训练和测试。
5. Ledig 等人在2017年引入了 ResNet 来构建更深层次的网络 SRResNet，用于图像 SR。他们还提出了具有感知损失和生成对抗网络 (GAN) 的 SRGAN，以实现photo-realistic SR。
6. 随后，在2017年的EnhanceNet中引入了这种基于 GAN 的模型，该模型结合了自动纹理合成和感知损失。尽管SRGAN和Enhancenet可以在一定程度上减轻模糊和过度平滑伪影，但它们的预测结果可能无法忠实地重建并产生令人不快的伪影。
7. Lim等人在2017年通过删除传统残差网络中不必要的模块，提出了EDSR和MDSR，取得了显着的改进。
- 第一类方法：首先将 LR 输入插值到所需的大小，这不可避免地会丢失一些细节并大大增加计算量。
- Attention mechanism：
- 一般来说，注意力可以被视为一种指导，将可用处理资源的分配偏向于输入中信息最丰富的部分。
- 它通常与门函数（例如 sigmoid）结合使用来重新缩放特征图。
- 注意力机制大多用于CNN的high-level视觉任务：
- Wang等人在2017年提出了具有主干和掩模（trunk-and-mask， TM）注意机制的用于图像分类的残差注意力网络。
- Hu 等人在2017年提出了挤压和激励（Squeze-and-excitation， SE）块来建模通道关系，以获得图像分类的显着性能改进。
- 很少有人提出研究注意力对低级视觉任务（例如图像 SR）的影响。
- 再次强调：
- 在图像 SR 中，高频通道特征对于 HR 重建来说信息量更大。
- 如果我们的网络更多地关注这种通道方面的特征，那么应该有望获得改进。
- 为了研究非常深的 CNN 中的这种机制，本文提出了非常深的残差通道注意网络（RCAN）。
3 RCAN
3.1 网络结构
RCAN主要由四部分组成：
- 浅层特征提取模块、RIR深层特征提取模块、上采样模块、重构模块。
- 其中，除了RIR深层特征提取模块，其他三个模块均和EDSR与RDN中的保持一致。
- 其中，除了RIR深层特征提取模块，其他三个模块均和EDSR与RDN中的保持一致。
- 浅层特征提取模块：
- 仅使用一个卷积层去提取浅层特征。
- 表达式： F 0 = H S F ( I L R ) ( 1 ) F_0 = H_{SF}(I_{LR})\quad\quad\quad(1) F0=HSF(ILR)(1)- 符号含义：
- F 0 F_0 F0：浅层特征
- H S F ( ⋅ ) H_{SF}(·) HSF(⋅)：卷积操作。
- 深层特征提取模块：
- 使用非常深的带有G个残差组（GP）的residual in residual（RIR）结构，来提取深层特征。
- 表达式： F D F = H R I R ( F 0 ) ( 2 ) F_{DF} = H_{RIR}(F_0)\quad\quad\quad(2) FDF=HRIR(F0)(2)- 符号含义：
- F D F F_{DF} FDF：深层特征
- H R I R ( ⋅ ) H_{RIR}(·) HRIR(⋅)：表示RIR结构
- 上采样模块：
- （这种后上采样的策略比先上采样方法，更有效地降低计算复杂度并实现更高的性能）
- 常见的上采样模块有：
- 反卷积/转置卷积层（deconvolution/transposed convolution）、
- 最近邻域上采样+卷积（nearest-neighbor upsampling + convolution）、
- 亚像素卷积层（ESPCN）
- 表达式： F U P = H U P ( F D F ) ( 3 ) F_{UP} = H_{UP}(F_{DF})\quad\quad\quad(3) FUP=HUP(FDF)(3)- 符号含义：
- F U P F_{UP} FUP：上采样特征
- H U P ( ⋅ ) H_{UP}(·) HUP(⋅)：表示上采样模型
- 重建模块：
- 通过一个卷积层重建上采样的特征
- 表达式： I S R = H R E C ( F U P ) = H R C A N ( I L R ) ( 4 ) I_{SR} = H_{REC}(F_{UP})=H_{RCAN}(I_{LR})\quad\quad\quad(4) ISR=HREC(FUP)=HRCAN(ILR)(4)- 符号含义：
- H R E C ( ⋅ ) H_{REC}(·) HREC(⋅)：重建操作
- H R C A N ( ⋅ ) H_{RCAN}(·) HRCAN(⋅)：完整的RCAN功能
- RCAN的损失函数：
- 常见的损失函数：
- L 2 L_2 L2损失（均方损失函数，例如MSE）
- L 1 L_1 L1损失（距离损失函数）
- 感知和对抗损失函数（如SRGAN）
- 本文采用的是使用SGD优化的 L 1 L_1 L1损失函数，表达式如下： L ( θ ) = 1 N ∑ i = 1 N ∣ ∣ H R C A N ( I L R i − I H R i ) ∣ ∣ 1 ( 5 ) L(\theta) = \frac{1}{N}\sum_{i=1}^{N}||H_{RCAN}(I^{i}_{LR} - I^{i}_{HR})||_1\quad\quad\quad(5) L(θ)=N1i=1∑N∣∣HRCAN(ILRi−IHRi)∣∣1(5)- 符号含义：
- θ \theta θ：RCAN网络的参数集
- N：batchsize的大小，一次输入网络的LR-HR对的个数。
- 常见的损失函数：
3.2 Residual in Residual（RIR）
-
从图中可以看到：
- RIR中包含了G个残差组（RG）和长跳跃连接（LSC），
- 由于在图像SR中，非常深的网络会使得训练十分困难，并且也很难获得更高的性能，所以提出了RG作为更深网络的基本模块。
- 每个RG还包含了带有短跳跃连接（SSC）的B个残差通道注意力块（RCAB）。
- 通过LSC和SSC，更丰富的低频信息在训练过程中更容易被绕过。
- RIR中包含了G个残差组（RG）和长跳跃连接（LSC），
-
这种RIR允许训练非常深的 CNN（超过 400 层）以实现高性能的图像 SR。
- 第 g 组中 RG 的公式为： F g = H g ( F g − 1 ) = H g ( H g − 1 ( ⋅ ⋅ ⋅ H 1 ( F 0 ) ⋅ ⋅ ⋅ ) ( 6 ) F_g = H_g(F_{g-1})= H_g(H_{g-1}(···H_1(F_0)···)\quad\quad\quad(6) Fg=Hg(Fg−1)=Hg(Hg−1(⋅⋅⋅H1(F0)⋅⋅⋅)(6)- 符号含义：
- H g H_g Hg：第g个RG的函数
- F g − 1 、 F g F_{g-1}、F_g Fg−1、Fg：第g个RG的输入、输出
- 但是实验发现，简单的堆叠RG无法实现更好的性能。
- 第 g 组中 RG 的公式为： F g = H g ( F g − 1 ) = H g ( H g − 1 ( ⋅ ⋅ ⋅ H 1 ( F 0 ) ⋅ ⋅ ⋅ ) ( 6 ) F_g = H_g(F_{g-1})= H_g(H_{g-1}(···H_1(F_0)···)\quad\quad\quad(6) Fg=Hg(Fg−1)=Hg(Hg−1(⋅⋅⋅H1(F0)⋅⋅⋅)(6)- 符号含义：
-
引入了长跳跃连接（LSC）的RIR：
- 优势：
- 可以稳定极深网络的训练。
- 还可以通过残差学习来实现更好的性能。
- 不仅可以简化RG之间的信息流动。
- 还能使RIR能够粗略的学习残差学习。
- 公式为： F D F = F 0 + W L S C F G = F 0 + W L S C H g ( H g − 1 ( ⋅ ⋅ ⋅ H 1 ( F 0 ) ⋅ ⋅ ⋅ ) ) ( 7 ) F_{DF} = F_0 +W_{LSC}F_G = F_0 + W_{LSC}H_g(H_{g-1}(···H_1(F_0)···))\quad\quad\quad(7) FDF=F0+WLSCFG=F0+WLSCHg(Hg−1(⋅⋅⋅H1(F0)⋅⋅⋅))(7)- 符号含义：
- W L S C W_{LSC} WLSC：RIR尾部卷积层的权重集
- 省略了偏置项。
- 优势：
-
在每个RG中堆叠了B个残差通道注意力块：
- 第g个RG中的第b个残差通道注意块（RCAB）的公式为 F g , b = H g , b ( F g , b − 1 ) = H g , b ( H g , b − 1 ( ⋅ ⋅ ⋅ ( H g , 1 ( F g − 1 ) ⋅ ⋅ ⋅ ) ) ( 8 ) F_{g,b} = H_{g,b}(F_{g,b-1}) = H_{g,b}(H_{g,b-1}(···(H_{g,1}(F_{g-1})···))\quad\quad\quad(8) Fg,b=Hg,b(Fg,b−1)=Hg,b(Hg,b−1(⋅⋅⋅(Hg,1(Fg−1)⋅⋅⋅))(8)
- 符号含义：
- F g , b − 1 、 F g , b F_{g,b-1}、F_{g,b} Fg,b−1、Fg,b：第g个RG中第b个RCAB的输入、输出
- H g , b H_{g,b} Hg,b：第g个RG中第b个RCAB的函数
-
引入了短跳跃连接（SSC）的RG:
- 优势：
- 进一步允许网络的主要部分学习残差信息。
- 公式为： F g = F g − 1 + W g F g , B = F g − 1 + W g H g , B ( H g , B − 1 ( ⋅ ⋅ ⋅ H g , 1 ( F g − 1 ) ⋅ ⋅ ⋅ ) ) ( 9 ) F_g = F_{g-1}+W_gF_{g,B} = F_{g-1}+W_gH_{g,B}(H_{g,B-1}(···H_{g,1}(F_{g-1})···))\quad\quad\quad(9) Fg=Fg−1+WgFg,B=Fg−1+WgHg,B(Hg,B−1(⋅⋅⋅Hg,1(Fg−1)⋅⋅⋅))(9)- 符号含义：
- W g W_g Wg：第g个RG尾部卷积层的权重
- 优势：
3.3 Channel Attention（CA）
- 目的：
- 之前基于 CNN 的 SR 方法对 LR 通道特征一视同仁，这对于实际情况并不灵活。
- 为了使网络关注更多信息量的特征，利用特征通道之间的相互依赖性，产生通道注意（CA）机制。
- 如何为每个通道特征产生不同的注意力是关键一步。主要有两个顾虑：
- 首先，LR空间中的信息具有丰富的低频成分和有价值的高频成分。
- 低频部分似乎更加平坦。
- 高频成分通常是区域，充满边缘、纹理和其他细节。
- 另一方面，Conv 层中的每个滤波器都使用局部感受野进行操作。因此，卷积后的输出无法利用局部区域之外的上下文信息。
- 首先，LR空间中的信息具有丰富的低频成分和有价值的高频成分。
- 解决方法：
- 使用全局平均池化将通道方式的全局空间信息放入通道描述中:
- X = [ x 1 ; ⋅ ⋅ ⋅ ; x c ； ⋅ ⋅ ⋅ ; x C ] X = [x1; · · · ; xc； · · · ; xC ] X=[x1;⋅⋅⋅;xc；⋅⋅⋅;xC]是一个输入，它具有 C 个大小为 H × W 的特征图。通道统计量 z ∈ R C z\in \mathbb R^C z∈RC可以通过通过空间维度 H ×W 缩小 X 来获得。- z 的第 c 个元素的公式为： z c = H G P ( x c ) = 1 H × W ∑ i = 1 H ∑ j = 1 W x c ( i , j ) ( 10 ) z_c = H_{GP}(x_c)=\frac{1}{H×W}\sum^{H}_{i=1}\sum^{W}_{j=1}x_c(i,j)\quad\quad\quad(10) zc=HGP(xc)=H×W1i=1∑Hj=1∑Wxc(i,j)(10)- 符号描述：
- z c z_c zc：通道统计量z 的第 c 个元素的通道描述。
- H G P ( ⋅ ) H_{GP}(·) HGP(⋅)：全局池化函数
- x c ( i , j ) x_c(i,j) xc(i,j)：第c个特征 x c x_c xc的位置(i, j)处的值。
- z 的第 c 个元素的公式为： z c = H G P ( x c ) = 1 H × W ∑ i = 1 H ∑ j = 1 W x c ( i , j ) ( 10 ) z_c = H_{GP}(x_c)=\frac{1}{H×W}\sum^{H}_{i=1}\sum^{W}_{j=1}x_c(i,j)\quad\quad\quad(10) zc=HGP(xc)=H×W1i=1∑Hj=1∑Wxc(i,j)(10)- 符号描述：
- 引入门控机制：
- 目的：
- 为了通过全局平均池化从聚合信息中完全捕获通道高依赖性。
- 门控机制的两个标准：
- 它必须能够学习之间的非线性相互作用
- 由于强调多个通道特征而不是one-hot 激活，它必须学习一种非互斥关系。
- 选择sigmoid函数作为简单的门控机制
- 公式为： s = f ( W U δ ( W D z ) ) ( 11 ) s = f(W_U\delta(W_Dz))\quad\quad\quad(11) s=f(WUδ(WDz))(11)- 符号含义：
- s s s：最终的通道统计数据。
- f ( ⋅ ) f(·) f(⋅)：sigmoid门控函数。
- δ ( ⋅ ) \delta(·) δ(⋅)：ReLU函数
- W D W_D WD：卷积层的参数集，（r倍的通道缩小）
- W U W_U WU：卷积层的参数集，（r倍的通道放大）
- 目的：
- 重新调整输入：
- 通过通道注意力的逐元素乘积，RCAB 中的剩余分量会自适应地重新缩放。
- 公式如下： x c ^ = s c ⋅ x c ( 12 ) \hat{x_c}=s_c·x_c \quad\quad\quad(12) xc^=sc⋅xc(12)- 符号含义：
- s c s_c sc：第c个通道中的缩放因子
- x c x_c xc：第从c个通道中的特征图
3.4 Residual Channel Attention Block(RCAB)
- 将CA整合到RB中，提出了RCAB
- 动机：
- 3.2的GP和LSC允许网络的主要部分专注于LR特征的更多信息组件。
- 3.3的CA提取通道间的通道统计量，进一步增强网络的判别能力。
- 同时收到残差块的启发。
- 第g个RG中的第b个RB的公式如下： F g , b = F g , b − 1 + R g , b ( X g , b ) ⋅ X g , b ( 13 ) F_{g,b} = F_{g,b-1} + R_{g,b}(X_{g,b})·X_{g,b}\quad\quad\quad(13) Fg,b=Fg,b−1+Rg,b(Xg,b)⋅Xg,b(13)- 符号含义：
- R g , b R_{g,b} Rg,b：CA函数
- F g , b − 1 、 F g , b F_{g,b-1}、F_{g,b} Fg,b−1、Fg,b：RCAB的输入和输出
- X g , b X_{g,b} Xg,b：从输入中的残差分量。
- 其中，残差分量主要由两个对叠的卷积层获得，公式为： X g , b = W g , b 2 δ ( W g , b 1 F g , b − 1 ) ( 14 ) X_{g,b}=W^2_{g,b}\delta(W^1_{g,b}F_{g,b-1})\quad\quad\quad(14) Xg,b=Wg,b2δ(Wg,b1Fg,b−1)(14)- 符号含义：
- W g , b 2 、 W g , b 1 W^2_{g,b}、W^1_{g,b} Wg,b2、Wg,b1：RCAB中的两个堆叠的卷积层的权重集。
- 动机：
3.5 实验细节
- RG的个数G=10。
- 每个RG中，RCAB的个数为20。
- 用于通道缩小和放大的卷积层：采用4个1×1的卷积核，缩放比例r=16
- 浅层特征提取和RIR的卷积层：采用64个3×3的卷积核，使用零填充保证大小固定
- 上采样模块：采用ESPCN的亚像素卷积层。
- 最终重建输出层：是彩色图像，采用3个3×3的卷积核。
4 实验
4.1 设置
- 数据集与退化模型
- 训练集：
- DIV2K数据集中的800张训练图片
- 测试集：
- Set5、Set14、B100、Urban100、Manga109
- 退化模型：
- 双三次插值（Bicubic，BI）、模糊下采样（blur-downscale，BD）
- 训练集：
- 评价指标
- 峰值信噪比（PSNR）、在变化的YCbCr空间的Y通道（即亮度）结构相似性（SSIM on Y channel(i.e., luminance) of transformed YCbCr space
- 训练设置
- 数据增强：
- 随机旋转90°、180°、270°，水平翻转
- batchsize：
- batchsize=16、图像块（patches） =48×48
- 优化器：
- Adam： β 1 \beta_1 β1=0.9、 β 2 \beta_2 β2=0.999、 ϵ = 1 0 − 8 \epsilon = 10^{-8} ϵ=10−8
- 学习率：
- 初始学习率： l r = 1 0 − 4 lr=10^{-4} lr=10−4
- 学习率衰退：每 2 × 1 0 5 2×10^5 2×105次迭代，学习率减半
- 深度学习框架:
- PyTorch
- 硬件：
- Titan Xp GPU
- 数据增强：
4.2 RIR和CA
由上表可知：
- Residual in residual（RIR）：
- LSC和SSC对于非常深的网络至关重要
- 证明了RIR结构对于非常深的网络的有效性。
- Channel attention（CA）：
- 证明了CA的有效性
- 并表明对通道特征的自适应关注确实提高了性能。
4.3双三次（BI）退化模型的结果
- 在BI退化模型中，高频信息的重建非常重要且困难
- 特别是在大尺度因子（例如×8时）的情况下，Bicubic 的结果会丢失结构并产生不同的结构。
- 我们提出的 RIR 结构使主网络学习残差信息。
- 通道注意力（CA）进一步用于通过自适应地重新缩放通道特征来增强网络的表示能力。
4.4 模糊下采样（BD）退化模型的结果
- BD相对于BI的退化，重建图像的质量更高
- RCAN 通过恢复更多信息成分获得了更好的结果，这表明非常深的通道注意力（CA）引导网络将减轻模糊伪影。
- 也展示了RCAN对于BD退化模型的强大能力。
4.5 Object Recognition 性能
- 这里作者提出了：(这也是第一次看到SR在高级CV中的应用)
- 图像 SR 还可以用作高级视觉任务（例如对象识别）的预处理步骤。
- 评估对象识别性能以进一步证明 RCAN 的有效性。
- 实验细节：
- 模型：使用ResNet-50作为评估模型
- 测试集：使用 ImageNet CLS-LOC 验证数据集中的前 1,000 张图像进行评估
- 原始裁剪的 224×224 图像用于基线，并缩小至 56×56 用于 SR 方法。
- 使用 4 种最先进的方法（例如 DRCN、FSRCNN、PSyCo和 ENet-E）来放大 LR 图像，然后计算它们的精度。
- 实验结果：
4.6 模型尺寸分析
- 从图中可以看出：
- 虽然RCAN 是最深的网络，但它的参数数量比 EDSR 和 RDN 少
- 并且RCAN+比RCAN实现了更高的性能
- 作者对未来的假想：
- 更深的网络可能比更广泛的网络更容易获得更好的性能。
5 结论
- 本文提出了非常深的残差通道注意网络（RCAN），用于高精度图像 SR。
- 提出了RIR结构：
- 具体来说，RIR结构允许 RCAN 通过 LSC 和 SSC 达到非常大的深度。
- 同时，RIR允许通过多个跳跃连接绕过丰富的低频信息，使主网络专注于学习高频信息。
- 提出了通道注意力（CA）机制:
- 此外，为了提高网络的能力 ，CA通过考虑通道之间的相互依赖性来自适应地调整通道特征。
- 使用 BI 和 BD 模型对 SR 进行的大量实验证明了本文提出的 RCAN 的有效性。
- RCAN 在物体识别方面也显示出有前途的结果。
- 提出了RIR结构：