ScarfNet: Multi-scale Features with Deeply Fused and Redistributed Semantics---于小勇

为了检测到变化尺寸的目标，基于特征金字塔的检测器，在不同特征层之间，基于在k特征图上的决策，例如下图(a)所示，基线检测器使用在特征层

上的特征图

。

其中

。其中

是骨干网络产生的特征图，

是从后来的卷积层由底向上得到。

代表了第l个卷积层执行的操作。

代表检测子网络，通常采用一个单一的

的卷积层来产生分类和框回归的输出。由于从金字塔层输入的深度不同，较浅的底层特征缺乏语义信息。

为了减少不同金字塔层之间的语义差距，有一些工作提出了使用横向连接的自顶向下结构，如图(c)所示。这种结构使用增加分辨率的方式使来自顶层的语义信息传播到底层。通过横向连接保持较高的空间分辨率。第l层的特征图

产生的方式为

其中

，

是第l层的横向连接，

是第l的自顶向下的连接。操作符

代表两个特征图的组合，例如通道连接和相加。不同的方法仅仅采用了不同的

和

。对特征金字塔这些方法比较抽象，他们依然有一些限制。因为自顶向下的连接以没有方向的方式传播语义，这些语义在各层上是不均匀分布的。结果是金字塔特征层之间的语义分隔依然存在。接下来，在所有特征层上，特征的单向连接处理对产生增加语义信息的能力有限制。为了解决这个问题我们开发了一个使用biLSTM在所有特征层之间以单向横向连接产生深度融合的语义。接下来的章节将展示我们提出方法的细节。

ScarfNet用两步来解决语义信息的不符：(1)、使用biLSTM来组合打散的语义信息。(2)、使用逐通道注意模块将融合的特征重新分布到每个特征层。整个结构如下图所示：

将第k个金字塔特征

作为输入，ScarfNet产生第l个特征图

为：

其中

，如式(6)所示ScarfNet由两部分组成：语义重组网络(ScNet)和注意重分布网络(ArNet)。首先，ScNet通过biLSTM来融合金字塔特征

，并且用融合的语义产生输出特征。第二，ArNet收集从biLSTM的输出特征，并且用逐通道注意力来产生高质量的语义多尺度特征，连接到原始的特征金子塔上。最终，结果特征图用检测子网络

单独处理来产生最终的检测结果。

通过ScNet产生的特征图

为：

是第l层的输出特征图，细节如下图所示，描述了ScNet的细节。ScNet使用biLSTM在不同的金字塔之间均匀的融合打散的特征。biLSTM通过门函数，在多尺度层上选择融合语义信息。ScNet有匹配模块和biLSTM组成。匹配模块首先对金字塔特征

的尺寸进行变换，使他们的尺寸相同。然后使用

的卷积层来调整通道维度。结果，匹配模块产生通道数和尺寸都相同的特征图。尺寸变换操作通过双线性插值来完成。biLSTM和参考文献[23]相同。基于全局池化的结果，对输入连接和门参数的计算使用卷积层，来显著的节省计算。

特别地，biLSTM的操作可以简化为：

其中

代表哈达玛积，biLSTM的状态在前向和后向都更新。上式为前向更新，后向更新的表达式类似。

ArNet产生高层的语义特征图，连接到原始的金字塔特征图

上，表达式为：

操作符

代表主通道连接。ArNet的具体结构如图4所示。ArNet连接biLSTM的输出

，对他们应用逐通道注意力机制。注意力机制的权重通过构建

的向量获得，具体方式为使用全局平均池化，并且将将它传递到两个全连接层，最后再接一个sigmoid函数。注意，这些逐通道注意力模块允许选择将语义传播到金字塔的每层。一旦注意力的权重使用了，匹配模块将特征图的结果进行下采样，并且应用

的卷积来匹配通道维数，利用这些原始的金字塔特征。最终，输出的匹配模块连接到原始的特征图

上，来产生高的语义特征

。