d0evi1 Reading time ~2 minutes

CTPN(Connectionist Text Proposal Network)由Zhi Tian等人提出。

总览

CTPN可以在卷积特征图（convolutional feature maps）中直接检测在精密尺度（fine-scale）的text proposals序列中的文本行（text line）。它开发了一个垂直锚点机制（vertical anchor mechanism），可以联合预测关于每个固定宽度proposal的位置（location）和文本/非文本分值（text/none-text score）。序列化的proposals被连接到一个RNN上，无缝地与卷积网络相接，产生一个end-to-end的训练模型。这使得CTPN可以探索丰富的图像文本信息，可以检测相当模糊的文本。CTPN可以在多尺度（multi-scale）和多语言文本（multi-language text）环境下可靠工作，无需进一步后序处理（post-processing）：这与自底向上的方法不同（它们通常需要多步后置过滤（post filtering））。在ICDAR 2013和2015 becnmarks上分别取得0.88和0.61的F-measure值，比最近的较好结果有很大的提升。CTPN的计算效率是0.14s/image，它使用了very deep VGG16 model.

一、介绍

在自然图片中读取文本最近在CV界获得广泛关注。这是由于许多实际应用，比如：图片OCR，多语言翻译，图片检索，等等。它包含了两个子任务：文本检测、文本识别。CTPN主要工作集中在文本检测任务上，它比识别更具挑战。文本模式的大量变种，以及高度混杂的背景对于精准文本定位构成巨大挑战。

当前文本检测的主要方法大多数使用了自底向上的pipeline。它们通常从低级字符(low-level character)或笔画（stroke）的检测开始，通常按照一定数量的子阶段：非文本组件过滤（non-text component filtering）、文本行构造(text line construction)和文本行验证（text line verification）。这种多步的自底向上的方法很复杂，并且健壮性和可靠性差。它们的性能很严重地依赖字符检测的结果、以及连接组件的方法、或者滑动窗口的方法。这些方法通常会探索低级特征（基于SWT，MSER，或者HoG）来将候选文本从背景中区分出来。然而，它们并不健壮，需要通过独立标识私有的笔画或字符，没有文本信息。例如，人们标识一个字符序列比标识单个字符更自信，特别是当一个字符很模糊时。这种限制通常会在字符检测上产生大量非文本组件，从而在下一步中处理它们造成主要难题。再者，这些错误的检测很容易在自底向上的pipeline上按顺序累积。为了解决这些难题，CTPN采用强的deep features来在卷积图中直接检测文本信息。另外还开发了文本锚点机制，可以精准预测在精准尺度上的文本位置。接着，提出了一个in-network recurrent架构来将这些fine-scale text proposals按顺序相连接，并将它们编码成富文本信息。

近几年，CNN在通用目标检测上有优势。state-of-art的方法是Faster Region-CNN（R-CNN）系统，其中RPN（ Region Proposal Network）可以直接从卷积特征图中生成高质量的未知类别目标proposals。接着RPN proposals可以被feed到一个Fast R-CNN模型上以进一步分类（classification）和提炼（refinement），从而在通用目标检测上产生state-of-art的效果。然而，很难将这些通用目标检测系统直接应用到文本场景检测中，这种情况下通常需要一个更高的位置准确率。在通用目标检测中，每个object都具有一个定义良好的边界，而在文本中也存在这样的边界，因为一个文本行或词由一定数目的独立字符或笔画构成。对于目标检测，一个典型的正确检测的定义是松散的，比如：在检测表面的边界框和ground truth重叠（overlap）> 0.5(PASCAL standard），因为人们可以很容易地从主要部件上识别一个object。相反地，读取完整文本是一个细粒度的识别任务，它的一个正确检测必须覆盖文本行或词的完整区域。因此，文本检测通常需要一个更精准的定位，来产生一个不同的评估标准，比如：text benchmarks中常用的Wolf’s standard。

在CTPN中，会通过扩展RPN结构来进行精准文本行定位。并提出了许多技术开发手段来将generic object detection模型优雅地移植来解决文本上的难题。另外进一步提出了一个in-network recurrent机制，可以在卷积图中直接检测文本序列，避免通过一个额外的CNN检测模型来进行后置处理。

1.1

CTPN的主要架构见图1.

图1: (a) CTPN的结构. 我们通过VGG16模型的最后一层的卷积图(conv5)紧密地滑动一个3x3的空间窗口。在每行中的序列窗口通过一个Bi-LSTM进行递归连接，其中每个窗口的卷积特征(3x3xC)被用于BLSTM的256D输入（包含两个128D的LSTMs）。RNN layer被连接到一个512D的FC-layer上，后面跟着output layer，它会联合预测text/non-text scores，y坐标以及k个锚点的side-refinement offsets。 (b) CTPN输出预列化的固定宽度的fine-scale text proposals。每个box的颜色表示了text/non-text score。只有正分值的boxes才会被展示。

2.相关工作

  • 文本检测：
  • 目标检测：

略，详见paper

3.Connectionist Text Proposal Network

CTPN包括了三个主要部分：

  • 在fine-scale proposals中检测文本
  • 对text proposals进行recurrent连接（recurrent connectionist text proposals）
  • 边缘细化（side-refinement）

3.1 Detecting Text in Fine-scale Proposals

与RPN相类似，CTPN本质上是一个完全卷积网络（fully convolutional network）：它允许一个任意size的输入图片。它会通过密集地在卷积特征图(convolutional feature maps)上滑动一个小窗口，并输出一串fine-scale（例如：16-pixel的宽度）的text proposals，如图1（b）所示。

这里采用了一个非常深的16-layer vggNet (VGG16)作为示例来描述 CTPN，它很容易应用于其它的deep模型。CTPN的结构如图1(a)所示。我们使用了一个小的空间窗口（spatial window），3x3，来滑动最后的卷积层中的feature maps（例如：VGG16中的conv5）。conv5的feature maps的size由输入图片的size决定，其中总的stride和receptive field由网络结构来确定。在卷积层中使用一个共享卷积计算的滑动窗口，可以减少基于该方法的计算量。

总之，滑动窗口法采用了多尺度窗口（multi-scale windows）来检测不同size的目标，其中一个固定size的window scale对应于相同size的目标。在faster R-CNN中，提出了一个高效的锚点回归机制，它允许RPN来使用单尺度窗口来检测多尺度目标。单尺度窗口的核心是：通过使用一定数量的锚点（anchors），能预测在一个宽范围尺度和尺度比例（aspect ratios）上的目标。我们希望将这种有效的锚点机制扩展到文本任务上。然而，文本与通用目标十分不同，它必须有一个定义良好的闭合边界和中心，可以从一部分来推测整个目标。它可能包含了多级别的组件：比如笔画，字符，词，文本行和文本区域，它们相互间很容易区分。文本检测是在词或文本行级别定义的，因而，通过将它定义成单个目标，它可以很容易地做出不正确的检测，例如：检测一个词的某部分。因此，直接预测一个文本行或词的位置很难或者不可靠，使得它很难达到一个满意的准确率。图2展示了一个示例，其中RPN直接训练来定位图片中的文本行。

我们寻找文本的唯一特性是，能够很好地泛化成在所有级别上的文本组件。我们观察到，RPN的词检测（word detection）很难精准预测词的水平边缘（horizontal sides），因为一个词中的每个字符是孤立或者分离的，这使得发现一个词的起点和终点容易混淆。很明显，一个文本行是一个序列，它是文本与通用目标之间的主要区别。很自然地将一个文本行考虑成一个fine-scale text proposals的序列，其中每个proposal通常表示成一个文本行的一小部分，例如，一个16-pixel宽的文本片段（text piece）。每个proposal可以包含单个或多个笔画，一个字符的一部分，单个或多个字符，等。我们相信，通过将它的水平位置固定（很难进行预测），可以更精准地预测每个proposal的垂直位置。对比RPN（它只要预测一个目标的4个坐标），这减少了搜索空间。我们开发了一个垂直锚点机制，它可以同时预测一个文本／非文本分值，以及每个fine-scale proposal的y轴位置。对比识别一个独立的字符（很容易混淆），检测一个通用固定宽度的text proposal更可靠。再者，检测在固定宽度的text proposals序列中的一个文本行，可以在多尺度和多尺度比例下可靠运行。

最后，我们按以下方式设计了fine-scale text proposal。我们的检测器(detector)会密集地（densely）检测在conv5中的每个空间位置（spatial location）。一个text proposal被定义成：具有一个16 pixels的固定宽度（在输入图片上）。这等同于将该detector密集地通过conv5 maps，其中，总的stride是完整的16 pixels。接着，我们设计了k个垂直锚点来为每个proposal预测y坐标。k个锚点具有相同的水平位置，它们都有16 pixels的宽度，但它们的水平位置以k个不同的高度进行区分。在我们的实验中，我们为每个proposal使用了10个锚点，k=10, 它们的高度从11到273个pixels不等（每次除以0.7）。显式的水平坐标通过高度和一个proposal边界框的y轴中心来进行衡量。我们根据每个锚点的边界位置，各自计算了相对预测的水平坐标（v）：

\(v_c = (c_y - c_y^a)/h^a, v_h = log(h/h^a)\) …(1)

\(v_c^* = (c_y^* - c_y^a)/h^a, v_h^* = log(h^*/h^a)\) …(2)

其中，

  • \(v={v_c, v_h}\)和 \(v^* = {v_c^*, v_h^*}\)分别是相对预测坐标与ground true坐标。
  • \(c_y^a\)和\(h^a\)是中心(y轴)和锚点的高度，它们可以从一个输入图片中被预计算好。
  • \(c_y\)和h是预测的y轴坐标，\(c_y^*\)和\(h^*\)是ground truth坐标。因此，每个预测的text proposal具有一个size=hx16的边界，如图1(b)和图2(右)所示。通常，一个text proposal会大大小于有效可接受field（228x228）。

检测过程如下。给定一个输入图片，我们具有\(W \times H \times C\)的conv5 features maps（通过使用VGG16模型得到），其中C是feature maps或channels的数目，\(W \times H\)是空间位置（spatial arrangement）。当我们的检测器通过一个3x3的窗口通过conv5进行密集滑动时，每个滑动窗口会采用一个\(3 \times 3 \times C\)的卷积特征，来产生预测。对于每个预测，水平位置（x坐标）和k-anchor位置是固定的，它们可以通过将conv5上的空间窗口位置映射到输入图片上来预先计算好。我们的detector会为k个anchors在每个窗口位置输出text/non-text score和预测的y坐标(v)。检测到的text proposals从那些具有text/non-text score > 0.7的锚点上生成（没有最大限制）。通过设计垂直锚点和fine-scale检测策略，我们的检测器可以通过使用单个尺度的图片来处理多个尺度和比例范围的文本行。这进一步减小了计算量，同时还能精准预测文本行的位置。对比RPN或Faster R-CNN系统，我们的fine-scale检测提供了更详细的监督式信息，可以很自然地产生一个更精准的检测。

3.2 Recurrent Connectionist Text Proposals

为了提升位置精度，我们将一个文本行分割成一个fine-scale text proposals序列，然后各自对它们每一个进行预测。很明显地，如果独立地将它们看成单个孤立的proposal是不健壮的。这会在一些非文本目标上（它们与文本模式具有相类似结构：比如，窗，砖，叶子等）产生许多错误的检测。也可以丢弃一些包含弱文本信息的模糊模式。在图3(top）上的一些示例。文本具有很强的连续字符，其中连续的上下文信息对于做出可靠决策来说很重要。可以通过RNN来编码文本信息进行文字识别进行验证。一些paper的结果展示出，连续上下文信息可以极大地促进在裁减不好的词图片上（cropped word images）的识别任务。

受该工作的启发，我们相信该上下文信息对于我们的检测任务很重要。我们的检测器可以探索这些重要的上下文信息来做出可靠决策。再者，我们的目标是为了在卷积层直接编码该信息，产生一个优雅无缝的关于fine-scale text proposals的in-network连接。RNN可以循环地使用它的hidden layer编码该信息。出于该目的，我们提出设计一个在conv5之上的RNN layer，它采用每个窗口的卷积特征作为连续输入，循环更新在hidden layer中的内部state：\(H_t\)。

\(H_t = \phi(H_{t-1}, X_t), t=1,2,...,W\) …(3)

其中，\(X_t \in R^{3 \times 3 \times C}\)是来自第t个滑动窗口的输入的conv5 feature。滑动窗口会从左到右密集地移动，为每个row产生t=1,2,…,W的连续特征。W是conv5的宽度。\(H_t\)是recurrent internal state，可以从当前输入(\(X_t\))和先前在\(H_{t-1}\)中编码的state联合计算得到。该recurrence的计算使用一个非线性函数\(\phi\)，它定义了recurrent模型的准确形式。对于我们的RNN layer，我们采用LSTM的结构。LSTM的提出是为了解决梯度消失问题，通过引入三个额外的乘法门：input gate, forget gate和output gate。我们进一步扩展RNN layer，通过使用一个bi-directional LSTM，它允许双向编码recurrent上下文，因而， connectionist receipt field可以覆盖整个图片宽度，比如：228 x width。我们为每个LSTM使用了一个128D的hidden layer，来采用一个256D的RNN hidden layer，\(H_t \in R^{256}\)。

\(H_t\)的内部state被映射到下一个FC layer，以及output layer上用于计算第t个proposal的预测。因此，我们的与RNN layer集合的方式是优雅的，可以产生一个有效的模型，可以进行end-to-end训练，无需额外开销。RNN连接的高效性如图3所示。很明显，它减小了错误检测，同时，可以恢复许多缺失的text proposals（它们包含了非常弱的文本信息）。

图3: 上面三个：不使用RNN的CTPN。下面三个：使用RNN连接的CTPN

3.3 Side-refinement

fine-scale text proposals可以通过CTPN进行准确检测。文本行构建很简单，通过将那些text/no-text score > 0.7的连续的text proposals相连接即可。文本行的构建如下。首先，为一个proposal \(B_i\)定义一个邻居（\(B_j\)）：\(B_j -> B_i\)，其中：

  • (i) \(B_j\)在水平距离上离\(B_i\)最近
  • (ii) 该距离小于50 pixels
  • (iii) 它们的垂直重叠(vertical overlap) > 0.7

另外，如果\(B_j -> B_i\)和\(B_i -> B_j\)，会将两个proposals被聚集成一个pair。接着，一个文本行会通过连续将具有相同proposal的pairs来进行连接来构建。

图4: 红色box：使用side-refinement的CTPN；黄色虚色的box：不使用side-refinement的CTPN。fine-scale proposal box的颜色表示一个text/non-text score

fine-scale detection和RNN连接可以预测在垂直方向上的累积位置。在水平方向上，图片被划分成一串16-pixel宽的proposals序列。当在两个水平侧（ horizontal sides）的text proposals不能准确被一个ground truth文本行区域覆盖时，或者一些side proposals被丢弃时（例如：具有一个较低的text score），这会导致一个不精准的定位，如图4所示。这种不准确在通用目标检测中不是很严格，但在文本检测中不能忽视，尤其是对于那些小尺度文本行或词。为了解决该问题，我们提供了一个side-refinement方法，可以准确地为每个anchor/proposal估计在水平左侧和水平右侧的offset（被称为side-anchor或side-proposal）。与y轴坐标的预测相似，我们计算了相对offset：

\(o = (x_{side} - c_x^a) / w^a, o^{*} = (x_{side}^{*} - c_x^a) / w^a\)…(4)

其中，\(x_{side}\)是相对于当前锚点最近水平侧（比如：左或右侧）的x预测坐标。\(x_{side}^{*}\)是ground truth侧在x轴坐标，通过BT 边界框和锚点位置预先计算好。\(c_x^a\)是在x轴的锚点中心。\(w^a\)是锚点宽度，它是固定的，\(w^a=16\)。当将一个检测到的fine-scale text proposals序列连接成一个文本行时，该side-proposals被定义成start proposals和end proposals。在图4中的一些检测样本通过side-refinement进行提升。 side-refinement可以进一步提升位置准确率，在SWT的Multi-Lingual datasets上产生2%的效果提升。注意，side-refinement的offset可以通过我们的模型同时进行预测，如图1所示。它不需要一个额外的后置处理step。

3.4 模型输出和Loss functions

CTPN有三个outputs，它们会一起连接到最后的FC layer上，如图1(a)所示。三个outputs同时预测：text/non-text scores(s)、垂直坐标(等式(2)中的\(v={v_c, v_h}\) )、side-refinement offset (o)。我们探索了k个anchors来在conv5中的每个空间位置上预测它们，在各自的output layer上产生2k, 2k和k个参数。

我们采用了多任务学习来联合优化模型参数。我们引入了三个loss functions：\(L_s^{cl}, L_v^{re}, l_o^{re}\)，会各自计算text/non-text score、坐标以及side-refinement的error。有了这些，我们会根据faster R-CNN中的多任务loss，最小化一个关于一第图片的总目标函数（L）：

\(L(s_i, v_j, o_k) = \frac{1}{N_s} \sum_{i} L_s^{cl}(s_i, s_i^{*}) + \frac{\lambda_1}{N_v} \sum_j L_v^{re}(v_j, v_j^{*}) + \frac{\lambda_2}{N_o} \sum_k L_o^{re}(o_k, o_k^{*})\) ……(5)

其中，每个anchor是一个训练样本，i是minimatch中的一个anchor的索引。\(s_i\)是anchor i为一个真实文本的预测概率。\(s_i^{*} = {0, 1}\)是ground truth。j是一个关于y坐标回归中合法anchors集合的anchor索引，定义如下。一个合法的anchor是一个已经定义的positive anchor（\(s_j^*=1\)），或者具有一个与ground truth的text proposal具有Intersection-over-Union(IoU) > 0.5 的重合度。\(v_j\)和\(v_j^*\)是第j个anchor相关的y坐标的prediction和ground truth。k是关于一个side-anchor的索引，side-anchor被定义成在距离ground truth文本行限定框左侧或右侧的水平距离（例如：32-pixel）内的一个anchors集合。\(o_k\)和\(o_k^{*}\)分别是在第k个anchor相关的在x轴上的predicted offsets 和ground truth offsets。\(L_v^{re}\)和\(L_o^{re}\)是regression loss。我们会根据之前的工作，通过使用L1 function进行平滑来计算它们。\(\lambda_1\)和\(\lambda_2\)是用于平衡不同任务的loss weights，期望设置为1.0和2.0。\(N_s, N_v, N_o\)是归一化参数，分别表示通过\(L_s^{cl}, L_v^{re}, L_o^{re}\)的总anchors数。

3.5 训练和实现细节

CTPN通过标准的BP和SGD来进行end-to-end的训练。与RPN相似，训练样本是anchors，它们的位置可以通过在输入图片中的位置进行预计算得到，因而每个anchor的labels可以从相应的BT box计算得到。

Training Labels：对于text/none-text分类，会分配一个二分类label：positive（文本）、negative（非文本）anchor。它们通过计算BT bounding box（通过anchor位置进行划分）的IoU overlap得到。一个positive anchor被定义为：

  • i. 一个具有一个与任意GB box有IoU>0.7的重合度(overlap)的anchor
  • ii. 一个anchor具有一个与GT box的最高IoU重合度的anchor

通过条件(ii)的定义，即使一个非常小的文本模式也可以分配一个positive anchor。这对于检测小尺度的文本模式很重要，这也是CTPN的一个核心优点。这与通用目标检测很不同。negative anchors被定义成与所有GT boxes具有IoU<0.5重合度的anchors。y坐标回归(\(v^{*}\))的training labels以及offset regression (\(o^*\))分别通过等式(2)和(4)定义。

训练数据：在训练过程中，每个minibatch样本都从单个图片中随机收集。每个mini-batch的anchors数目固定在\(N_s=128\)，正负样本的比例在1:1. 如果一个mini-batch的正样本小于64个，会用负样本进行补齐。我们的模型训练了3000张自然图片，包含229张来自ICDAR 2013训练集的图片。我们收集了其它图片并进行人工标注上相应的文本行的bounding boxes。所有这些自收集的训练样本在所有的benchmarks的任意测试图片没有重合。输入图片将它的short side设置为600进行训练，来保持它原始的比例尺。

实现细节：我们根据标准惯例，探索了极深的VGG16模型在ImageNet上的预训练。我们使用高斯分布为(0, 0.01)的随机权重来为new layers（例如：RNN和output layers）进行初始化。模型通过固定前两个convolutional layers的参数来进行end-to-end训练。我们使用0.9的momentum和0.0005的weight decay。learning rate在前16k次迭代设置为0.001, 在之后的4K次迭代使用0.0001的learning rate。我们的模型使用Caffe框架进行实现。

评测

略，详见paper。

参考

d0evi1 Reading time ~3 minutes

我们来看下tensorflow的rnn_cell.DropoutWrapper的实现原理：《A Theoretically Grounded Application of Dropout in Recurrent Neural Networks》，在rnn上使用dropout。

摘要

RNN是深度学习许多研究的前研。这些模型的主要难点是容易overfit，直接在recurrent layers上应用dropout会失败。在Bayesian建模和深度学习的交叉研究上，提供了一种通用深度学习技术（比如：dropout）的Bayesian解释。在approximate Bayesian inference上的dropout基础，提供了一种理论扩展，并提供了在RNN模型上使用dropout的见解。我们在LSTM和GRU模型中基于dropout技术来使用这种新的变分推断（variantional inference），并将它应用于语言建模和语义分析任务上。新的方法要好于已存在的技术，并达到最好的效果。

1.介绍

RNN是基于序列的模型，是NLP、语言生成、视频处理、以及许多其它任务上的关键。模型的输入是一个符号序列，在每个timestep上，会将一个RNN unit应用于单个symbol，该网络的输出会使用来自之前的time step的信息。RNN很强，但很容易overfit。由于在RNN模型中缺乏正则化，使得它很难处理小数据，为了避免overfitting，研究者们通常会使用：early-stopping、或者小模型。

Dropout是深度网络中很流行的正则技术，其中在训练期间network units会被随机masked(dropped)，但该技术从未在RNNs上成功应用过。经验表明：添加到recurrent layers上的噪声（在RNN units间的connections）会因序列过长而被放大，从而盖过信号本身。因而，一些研究得出结论：该技术只能在RNN的inputs和outputs上使用[4,7,10]。但这种方法在我们的实验中仍会导致overfitting。

最近在Bayesian和深度学习的交叉研究的最新结果提供了：通过Bayesian视角来解释常见的deep learning技术[11-16]。深度学习的Baeysian视度将这些新技术引入到该领域，比如：从深度学习网络中获得原则不确定估计（principled uncertainty estimates）。例如，Gal and Ghahramani展示了dropout可以被解释成一个Bayesian NN的后验的变分近似。这种变化近似分布是两个具有较小方差的高斯分布的混合，其中一个Gaussian的均值固定为0. 在approximate Bayesian inference中的dropout的基础扩展了理论，提供了新的视角来在RNN模型上使用这些技术。

这里我们关注常见的RNN模型（LSTM, GRU），并将它们解释成概率模型，比如：RNN的网络权重看成是随机变量，并定义了likelihood函数。我们接着在这些概率Bayesian模型上执行近似变化推断（我们称之为：Variational RNNs）。使用高斯混合的在权重的后验分布上的近似，会产生一个可跟踪的最优化目标函数。对该objective最优化等同于在各自RNNs上执行一个新的dropout变种。

在新的dropout variant中，我们会在每个timestep上对inputs、outputs、recurrent layers（在每个time step上drop相同的network units）重复相同的dropout mask。与已经存在的专有（ad-hoc）技术相比，在每个timestep上，对inputs、outputs各自采用不同的dropout masks抽样（在recurrent connections上不使用dropout，因为在这些connections上使用不同的masks会导致很差的效果）。我们的方法和与现有技术的关系如图1所示。当使用离散输入（比如：words）时，我们也会在word embeddings上放置一个分布。在word-based模型中的dropout接着会随机drop掉句子中的word types，并被解释成：对于该任务，强制该模型不依赖于单个words。

图1 dropout技术。(左)：标准dropout (右): Bayesian解释的dropout. 每个方块表示一个RNN unit，水平键头表示时间依存关系（recurrent connections）。垂直键头表示每个RNN unit的input和output。带颜色的连接（connections）表示dropped-out inputs；不同颜色表示不同的dropout masks。虚线表示没有dropout的标准connections。当前技术（naive dropout, 左）在不同time steps上使用不同的masks，而在recurrent layers上没有dropout。提出的技术（Variational RNN, 右）在每个timestep上使用相同的dropout mask，包括recurrent layers

我们接着研究了相关的文献和资料，将我们的Variational RNN的近似推断进行公式化，产生提出的dropout变种。实验结果在随后给出。

2.相关研究

3.背景

我们会回顾下Bayesian神经网络和近似变分推断的背景知识。基于这些思想，在下一节我们提出了在probabilistic RNN中的近似推断，它会产生一个dropout的新变种。

3.1 Bayesian神经网络

给定：

  • 训练输入：\(X = \lbrace x_1, \cdots, x_N\rbrace\)
  • 相应的输出：\(Y = \lbrace y_1, \cdots, y_N\rbrace\)

在Bayesian(parametrics) regression中，我们希望推断一个函数\(y=f^w(x)\)（用于生成我们的outputs的可能性）的参数w。什么样的参数可能会生成我们的数据？根据Bayesian方法，我们想将一些先验分布放置在参数空间上：\(p(w)\)。该分布表示了先验，表示哪些参数可能会生成我们的数据。我们进一步需要定义一个likelihood分布\(p(y \mid x, w)\)。对于分类任务，我们会假设一个softmax likelihood：

\[p(y=d \mid x,w) = Categorical(\frac{exp(f_d^w(x))} { \sum\limits_{d'} exp(f_{d'}^w(x))})\]

或者一个关于regression的高斯似然。给定一个数据集X,Y，我们接着寻找在参数空间上的一个后验：\(p(w \mid X,Y)\)。该分布会捕获多个函数参数生成我们所观察到的数据的可能性。有了它，我们可以为一个新的input point \(x^*\)通过下式连续积分来预测一个output：

\[p(y^* | x^*, X, Y) = \int p(y^*|x^*, w) p(w|X,Y) dw\]

…(1)

定义在函数参数集合上的分布的一种方式是：在一个神经网络的权重上放置一个先验分布，生成一个Bayesian NN。对于layer i给定权重矩阵\(W_i\)以及bias vectors \(b_i\)，我们经常在该权重矩阵上放置标准矩阵高斯先验分布，\(p(W_i)=N(0,I)\)，并出于简洁性经常为bias vectors的假设一个点估计(point estimate)。

3.2 Bayesian NN中的近似变分推断

我们感兴趣的是，发现权重矩阵的分布（参数化我们的参数）来生成我们的数据。这也是在给定我们的观察 \(X,Y: p(w \mid X, Y)\)在权重上的后验。该后验在总体上是不可跟踪的，我们会使用变分推断来近似它。我们需要定义一个近似变分分布\(q(w)\)，接着最小化在近似分布和完整后验间的KL divergence：

\[KL(q(w) || p(w|X,Y)) \propto \int q(w) log p(Y|X,w)dw + KL(q(w)||p(w)) \\ = -\sum\limits_1^N \int q(w) log p(y_i | f^w(x_i))dw + KL(q(w)||p(w))\]

…(2)

我们接着将该近似变分推断扩展到probabilistic RNNs上，并使用一个\(q(w)\)分布，它会产生在RNNs上的一个dropout新变种。

4.RNN上的变分推断

在本节中，出于概念简洁性，我们将关注在简单RNN模型上。LSTM和GRU与它相类似。给定长度为T的输入序列：\(x=[x_1, \cdots, x_T]\)，一个简单的RNN通过对函数\(f_h\)重复使用来形成。这会在每个timestep t上生成一个hidden state \(h_t\):

\[h_t = f_h(x_h, h_{t-1}) = \sigma(x_t W_h + h_{t-1} U_h + b_h)\]

\(\sigma\)为非线性函数。该模型可以定义成：\(f_y(h_T) = h_T W_y + b_y\)。我们将该RNN看成是一个概率模型，将参数\(w = \lbrace W_h,U_h,b_h,W_y,b_y \rbrace\)看成是随机变量（遵循正态先验分布）。为了使在w上的依赖更清晰些，我们将\(f_y\)重写成\(f_y^w\)，同理\(f_h^w\)。我们定义了我们的概率模型的likelihood。在随机变量w的后验是相当复杂的，我们使用变分推断以及近似分布\(q(w)\)来近似它。

在等式(2)中对每个sum term进行evaluating，我们可以得到：

\[\int q(w) log p(y|f_y^w(h_T)) dw = \int q(w) log p(y|f_y^w (f_h^w(X_T, h_{T-1}))) dw \\ = \int q(w) log p(y | f_y^w (f_h^w(x_T, f_h^w( \cdots f_h^w(x_1,h_0) \cdots )))) dw\]

其中：\(h_0 = 0\)。我们使用Monte Carlo(MC)积分、并使用单个样本，将它近似为：

\[\approx p(y | f_y^{\hat{w}} (f_h^{\hat{w}} (x_T, f_h^{\hat{w}}( \cdots f_h^{\hat{w}}(x_1,h_0) \cdots )))), \ \ \ \hat{w} \sim q(w)\]

会在每个sum term上产生一个无偏估计。

该estimator可以插入到等式(2)中，来获得最小的objective：

\[L \approx -\sum\limits_{i=1}^N log p(y_i | f_y^{\hat{w}_i} f_h^{\hat{w}_i}(x_{i,T}, f_h^{\hat{w}_i}(x_{i,1},h_0) \cdots )))) + KL(q(w) || p(w))\]

…(3)

注意：对于每个序列\(x_i\)，我们会抽样一个新的实现\(\hat{w}_i = \lbrace \hat{W}_h^i, \hat{U}_h^i, \hat{b}_h^i, \hat{W}_y^i, \hat{b}_y^i \rbrace\)，在序列\(x_i = [x_{i,1}, \cdots, x_{i,T}]\)中的每个symbol会通过函数\(f_h^{\hat{w}_i}\)进行传递，并且在每个timestep \(t \leq T\)上使用相同的weight实现 \(\hat{W}_h^i, \hat{U}_h^i, \hat{b}_h^i\)。

根据[17]，我们定义了我们的近似分布来对权重矩阵和在w中的行进行因式分解（factorise）。对于每个权重矩阵的行\(w_k\)，近似分布为：

\[q(w_k) = p N(w_k; 0, \sigma^2 I) + (1-p) N(w_k; m_k, \sigma^2 I)\]

其中：

  • \(m_k\)是变分参数(row vector)
  • p为(dropout probability)，事先给定
  • \(\sigma^2\)较小

我们在\(m_k\)上最优化；这些对应于在标准视图中RNN的权重矩阵。等式(3)的KL可以被近似成在变分参数\(m_k\)上的\(L_2\)正则。

样本\(\hat{w} \sim q(w)\)，评估模型的output \(f_y^{\hat{w}}(\cdot)\)对应于在forward pass期间在每个权重矩阵W上的行进行随机零化（masking）——例如：执行dropout。我们的目标函数L等同于标准RNN。在我们的RNN setting中，对于一个序列input，每个权重矩阵行会被随机masked一次，很重要的是：在所有time steps上会使用相同的mask。

预测可以被近似成：即会将每个layer的均值(mean)的传播给下一layer（被称为标准的dropout approximation），或者通过等式(1)中q(w)的后验进行近似：

\[p(y^* | x^*, X, Y) \approx \int p(y^*|x^*, w) q(w) d(w) \approx \frac{1}{K} \sum\limits_{k=1}^K p(y^* | x^*, \hat{w}_k)\]

…(4)

以及\(\hat{w}_k \sim q(w)\)，例如，通过在test time时执行dropout并对结果求平均（MC dropout）。

4.1 在RNNs中dropout的实现与关系

实现我们的近似推断等同于以这种方式在RNNs中实现dropout：在每个timestep上drop掉相同的network units，随机drop掉：inputs、outputs、recurrent connections。对比起已经存在的技术：在不同的timesteps上drop掉不同的network units、在recurrent connections上不使用dropout（见图1）。

特定RNN模型，比如：LSTMs和GRUs，在RNN units上使用不同的gates。例如：LSTM使用4个gates来定义：”input”、”forget”、“output”、”input modulation”.

\[\underline{i} = sigm(h_{t-1} U_i + x_t W_i) \\ \underline{f} = sigm(h_{t-1} U_f + x_t W_f) \\ \underline{o} = sigm(h_{t-1} U_o + x_t W_o) \\ \underline{g} = sigm(h_{t-1} U_g + x_t W_g) \\ c_t = \underline{f} \circ c_{t-1} + \underline{i} \circ \underline{g} \\ h_t = \underline{o} \circ tanh(c_t)\]

其中：

  • \(w = \lbrace W_i, U_i, W_f, U_f, W_o, U_o, W_g, U_g\rbrace\)为权重矩阵
  • \(\circ\)为element-wise product

这里，内部state \(c_t\)（被称为cell）被求和式的更新。

该模型可以被重新参数化为：

\[\begin{pmatrix} \underline{i} \\ \underline{f} \\ \underline{o} \\ \underline{g} \end{pmatrix} = \begin{pmatrix} sigm \\ sigm \\ sigm \\ tanh \end{pmatrix} ( \begin{pmatrix} x_t \\ h_{t-1} \end{pmatrix} ) \cdot W\]

…(6)

其中：\(w = \lbrace W \rbrace\)，W是一个2K x 4K的矩阵（K是\(x_t\)的维度）。我们将该参数命名为：tied-weights LSTM（对比于等式(5)中的untied-weights LSTM）

尽管这两个参数会产生相同的deterministic模型，它们会产生不同的近似分布\(q(w)\)。有了第一个参数，对于不同gates可以使用不同的dropout masks（即使当使用相同input \(x_t\)时）。这是因为，近似分布会放在在矩阵上而非inputs上：我们会drop掉一个权重矩阵W中特定的行，并将它应用在\(w_t\)上；在另一矩阵\(W'\)上drop掉不同的行，并应用到\(x_t\)上。第二个参数，我们会在单个矩阵W上放置一个分布。这会产生一个更快的forward-pass，但是会轻微减弱实验的效果。

在更具体的项上，我们会重写我们的dropout变种，使用第二个参数(等式(6))：

\[\begin{pmatrix} \underline{i} \\ \underline{f} \\ \underline{o} \\ \underline{g} \end{pmatrix} = \begin{pmatrix} sigm \\ sigm \\ sigm \\ tanh \end{pmatrix} ( \begin{pmatrix} x_t \circ z_x \\ h_{t-1} \circ z_h \end{pmatrix} \cdot W)\]

…(7)

其中，\(z_x, z_h\)会在所有time steps上随机mask（与等式(5)的参数相似）。

作为比较，Zaremba[4]的dropout变种（rnndropout）会将等式(7)中的\(z_x\)替代成时间独立的（time-dependent） \(z_x^t\)，它会在每个time step上重新再抽样（其中：\(z_h\)被移除，recurrent connection \(h_{t-1}\)不会被drop掉）：

\[\begin{pmatrix} \underline{i} \\ \underline{f} \\ \underline{o} \\ \underline{g} \end{pmatrix} = \begin{pmatrix} sigm \\ sigm \\ sigm \\ tanh \end{pmatrix} ( \begin{pmatrix} x_t \circ z_x^t \\ h_{t-1} \end{pmatrix} \cdot W)\]

另外，Moon[20]的dropout变种则将等式(5)进行变化，会采用internal cell：

\[c_t = c_t \circ z_c\]

其中，在所有time steps上会使用相同的mask \(z_c\)。注意，不同于[20]，通过将dropout看成是一个在权重上的operation，我们的技术可以很容易扩展到RNNs和GRUs上。

4.2 Word Embeddings Dropout

在具有连续输入的数据集中，我们经常将dropout应用到input layer上——例如：input vector本身。这等价于在weight matrix上放置一个分布，它跟着input，并能近似对它求积分（该matrix是可优化的，否则会有overfitting的倾向）

但对于离散输入的模型（比如：words，每个word会被映射到一个连续的vector: word embedding中）却很少这样做。有了word embeddings，input可以看成是word embedding或者是一个“one-hot” encoding。one-hot编码的vector与一个embedding matrix \(W_E \in R^{V \times D}\) 的乘积就给出了一个word embedding。好奇的是，该parameter layer是在大多数语言应用中最大的layer，但它经常不会正则化。因为embedding matrix的优化可能会导致overfitting，因此希望将dropout应用到one-hot encoded vectors。这事实上等同于在输入句子上随机drop掉words。可以解释成：对于它的output，模型不依赖于单个词。

注意，在开始前，我们会将矩阵\(W_E \in R^{V \times D}\)的行随机设置为0. 因为我们会在每个time step上重复相同的mask，我们会在整个序列上drop掉相同的words——例如，我们随机drop掉word types，而非word tokens（例如：句子“the dog and the cat”可能会变为：“- dog and - cat”或者“the - and the cat”，但不会是“- dog and the cat”）。一种可能无效的实现是，需要对V的Bernoullli随机变量进行抽样，其中V可能很大。这可以通过对长度为T的序列，至多有T个embeddings被drop的方式来解决（其它drop掉的embeddings不会对模型output有影响）。对于\(T \ll V\)，最有效的方式是，首先将words映射到word embeddings上，接着基于它们的word-type将word embedding进行zero-out。

5.评估

略。

#6.DropoutWrapper

这里再说一下tensorflow中的tf.nn.rnn_cell.DropoutWrapper。里面有一个比较重要的参数：variational_recurrent（缺省为False）。

如果设置为True，它就会在每个step上使用相同的dropout mask，如上面的paper描述。如果设置为False，则会在每个timestep上设置一个不同的dropout mask。

注意，缺省情况下（除排提供一个定制的dropout_state_filter），经过DropoutWrapper 的memory state（LSTMStateTuple中的component c）不会被更改。该行为在上述文章中有描述。

参考

d0evi1 Reading time ~1 minute

我们来看下Wojciech Zaremba和google brain的人在ICLR 2015提出了《recurrent neural network regularization》，在rnn上使用dropout。

摘要

我们发表了一种简单的regularization技术用于LSTM units的RNNs中。Dropout是神经网络正则化中最成功的技术，但它不能与RNNs和LSTMs有效运行。在本paper中，我们展示了如何将dropout正确应用到LSTMs中，并展示了在多个任务上dropout实质上可以减小overfitting。这些任务包含：语言建模、语音识别、图片标题生成、机器翻译。

1.介绍

RNN是神经序列模型，并在多个重要任务上达到了state-of-the-art的效果。我们知道，神经网络的成功应用需要好的正则化（regularization）。不幸的是，对于前馈神经网络最重要的regularzation：dropout(Srivastava 2013)，却不能与RNNs有效运行。因而，RNNs的实际应用经常使用很小的模型，因为大的RNNs会趋向于overfit。已经存在的regularization方法对于RNNs的相对提升较小。在本文中，我们展示了正确使用dropout时可以极大减小在LSTMs中的overfitting，并在三个不同问题上进行了evaluate。

本文代码可在：https://github.com/wojzaremba/lstm找到。

2.相关工作

略

3.LSTM cells RNN的正则化

在本节中，我们描述了deep LSTM。接着，展示了如何对它正则化，并解释了我们的regularization scheme。

我们假设下标表示timesteps，上标表示layers。所有我们的states都是n维的。假设：

  • \(h_t^l \in R^n\)是在timestep t时在layer l上的一个hidden state。
  • \(T_{n,m}: R^n \rightarrow R^m\)是一个仿射变换（Wx+b, 对于一些W和b）。
  • \(\odot\)是element-wise乘法，
  • \(h_t^0\)是一个在timestep t上的input word vector。

我们使用activations \(h_t^L\)来预测\(y_t\)，因为L是在我们的deep LSTM中的layers数目。

3.1 LSTM units

RNN的动态性可以使用从前一hidden states到当前hidden states上的确定转换（deterministic transitions）来描述。deterministic state transition是一个函数：

\[RNN: h_t^{l-1}, h_{t-1}^l \rightarrow h_t^l\]

对于经典的RNNs，该函数可以通过下式给出：

\[h_t^l = f(T_{n,n} h_t^{l-1} + T_{n,n} h_{t-1}^l), where \ f \in \lbrace sigm, tanh \rbrace\]

LSTM具有复杂的动态性，使得它对于可以轻易地“记住（memorize）” 一段时间内的信息。“long term” memory被存储在memory cells \(c_t^l \in R^n\)的一个vector中。尽管许多LSTM的架构在它们的连接结构和激活函数上有所区别，所有的LSTM结构都具有显式的memory cells来存储长期的信息。LSTM可以决定是否overwrite memory cell，或者检索它，或者在下一time step上继续保留它。LSTM的结构如下：

\[LSTM: h_t^{l-1}, h_{t-1}^l, c_{t-1}^l \rightarrow h_t^l,c_t^l \\ \begin{pmatrix} i \\ j \\ o \\ g \end{pmatrix} = \begin{pmatrix} sigm \\ sigm \\ sigm \\ tanh \end{pmatrix} T_{2n, 4n} \begin{pmatrix} h_t^{l-1} \\ h_{t-1}^l \end{pmatrix} \\ c_t^l = f \odot c_{t-1}^l + i \odot g \\ h_t^l = o \odot tanh(c_t^l)\]

在这些等式中，sigm和tanh是element-wise。图1展示了LSTM的等式。

图1: LSTM memory cells的图形化表示

3.2 使用dropout正则化

该paper的主要贡献是：应用dropout到LSTMs中，并成功地减小了overfitting。主要思想是：将dropout operator只应用在非递回连接（non-recurrent connections）(图2)上。

图2: 多层RNN的正则化。虚线键头表示dropout所应用的connections，实线表示不使用dropout的connections

下面的等式可以更精确地描述该过程。其中D是dropout operator，它会将参数的一个随机子集设置为0:

\[\begin{pmatrix} i \\ j \\ o \\ g \end{pmatrix} = \begin{pmatrix} sigm \\ sigm \\ sigm \\ tanh \end{pmatrix} T_{2n, 4n} \begin{pmatrix} D(h_t^{l-1}) \\ h_{t-1}^l \end{pmatrix} \\ c_t^l = f \odot c_{t-1}^l + i \odot g \\ h_t^l = o \odot tanh(c_t^l)\]

我们的方法如下运行。dropout operator会使得units所携带的信息不纯（corrupts），强制它们更健壮地执行它们的中间计算。同时，我们不希望抹掉来自该units的所有信息。特别重要的是，该units会记住：过去多个timesteps上发生的events。图3展示了在我们的dropout实现中，信息是如何从timestep t-2发生的event流向在timestep t+2上的预测的。我们可以看到，通过dropout operator所corrupt的信息也恰好是L+1 times，该数目与该信息所经过的timesteps数目是相互独立的。标准的dropout会扰乱（perturb）recurrent connections，这使得使用标准dropout的LSTM很难学习如何来存储长期信息。通过不在recurrent connections上使用dropout的这种方式，LSTM可以受益于dropout regularization、又可以不牺牲它的记忆特质。

图3 厚线展示了在LSTM中的信息流的一个典型路径。该信息会被dropout影响L+1次，其中L是网络深度

4.实验

略

5.理论

可以参考：《A Theoretically Grounded Application of Dropout in Recurrent Neural Networks》

参考

d0evi1 Reading time ~1 minute

Xavier Glorot在2010年的《Understanding the difficulty of training deep feedforward neural networks》提出了xavier glorot intialization，该方法在tensorflow中直接有集成。

介绍

在2006年前，深度多层神经网络不能很成功地进行训练，自那以后，许多方法被成功训练，实验结果表明层度更深的架构要比层度浅的要好。取得的所有这些实验结果，都使用了新的初始化（intialization）或训练机制。我们的目标是，更好理解为什么深度神经网络进行随机初始化(random initialzation)的标准梯度下降，效果会很差；以及更好理解最近的成功算法以及更好地帮助你设计算法。我们首先观察下非线性激活函数的影响。我们发现，logistic sigmoid激活函数对于进行随机初始化的深度网络是不合适的，因为它的均值(mean value)会特别推动top hidden layer进入饱和态(saturation)。令人吃惊的是，我们发现饱和态单元(saturated units)可以自己摆脱饱和态（即使很慢），并解释了在训练神经网络时有时会看到的停滞态（plateaus）。我们发现，一种具有更少的饱和态的新非线性函数会更有意义。最后，在训练期间，我们研究了activations和gradients会随着layers的不同而不同，并认为：当每个layer相关的jacobian的奇异值(singular values)与1相差很大时，训练可能更困难。基于该思想，我们提出了一种新的intialization scheme，它可以带来更快的收敛。

1.DNN介绍

略

我们的分析受在多layers、跨多个训练迭代上监控activations（观看hidden units饱和态）、gradients的实验所启发。也评估了多种activation函数、intialzation过程上的效果。

2.实验设置和数据集

代码在这部分有介绍：http://www.iro.umontreal. ca/˜lisa/twiki/bin/view.cgi/Public/ DeepGradientsAISTATS2010

2.1 Shapeset-3x2上的在线学习

最近的深度结构研究(bengio 2009)表明，非常大的训练集或在线学习上，非监督预训练上的初始化会产生大幅提升，随着训练样本数的增加，并不会有vanish。online setting也很有意思，因为它主要关注optimization issues，而非在小样本正则化的影响，因此我们决定在我们的实验中包含一个人工合成的图片数据集，并从中抽样多个样本，来测试online学习。

我们称该数据集为Shapeset-3x2 dataset，如图1所示。shapeset-3x2包含了1或2个二维物体(objects)，每个都从3个shape类目（三角形、平行四边形、椭圆形）中获取，并使用随机形态参数（相对长度／角度）、缩放、旋转、翻转和灰度化进行放置。

我们注意到，识别图片中只有一个shape的很简单。因此，我们决定抽样带有两个物体（objects）的图片，限制条件是，第二个物体不能与第一个重合超过50%的区域，来避免整体隐藏掉。该任务是预计多个物体（比如：三角形+椭圆、并行四边形+并行四边形），不需要去区分foreground shape和background shape。因此我们定义了九种配置类。

该任务相当困难，因为我们需要发现在旋转、翻转、缩放、颜色、封闭体和相对位置。同时，我们需要抽取变量因子来预测哪个object shapes。

图片的size固定在32x32,以便更有效的进行深度dense网络。

2.2 有限数据集

  • MNIST digits数据集：50000训练图片、10000验证图片、10000测试图片、每个展示了一个关于10个数字的28x28灰度图片。

  • CIFAR-10: 50000训练样本、10000验证图片、10000测试图片。10个类，每个对应于图片上的一个物体：飞机、汽车、鸟、等等。

  • Small-ImageNet：

2.3 实验设置

我们使用1到5个hidden layers、每层1000个hidden units、output ayer上一个softmax logistic regression来优化前馈神经网络. cost function是负log似然，\(-logP(y \mid x)\)，其中(x,y)是(输入图片，目标分类)对。该网络在size=10的minibatchs上使用随机BP，例如： \(\frac{\partial -logP(y \mid x)}{\partial \theta}\)的平均g，可以通过10个连续training pairs(x,y)计算，并用于更新在该方向上的参数\(\theta\)，\(\theta \leftarrow \theta - \epsilon g\)。learning rate \(\epsilon\)是一个超参数，它可以基于验证集error来进行最优化。

我们会使用在hidden layers上的多种类型的非线性激活函数：sigmoid，tanh(x)，以及softsign \(w/(1+\mid x\mid\)。其中softsign与tanh很相似，但它的尾部是二次多项式，而非指数，比如：它的渐近线更缓慢。

作为对比，我们会为每个模型搜索最好的参数（learning rate和depth）。注意，对于shapeset-3x2, 最好的depth总是5, 而对于sigmoid，最好的深度为4.

我们会将biases初始化为0, 在每一层的weights \(W_{ij}\)，有如下公共使用的启发式方法：

\[W_{ij} ~ U[\frac{1}{\sqrt{n}}, \frac{1}{\sqrt{n}}]\]

其中，U[-a, a]是在区间(-a,a)上的均匀分布(uniform distribution)，n是前一layer的size（列数目为W）。

3.激活函数的效果、训练期间的饱和态

我们希望避免两个事情，它们可以通过激活函数的演化来揭露：激活函数的过饱和（梯度将不会很好地进行传播），过度线性单元（overly linear units；他们有时会计算一些不感兴趣的东西）。

3.1 sigmoid实验

3.2 tanh实验

3.3 softsign实验

4.研究梯度和它们的传播

4.1 cost function的效果

4.2 初始化时的梯度

4.2.1 一种新的归一化初始化理论思考

我们在每一层的inputs biases上研究了BP梯度，或者梯度的cost function。Bradley (2009)发现BP的梯度会随着output layer向input layer方法传递时会更小，在初始化之后。他研究了在每层使用线性激活函数的网络，发现BP梯度的variance会随着我们在网络上进行backwards而减小。我们也通过研究线性状态开始。

对于使用在0处有单位导数(比如：\(f'(0)=1\))的对称激活函数（symmetric activation function）f的一个dense的人工神经网络（artificial neural network），如果我们将layer i的activation vector写为\(z^i\)，layer i上激活函数的参数向量(argument vector)写为\(s^i\)，我们有：\(s^i = z^i W^i + b^i\)，\(z^{i+1}=f(s^i)\)。从这些定义中我们可以获得如下：

\[\]

…(2)

…(3)

方差(variances)各种对应input、output、权重进行随机初始化。考虑到这样的假设：我们在初始化时会在线性状态（linear regime），权重会独立初始化，输入特征方差相同（=Var[x]）。接着，我们可以说，\(n_i\)是layer i的size，x为input：

…(4)

…(5)

我们将在layer i’上的所有权重的共享标量方差写为\(Var[W^{i'}]\)。接着对于 d layers的一个网络：

…(6) …(7)

从一个前向传播的角度看，我们可以像以下方式来保持信息流：

…(8)

从一个后向传播的角色，相似的，有：

…(9)

这两个条件(conditions)转换为：

…(10)

…(11)

作为这两个限制条件间的折中，我们希望有：

…(12)

当所有layers具有相同的宽度时，需要注意：如何同时满足这两个限制(constraints)。如果我们为权重(weights)具有相同的初始化，我们可以得到以下有意思的特性：

…(13)

…(14)

我们可以看到，在权重上梯度的方便对于所有layers是相同的，但BP梯度的方差可能仍会随着更深的网络而消失（vanish）或爆炸（explode）。

我们使用等式(1)的标准初始化，它会产生如下特性的方差：

\[n Var[W] = \frac{1}{3}\]

…(15)

其中，n是layer size（假设所有layers都具有相同的size）。这会造成BP梯度的方差依赖于该layer（并递减）。

当初始化深度网络时，由于通过多层的乘法效应（multiplicative effect），归一化因子（normalization factor）可能非常重要，我们建议，以下的初始化过程可以近似满足我们的目标：保持激活函数的方差（activation variances）和BP梯度方差会随着网络上下移动。我们称之为归一化初始化（normalized initialzation）：

\[W \sim U [ - \frac{\sqrt{6}}{\sqrt{n_j + n_{j+1}}}, \frac{\sqrt{6}}{\sqrt{n_j + n_{j+1}}} ]\]

…(16)

4.2.2 梯度传播研究

为了经验上验证以上的理论思想，我们绘制了一些关于activation values、weight gradients的归一化直方图，在初始化处的BP梯度，使用两种不同的初始化方法。shapeset-3x2的实验结果如图所示（图6,7,8），其它数据集也可以获得相似的结果。

我们会监控与layer i相关的Jacobian矩阵的奇异值：

\[J^i = \frac{\partial z^{i+1}}{\partial z^i}\]

…(17)

当连续层（consecutive layers）具有相同的维度时，对应于极小量平均比例(average ratio of infinitesimal volumes)的平均奇异值从\(z^i\)映射到\(z^{i+1}\)，而平均激活方差的ratio也会从\(z^i\)映射到\(z^{i+1}\)。有了我们的归一化初始化，该ratio会在0.8周围; 而使用标准初始化，它会降到0.5.

图6

4.3 学习期间的梯度BP

在这样的网络中，学习的动态性是很复杂的，我们想开发更好的工具来分析和跟踪它。特别的，我们在我们的理论分析中不能使用简单的方差计算；因为权重值不再独立于activation values，也会违反线性假设。

正如Bradley(2009)年首次提到的，我们观察到(如图7所示)，在训练的开始处，在标准初始化（等式1）后，BP梯度的方差会随着传播的下降而变更小。然而，我们发现，该趋势在学习期间逆转的非常快。使用我们的归一化初始化，我们不会看到这样的减小的BP梯度（如图7底部所示）。

令人吃惊的是，当BP gradients变得更小时，跨layers的weights gradients仍是常数，如图8所示。然而，这可以通过我们上述的理论分析（等式14）进行解释。如图9所示，令人感兴趣的是，关于标准初始化和归一化初始化的权重梯度上的这些观察会在训练期间变化（这里是一个tanh网络）。实际上，梯度初始时粗略具有相同的幅度，随着训练的进度会各自不同（越低层具有更大的梯度），特别是当使用标准初始化时。注意，这可能是归一化初始化的一个优点，因为它在不同的layers上具有非常不同幅值的梯度，可以产生病态性（ill-conditioning），以及更慢的训练。

最终，我们观察到，使用归一化初始化的softsign网络与tanh网络共享相似，我们可以对比两者的activations的演进看到（图3底部和图10）。

5.error曲线和结论

我们关心的最终考虑点是，使用不同策略的训练的成功，这可以使用error curves来展示，它可以展示test error随着训练的过程和渐近而演进。图11展示了在shapeset-3x2上在线学习训练的曲线，其中表1给出了对所有数据集的最终的test error。作为baseline，我们在10w个shapeset样本上使用优化的RBF SVM模型，并获得了59.47%的test error，而在相同的集合上，使用一个深度为5的tanh网络、并使用归一化初始化可以获得50.47%的test error。

结果表明，activation和intialization的选择的效果。作为参考，我们在图11中。

参考

d0evi1 Reading time ~2 minutes

Faster R-CNN由Ross Girshick等人提出。

总览

在目标检测领域的最新进展来源于候选区域法（region proposal methods）以基于区域的卷积神经网络（region-based convolutional neural networks）的成功。尽管region-based CNN开销很大，但如果通过跨候选块（proposals）共享卷积，可以极大地减小开销。当忽略掉在候选区域（region proposals）上花费的时间时，Fast R-CNN通过使用极深网络已经达到了接近实时的准确率。现在，在主流的检测系统中，在测试时间上都存在着proposals的计算瓶劲。

候选区域法（Region proposal methods）通常依赖于开销低的特征以及比较经济的inference模式(schemes)。选择性搜索法（Selective Search）是其中一种最流行的方法之一，它会基于已经开发的底层特征(low-level features)，对超像素 (superpixels)进行贪婪式合并。当与其它有效的检测网络[paper 2]进行对比时，Selective Search方法会更慢些，在CPU的实现上每张图片需要2秒耗时。EdgeBoxes[6]方法提供了在proposal上的质量和速率上的最佳权衡，每张图片0.2秒。尽管如此，候选区域（region proposal）阶段步骤仍然会像该检测网络一样消耗相当多的运行时（running time）。

有人注意到，fast RCNN(fast region-based CNN)可以利用GPU，而在研究中使用的候选区域法(region proposal methods)则通常在CPU上实现，使得这样的运行时比较变得不公平。很明显，一种用于加速proposal计算的方法就是：在GPU上重新实现。这是一个有效的工程解决方案，但重新实现会忽略下游的检测网络（down-stream detection network），从而失去共享计算的机会。

本paper中展示了一种新方法：使用DNN来计算候选（proposals），来产生一个优雅并有效的解决方案，在给定检测网络的计算下，其中proposal计算的几乎没有开销。我们引入了新的Region Proposal Networks（RPNs）来在最新的目标检测网络[1][2]中共享卷积层。通过在测试时（test-time）共享卷积，计算proposals的边缘开销很小（例如：每张图片10ms）。

我们观察到，由region-based dectectors（例如：Fast R-CNN）所使用的卷积特征图，也可以被用于生成候选区域（region proposals）。在这些卷积特征（convolutional features）之上，我们通过添加一些额外的卷积层（conv layers）构建了一个RPN，这些layers可以对一个常规网格(regular grid)上的每个位置，同时对区域边界（region bounds）进行回归(regression)、以及生成目标得分（objectness scores）。RPN是这样一种完全卷积网络（FCN: fully convolutional network）[7]，它可以以end-to-end方式训练，特别适用于生成检测候选（detection proposals）。

图1: 多种scales和sizes下的不同模式（schemes）。(a) 构建图片和feature maps的金字塔，在所有scales上运行分类器 (b) 使用多个scales/sizes的filters，在feature map上运行 (c) 使用在回归函数中参照框(reference box)金字塔

RPN被设计成使用一个较广范围的比例（scales）和高宽比（aspect ratios）来高效地预测region proposals。对比于上面使用图片金字塔（图1，a）的方法或者过滤器金字塔（图1，b），我们引入了新的锚点边框“anchor” boxes，在多个不同尺度和高宽比的情况下充当参照（references）。我们的scheme可以被看成是一个对参照（references）进行回归的金字塔（图1,c），它可以避免枚举多个不同尺度和高宽比的图片或filters。当使用单尺度图片进行训练和测试时，该模型执行很好，并且能提升运行速度。

为了将RPN和Fast R-CNN目标检测网络进行统一，我们提出了一个training scheme，它可以轮流为region proposal任务和目标检测任务进行fine-tuning，并保持proposals固定。该scheme可以快速收敛，并生成一个使用卷积特征(可在任务间共享)的统一网络。

我们在PASCAL VOC benchmarks上进行综合评估，其中使用Fast R-CNN的RPNs准确率比使用Fast R-CNN的Selective Search(baseline)要好。同时，我们的方法没有Selective Search在测试时的计算开销——可以在10ms内有效运行proposals。使用昂贵的极深网络，我们的检测方法在GPU上仍然有5fps（包含所有steps）的帧率，这是一个在速率和准确率上实际可行的目标检测系统。我们也在MS COCO数据集上做了测试，并研究了在PASCAL VOC数据集上使用COCO数据进行提升。代码在：matlab code 和 python code。

该paper的预览版在此前有发布。在此之后，RPN和Faster R-CNN的框架已经被其它方法实现并实现，比如：3D目标检测[13], part-based detection[14], instance segmentation[15]，image captioning[16]。我们的快速有效目标检测系统已经在比如Pinterests等商业系统中使用。

在ILSVRC和COCO 2015比赛中，Faster R-CNN和RPN是在ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation等众多领域第1名方法的基础。RPNs可以从数据中学到propose regions，这可以从更深和更昂贵特征中受益（比如101-layer residual nets）。Faster R-CNN和RPN也可以被许多其它参赛者使用。这些结果表明我们的方法不仅是一个有效的解决方案，也是一种有效方法来提升目标检索的准确率。

2.相关工作

候选目标（Object Proposals）法。在object proposal methods中有大量文献。可以在[19],[20],[21]中找到。广泛被使用的object proposal methods中包含了以下方法：

  • 基于grouping super-pixels的方法（Selective Search, CPMC, MCG）
  • 基于滑动窗口的方法（objectness in windows[24], EdgeBoxes [6])。

Object proposal methods被看成是dectectors之外独立的一个模块。

深度网络法：R-CNN法可以训练一个CNN的end-to-end网络来将proposal regions分类成目标类别（object categories）或是背景(background)。R-CNN主要扮演分类器的角色，它不会预测对象的边界（除了通过bounding box regression进行重定义）。它的准确率依赖于region proposal模块的性能。许多papers[25],[9],[26],[27]提出了使用深度网络来预测目标的bounding boxes。在OverFeat方法中[9]，会训练一个FC layer来为单个目标的定位任务预测box的坐标。FC-layer接着会转化成一个conv-layer来检测多个特定类别的目标。MultiBox方法[26],[27]会从一个最后一层为FC layer（可以同时预测多个未知类的boxes）的网络中生成region proposals，生成OverFeat方式下的单个box。这些未知类别的boxes可以被用于R-CNN的proposals。对比于我们的fully conv scheme，MultiBox proposal网络可以被用于单个图片的裁减或多个大图片的裁减。

。。。

3.Faster R-CNN

我们的目标检测系统，称为Faster R-CNN，由两个模块组成。第一个模块是深度完全卷积网络，它用于生成候选区域；第二个模块是Fast R-CNN检测器，它会使用这些候选区域。整个系统是一个统一的网络，使用了最近神经网络中的流行术语：attention机制，RPN模块会告诉Fast R-CNN模块去看哪里。在3.1节中，我们介绍了该网络的设计和属性。在3.2节中，我们开发算法来训练两个模块，并共享特征。

3.1 RPN

一个RPN会将一张图片（任意size）作为输入，输出一个矩形候选目标集合，每一个都有一个目标得分(objetness score)。我们使用一个完全卷积网络(fully conv network)将该过程建模，会在该部分描述。由于我们的最终目标是使用一个Fast R-CNN网络来共享计算，我们假设两个网络共享一个公共的卷积层(conv layers)集合。在我们的实验中，我们研究了ZF model[5]：它有5个共享的conv layers；以及VGG16 [3] ：它有13个共享的conv layers。

为了生成候选区域（region proposals），我们在由最后一个共享conv layer所输出的conv feature map上滑动一个小网络。该小网络会将一个在input conv feature map上的n x n的空间窗口作为输入。每个滑动窗口被映射到一个更低维的feature（ZF:256-d, VGG: 512-d）上。该feature会被fed进两个相邻的FC-Layer上——一个box-regression layer（reg），另一个是box-classification layer (cls)。在本paper中，我们使用n=3, 注意在输入图片上的有效接受域（effective receptive field）非常大(ZF: 171 pixels, VGG: 228 pixels)。该mini-network如图3(左）所示。注意，由于mini-network以滑动窗口的方式操作，FC-Layers会跨所有空间位置被共享。该结果很自然地使用一个n x n的conv layer进行实现，接着两个同级的1x1 conv layers（reg和cls）

3.1.1 Anchors

在每个滑动窗口位置上，我们同时预测多个候选区域（region proposals），其中每个位置的最大可能候选数量被表示成k。因而reg layer具有4k的输出，它可以编码k个boxes的坐标；cls layer输出2k个得分，它用来估计每个proposal是object还是非object的概率。k个候选(proposals)被相对参数化到k个参考框（reference boxes），我们称之为锚点（anchors）。一个anchor位于当前的滑动窗口的中心，与一个scale和aspect ratio（图3, 左）相关联。缺省的，我们使用3个scales和3个aspect ratios，在每个滑动位置上产生k=9个anchors。对于一个size=W x H（通常~2400）卷积特征图（conv feature map），总共就会有WHk个anchors。

平移不变的Anchors

我们的方法的一个重要属性是：平移不变性（translation invariant）， 对于该anchors、以及用于计算相对于该anchors的proposals的该functions都适用。如果在一个图片中移动一个object，该proposal也会平移，相同的函数应能预测在该位置的proposal。这种平移不变特征由方法5所保证。作为比较，MultiBox方法[27]使用k-means来生成800个anchors，它并没有平移不变性。因而，MultiBox不会保证：如果一个object发生平移仍会生成相同的proposal。

平移不变性也会减小模型的size。MultiBox具有一个(4+1) x 800维的FC output layer，其中我们的方法具有一个(4+2) x 9维的conv output layer，anchors数为k=9个。结果是，我们的output layer具有\(2.8 \times 10^4\)个参数(VGG-16: \(512 \times (4+2) \times 9\))，比MultiBox的output layer的参数（\(6.1 \time 10^6\)）要少两阶。如果考虑上特征投影层（feature projection layers），我们的proposal layers仍比MultiBox的参数少一阶。我们希望我们的方法在小数据集上（比如：PASCAL VOC）更不容易overfit。

图3:

Multi-Scal anchors as Regression References

关于anchors的设计，提供了一种新的scheme来发表多个scales（以及aspect ratios）。如图1所示，具有两个流行的方法来进行multi-scale预测。第一种方法基于image/feature 金字塔，比如：DPM和基于CNN的方法。这些图片以多种scales进行resize，在每个scale上计算feature maps（HOG或deep conv features）（如图1(a)所示）。该方法通常很有用，但耗时严重。第二种方法是在feature maps上使用多个scales（或aspect ratios）的滑动窗口。例如，在DPM中，不同aspect ratios的模型使用不同的filter sizes（比如：5x7和7x5）进行单独训练。如果该方法用于解决multi scales，它可以被认为是一个“过滤器金字塔（pyramid of filters）”（如图1(b)所示）。第二种方法通常与第一种方法联合被采纳。

作为比较，我们的基于anchor的方法构建了一个关于anchors的金字塔，它效率更高。我们的方法会进行分类和回归bounding boxes，使用multi scales和aspect ratios的anchor boxes。它只取决于单一尺度的图片和feature maps，以及使用单一size的filters（在feature map上滑动窗口）。我们通过实验展示了该scheme用于解决multiple scales和sizes的效果（表8）。

由于该multi-scale设计基于anchors，我们可以简单地使用在单一尺度的图片上计算得到的conv features，这也可以由Fast R-CNN detector来完成。multi-scale anchors的设计是共享特征的核心关键（无需额外开销来解决scales问题）。

3.1.2 Loss函数

为了训练RPN，我们为每个anchor分配一个二元分类label（是object、不是object）。我们分配一个正向label给两种类型的anchors：

  • (i) 具有与一个ground truth box的IoU（Intersection-over-Union）重合率最高的anchor/anchors
  • (ii) 具有一个与任意ground-truth box的IoU重合度高于0.7的anchor

注意，单个ground-truth box可以分配一个正向label给多个anchors。通常第二个条件足够决定正样本；但我们仍采用了第一个条件，原因是有些罕见的case在第二个条件下会找不到正样本。

假如它的相对所有ground-truth boxes的IoU ratio低于0.3, 我们分配一个负向label给一个非正anchor. 即非正，也非负的anchors对训练目标贡献不大。

有了上述定义，我们根据在Fast R-CNN中的多任务loss来最小化目标函数。一张图片的loss function如下所示：

\(L(\{p_i\}, \{t_i\}) = \frac{1}{N_{cls}} \sum_{i} L_{cls} (p_i, p^*) + \lambda \frac{1}{N_{reg}} \sum_i p_i^* L_{reg}(t_i, t_i^*)\) …(1)

这里，

  • i表示在mini-batch中的一个anchor的索引
  • \(p_i\)表示anchor i是object的预测概率。
  • 如果该anchor为正，ground-truth label \(p_i^*\)是1;否则为0.
  • \(t_i\)是一个向量，表示要预测的bounding box的4个参数化坐标
  • \(t_i^*\)是与一个正锚点（positive anchor）相关的ground-truth box。
  • \(L_{cls}\)是分类loss，它是关于两个类别的log loss。
  • \(L_{reg}(t_i, t_i^*) = R (t_i - t_i^*)\)是回归loss，其中R是robust loss function（L1平滑）。
  • \(p_i^* L_{reg}\)意味着regression loss当为正锚点时（\(p_i^*=1\)）激活，否则禁止（\(p_i^*=0\)）

两个项(term)通过\(N_{cls}\)和\(N_{reg}\)被归一化，通过一个参数\(\lambda\)进行加权。在我们当前实现中（释出的代码），等式(1)中的cls项通过mini-batch size进行归一化（例如：\(N_{cls}=256\)），reg项通过anchor位置的数目进行归一化（例如：\(N_{reg} ~ 2400\)）。缺省的，我们设置\(\lambda=10\)，接着cls和reg两项会被加权。通过实验我们发现，结果对于\(\lambda\)的值在一个宽范围内是敏感的（见表9）。我们也注意到，归一化（normalization）不是必需的，可以简化。

表9

对于bounding box回归，我们采用了以下的4坐标的参数化：

\[t_x = (x-x_a) / w_a, t_y = (y-y_s) / h_a\] \[t_w = log(w/w_a), t_h = log(h/h_a)\] \[t_x^*=(x^* - x_a)/w_a, t_y^*=(y^* - y_a) / h_a\] \[t_w^* = log(w^*/w_a), t_h^* = log(h^*/h_a)\]

…(2)

其中，x, y, w和h表示box的中心坐标、宽、高。变量x, \(x_a\)，以及\(x^*\)分别是预测box，anchor box，ground-truth box（y,w,h也类似）。这可以被认为是从一个anchor box到一个接近的ground-truth box的bounding-box regression。

然而，我们的方法与之前的基于RoI（Region of Interest）的方法不同，通过一种不同的方式达成bounding-box regression。bounding-box regression在由特定size的RoI上的features来执行，该regression weights被所有region sizes共享。在我们的公式中，用于回归的该features在feature maps上的空间size上(3x3)相同。为了应付不同的size，会学到k个bounding-box regressors集合。每个regressor负责一个scale和一个aspect ratio，k个regressors不会共享权重。由于anchors的这种设计，仍然能预测不同size的boxes，即使features是一个固定的size/scale。

3.1.3 训练RPNs

RPN可以通过BP和SGD以end-to-end的方式进行训练。我们根据”以图片为中心（image-centric）”的抽样策略来训练网络。从单个图片中提取的每个mini-batch，包含了许多正负样本锚点。它可以为所有anchors的loss functions进行优化，但会偏向主导地位的负样本。作为替代，我们在一个图片上随机抽取256个锚点，来计算一个mini-batch的loss函数，其中抽样到的正负锚点的比例为1:1。如果在一个图片中正样本数少于128个，我们将将该mini-batch以负样本进行补齐。

我们通过从一个零均值、标准差为0.01的高斯分布中抽取权重，来随机初始化所有new layers。所有其它layers（比如：共享的conv layers）通过ImageNet分类得到的预训练模型进行初始化。接着调整ZF net的所有layers，conv3_1以及来保存内存。我们在PASCAL VOC数据集上，对于mini-batches=60k使用使用learning rate=0.001，对于mini-batch=20k使用learning rate=0.0001. 我们使用一个momentum=0.9, weight decay=0.0005, 代码用Caffe实现。

3.2 为RPN和Rast R-CNN共享特征

我们已经描述了如何去训练一个网络来进行region proposal的生成，无需考虑基于region的目标检测CNN会使用这些proposals。对于检测网络，我们采用Fast R-CNN。接着，我们描述的算法会学到一个统一的网络，它由RPN和Fast R-CNN组成，它们会共享conv layers（如图2）。

图2

如果RPN和Fast R-CNN独立训练，会以不同的方式修改它们的conv layers。因此需要开发一个技术来允许在两个网络间共享conv layers，而非学习两个独立的网络。我们讨论了三种方式来训练特征共享的网络：

  • (i) 交替训练（Alternating training）。在这种方案中，我们首先训练RPN，接着使用这些proposals来训练Fast R-CNN。 该网络会通过Fast R-CNN进行调参，接着被用于初始化RPN，然后反复迭代该过程。这种方案被用于该paper中的所有实验。
  • (ii) 近似联合训练（Approximate joint training）。在这种方案中，RPN和Fast R-CNN网络在训练期间被合并到一个网络中，如图2所示。在每个SGD迭代过程中，forward pass会生成region proposals（当训练一个Fast R-CNN detector时，他们被看成是固定的、预计算好的proposals）。backward propagation会和往常一样进行，其中对于共享的layers来说，来自RPN loss的Fast R-CNN loss的后向传播信号是组合在一起的。该方案很容易实现。但该方案会忽略到关于proposal boxes坐标的导数（derivative w.r.t. the proposal boxes’ coordinates）, 也就是网络响应，因而是近似的。在我们的实验中，我们期望发现该求解会产生闭式结果，并减少大约25-50%的训练时间（对比alternating training）。该求解在python代码中包含。
  • (iii) 非近似联合训练（Non-approximate joint training）。根据上述讨论，由RPN预测的bounding boxes也是输入函数。在Fast R-CNN中的RoI pooling layer会接受conv features，以及预测的bounding boxes作为输入，因而一个理论合理的BP解也与box坐标的梯度有关。这些梯度在上面的approximate joint training会被忽略。在非近似方法中，我们需要一个RoI pooling layer，它是box坐标的微分。这是一个非平凡问题，解可以通过一个”RoI warping” layer给出[15]。（超出本paper讨论范围）

4-step Alternating Training

在该paper中，采用了一个实用的4-step training算法来通过alternating优化来学习共享特征。在第一个step中，会如3.1.3节描述来训练RPN。该网络使用一个ImageNet-pre-trained模型来初始化，为region proposal任务来进行end-to-end的fine-tuning。在第二个step中，我们训练了一个独立的Fast R-CNN dectection网络，它会使用由第一步的RPN生成的proposals。该检测网络也使用ImageNet-pre-trained模型初始化。在此时，这两个网络不共享conv layers。在第三个step中，我们使用detector网络来初始化RPN training，但我们会固定共享的conv layers的能数，只对对于RPN唯一的layers进行fine-tune。最后，保持共享的conv layer固定，对Fast R-CNN的唯一layers进行fine-tune。这样，两个网络会共享conv layers，并形成一个统一网络。相类似的alternating training会运行很多次迭代，直到观察到不再有提升。

3.3 实现细节

我们在单一scale的图片上，训练和测试两个region proposal以及目标检测网络。我们re-scale这些图片，以至它们更短的边: s=600 pixels。Multi-scale特征抽取（使用一个图片金字塔image pyramid）可以提升accuracy，但不会有好的speed-accuracy的平衡。在re-scale的图片上，对于ZF和VGG nets来说，在最后一层conv layer上的总stride为16 pixels，在一个典型的PASCAL image上在resizing（~500x375）之前接近10 pixels。尽管这样大的stride会提供好的结果，但accuracy会使用一个更小的stride进行进一步提升。

对于anchors，我们使用3个scales，box areas分别为：\(128^2, 256^2, 512^2\)个pixels，3个aspect ratios分别为：1:1, 1:2, 2:1. 对于一个特定数据集，这些超参数并不是精心选择的，我们提供了消融实验。我们的解不需要一个图片金字塔或是过滤器金字塔来预测多个scales的regions，节约运行时间。图3(右）展示了在一个关于scales和sapect ratios范围内我们方法的能力。表1展示了对于每个anchor使用ZF net学到的平均proposal size。我们注意到，我们的算法允许预测比底层的receptive field更大。这样的预测是不可能的——如果一个object只有中间部分可见，仍能infer出一个object的其它部分。

该anchor boxes会交叉图片的边界，需要小心处理。在训练期间，我们忽略了所有交叉边界anchors（cross-boundary anchors），因而他们不会对loss有贡献。对于一个典型的1000x600的图片，共有20000 (~60x40x9)个anchors。由于忽略的cross-boundary anchors的存在，训练期每个图片有大约6000个anchors。如果boundary-crossing outliers在训练期被忽略，他们会引入大的、难的来纠正在目标函数中错误项，训练不会收敛。在测试期，我们仍应用完全卷积的RPN到整个图片上。这也会生成cross-boundary的proposal boxes，我们会将image boundary进行裁减。

表2

一些RPN proposals高度相互重叠。为了减小冗余，我们在proposal regions上基于它们的cls分值采用了NMS(non-maxinum suppression)。我们为NMS将IoU阀值固定为0.7，可以为每张图片留下2000个proposal regions。NMS不会对最终的检测accuracy有害，实际上会减小proposals的数目。在NMS后，我们使用top-N排序后的proposal regions进行detection。然后，我们使用2000个RPN proposals训练Fast R-CNN，但在测试时评估不同数目的proposals。

4.实验

4.1 PASCAL VOC

在PASCAL VOC 2007 detection benchmark上进行评估。该数据集包含了5k个trainval images，以及5k个test images，object类别超过20个。我们也提供了PASCAL VOC 2012 benchmark。对于ImageNet pre-trained network，我们使用ZF net的”fast”版本：它具有5个conv layers以及3个FC layers，以及公开的VGG-16 model：它具有13个conv layers以及3个FC layers。我们使用mAP（ mean Average Precision）进行评估detection，因为实际的目标验测的metric（而非关注目标的proposal proxy metrics）。

表2展示了使用不同region proposal methords的训练和测试结果。对于Selective Search(SS)[4]方法，我们通过”fast”模式生成了大约2000个proposals。对于EdgeBoxes（EB）[6]方法，我们通过缺省的EB setting将IoU设置为0.7来生成proposals。在Fast R-CNN框架下，SS的mAP具有58.7%，而EB的mAP具有58.6%。RPN和Fast R-CNN达到的完整结果为，mAP具有59.9%，仅使用300个proposals。使用RPN会比SS或EB生成一个更快的检测系统，因为共享卷积计算；更少的proposals也会减小region-wise FC layers的开销（表5）。

RPN上的Ablation实验。为了研究RPN作为proposal method的行为，我们做了一些ablation研究。首先，我们展示了在RPN和Fast R-CNN检测网络间共享卷积层（conv layers）的效果。为了达到这个，我们在第二个step后停止训练过程。使用独立的网络将结果减小到58.7%（RPN+ZF,unshared, 表2）。我们观察到这是因为在第三个step中，当detector-tuned features被用于fine-tune该RPN时，proposal质量会被提升。

接着，我们放开RPN对Fast R-CNN训练的影响。出于该目的，我们训练了一个Fast R-CNN模型，使用2000个SS proposals和ZF net。我们固定该detector，通过更改在测试时的proposal regions，来评估该detection的mAP。在这些ablation实验中，RPN不会与detector共享features。

在测试时，将SS替换成300 RPN proposals会产生mAP=56.8%。在mAP中的该loss是由于在training/testing proposals间的不一致性造成的。该结果会当成baseline。

评测

略，详见paper。

参考