rcnn是什么神经网络（rnn神经网络基本原理）

本篇文章给大家谈谈rcnn是什么神经网络，以及rnn神经网络基本原理对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、CNN、RNN、DNN的一般解释
• 2、deep learning 目标检测（一）之R-CNN
• 3、目标检测系列（一）：R-CNN

CNN、RNN、DNN的一般解释

CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？

转自知乎 科言君  的回答

神经网络技术起源于上世纪五、六十年代，当时叫 感知机 （perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。 （扯一个不相关的：由于计算技术的落后，当时感知器传输函数是用线拉动变阻器改变电阻的方法机械实现的，脑补一下科学家们扯着密密麻麻的导线的样子…）

但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力（比如最为典型的“异或”操作）。连异或都丛汪猛不能拟合，你还能指望这货有什么实际用途么o(╯□╰)o

随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人（反正就是一票大牛）发明的 多层感知机 （multilayerperceptron）克服。多层感知机，顾名思义，就是有多个隐含层的感知机（废话……）。好好，我们看一下多层感知机的结构：

图1 上下层神经元全部渗桥相连的神经网络——多层感知机

多层感知机可以摆脱早期离散传输函数的束缚，使用sigmoid或tanh等连续函数模拟神经元对激励的响应，在训练算法上则使用Werbos发明的反向传播BP算法。对，这货就是我们现在所说的 神经网络 NN ——神经网络听起来不知道比感知机高端到哪里去了！这再次告诉我们起一个好听的名字对于研（zhuang）究（bi）很重要！

多层感知机解决了之前无法模拟异或逻辑的缺陷，同时更多的层数也让网络更能够刻画现实世界中的复杂情形。相信年轻如Hinton当时一定是春风得意。

多层感知机给我们带来的启示是， 神经网络的层数直接决定了它对现实的刻画能力 ——利用每层陵拆更少的神经元拟合更加复杂的函数[1]。

（Bengio如是说：functions that can be compactly

represented by a depth k architecture might require an exponential number of

computational elements to be represented by a depth k − 1 architecture.）

即便大牛们早就预料到神经网络需要变得更深，但是有一个梦魇总是萦绕左右。随着神经网络层数的加深， 优化函数越来越容易陷入局部最优解 ，并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还不如较浅层网络。同时，另一个不可忽略的问题是随着网络层数增加， “梯度消失”现象更加严重 。具体来说，我们常常使用sigmoid作为神经元的输入输出函数。对于幅度为1的信号，在BP反向传播梯度时，每传递一层，梯度衰减为原来的0.25。层数一多，梯度指数衰减后低层基本上接受不到有效的训练信号。

2006年，Hinton利用预训练方法缓解了局部最优解问题，将隐含层推动到了7层[2]，神经网络真正意义上有了“深度”，由此揭开了深度学习的热潮。这里的“深度”并没有固定的定义——在语音识别中4层网络就能够被认为是“较深的”，而在图像识别中20层以上的网络屡见不鲜。为了克服梯度消失，ReLU、maxout等传输函数代替了sigmoid，形成了如今DNN的基本形式。单从结构上来说， 全连接的 DNN 和图 1 的多层感知机是没有任何区别的 。

值得一提的是，今年出现的高速公路网络（highway network）和深度残差学习（deep residual learning）进一步避免了梯度消失，网络层数达到了前所未有的一百多层（深度残差学习：152层）[3,4]！具体结构题主可自行搜索了解。如果你之前在怀疑是不是有很多方法打上了“深度学习”的噱头，这个结果真是深得让人心服口服。

图2 缩减版的深度残差学习网络，仅有34 层，终极版有152 层，自行感受一下

如图1所示，我们看到 全连接 DNN 的结构里下层神经元和所有上层神经元都能够形成连接 ，带来的潜在问题是 参数数量的膨胀 。假设输入的是一幅像素为1K*1K的图像，隐含层有1M个节点，光这一层就有10^12个权重需要训练，这不仅容易过拟合，而且极容易陷入局部最优。另外，图像中有固有的局部模式（比如轮廓、边界，人的眼睛、鼻子、嘴等）可以利用，显然应该将图像处理中的概念和神经网络技术相结合。此时我们可以祭出题主所说的卷积神经网络CNN。对于CNN来说，并不是所有上下层神经元都能直接相连，而是 通过“卷积核”作为中介。同一个卷积核在所有图像内是共享的，图像通过卷积操作后仍然保留原先的位置关系。 两层之间的卷积传输的示意图如下：

图3 卷积神经网络隐含层（摘自Theano 教程）

通过一个例子简单说明卷积神经网络的结构。假设图3中m-1=1是输入层，我们需要识别一幅彩色图像，这幅图像具有四个通道ARGB（透明度和红绿蓝，对应了四幅相同大小的图像），假设卷积核大小为100*100，共使用100个卷积核w1到w100（从直觉来看，每个卷积核应该学习到不同的结构特征）。用w1在ARGB图像上进行卷积操作，可以得到隐含层的第一幅图像；这幅隐含层图像左上角第一个像素是四幅输入图像左上角100*100区域内像素的加权求和，以此类推。同理，算上其他卷积核，隐含层对应100幅“图像”。每幅图像对是对原始图像中不同特征的响应。按照这样的结构继续传递下去。CNN中还有max-pooling等操作进一步提高鲁棒性。

图4 一个典型的卷积神经网络结构，注意到最后一层实际上是一个全连接层（摘自Theano 教程）

在这个例子里，我们注意到 输入层到隐含层的参数瞬间降低到了 100*100*100=10^6 个 ！这使得我们能够用已有的训练数据得到良好的模型。题主所说的适用于图像识别，正是由于 CNN 模型限制参数了个数并挖掘了局部结构的这个特点 。顺着同样的思路，利用语音语谱结构中的局部信息，CNN照样能应用在语音识别中。

全连接的DNN还存在着另一个问题——无法对时间序列上的变化进行建模。然而， 样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要 。对了适应这种需求，就出现了题主所说的另一种神经网络结构——循环神经网络RNN。

在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。而在 RNN 中，神经元的输出可以在下一个时间戳直接作用到自身 ，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出！表示成图就是这样的：

图5 RNN 网络结构

我们可以看到在隐含层节点之间增加了互连。为了分析方便，我们常将RNN在时间上进行展开，得到如图6所示的结构：

图6 RNN 在时间上进行展开

Cool， （ t+1 ）时刻网络的最终结果O(t+1) 是该时刻输入和所有历史共同作用的结果 ！这就达到了对时间序列建模的目的。

不知题主是否发现，RNN可以看成一个在时间上传递的神经网络，它的深度是时间的长度！正如我们上面所说， “梯度消失”现象又要出现了，只不过这次发生在时间轴上 。对于t时刻来说，它产生的梯度在时间轴上向历史传播几层之后就消失了，根本就无法影响太遥远的过去。因此，之前说“所有历史”共同作用只是理想的情况，在实际中，这种影响也就只能维持若干个时间戳。

为了解决时间上的梯度消失，机器学习领域发展出了 长短时记忆单元 LSTM ，通过门的开关实现时间上记忆功能，并防止梯度消失 ，一个LSTM单元长这个样子：

图7 LSTM 的模样

除了题主疑惑的三种网络，和我之前提到的深度残差学习、LSTM外，深度学习还有许多其他的结构。举个例子，RNN既然能继承历史信息，是不是也能吸收点未来的信息呢？因为在序列信号分析中，如果我能预知未来，对识别一定也是有所帮助的。因此就有了 双向 RNN 、双向 LSTM ，同时利用历史和未来的信息。

图8 双向RNN

事实上， 不论是那种网络，他们在实际应用中常常都混合着使用，比如 CNN 和RNN 在上层输出之前往往会接上全连接层，很难说某个网络到底属于哪个类别。 不难想象随着深度学习热度的延续，更灵活的组合方式、更多的网络结构将被发展出来。尽管看起来千变万化，但研究者们的出发点肯定都是为了解决特定的问题。题主如果想进行这方面的研究，不妨仔细分析一下这些结构各自的特点以及它们达成目标的手段。入门的话可以参考：

Ng写的Ufldl： UFLDL教程 - Ufldl

也可以看Theano内自带的教程，例子非常具体： Deep Learning Tutorials

欢迎大家继续推荐补充。

当然啦，如果题主只是想凑个热闹时髦一把，或者大概了解一下方便以后把妹使，这样看看也就罢了吧。

参考文献：

[1]

Bengio Y. Learning Deep

Architectures for AI[J]. Foundations Trends® in Machine Learning, 2009,

2(1):1-127.

[2]

Hinton G E, Salakhutdinov R R.

Reducing the Dimensionality of Data with Neural Networks[J]. Science, 2006,

313(5786):504-507.

[3]

He K, Zhang X, Ren S, Sun J. Deep

Residual Learning for Image Recognition. arXiv:1512.03385, 2015.

[4]

Srivastava R K, Greff K,

Schmidhuber J. Highway networks. arXiv:1505.00387, 2015.

deep learning 目标检测（一）之R-CNN

          Since we combine region proposals   with CNNs, we call our method R-CNN: Regions with CNN

features.

下面先介绍R-CNN和Fast R-CNN中所用到的边框回归方法。

为什么要做Bounding-box regression？

如上图所示，绿色的框为飞机的Ground Truth，红色的框是提取的Region Proposal。那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准(IoU0.5)，那么这张图相当于没有正确的检测出飞机。如果我们能对红色答档漏的框进行微调，使得经过微调后的窗口跟Ground Truth更接近，这样岂不是定位会更准确。确实，Bounding-box regression 就是用来微调这个窗口的。

那么经过何种变换才能从图11中的窗口P变为窗口呢？比较简单的思路就是：

注意：只有当Proposal和Ground Truth比较接近时（线性问题），我们才能将其作为训练样本训练我们的线性回归模型，否则会导致训练的回归模型不work（当Proposal跟GT离得较远，就是复杂的非线性问题了，此时用线性回归建模显然不合理）。这个也是G-CNN: an Iterative Grid Based Object Detector多次迭代实现目标准确定位的关键。

PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，从2005年到2012年每年都会举行一场图像识别challenge。

模型详解

RCNN全程就是Regions with CNN features，从名字也可以看出，RCNN的检测算法是基于传统方法来找出一些可能是物体的区域，再把该区域的尺寸归一化成卷积网络输入的尺寸，最后判断该区域到底是不是物体，是哪个物体，以及对是物体的区域进行进一步回归的微微调整（与深度学习里的finetune去分开，我清烂想表达的就只是对框的位置进行微微调整）学习，使得框的更加准确。

       正如上面所说的，RCNN的核心思想就是把图片区域内容送给深度网络，然后提取出深度网络某层的特征，并用这个特征来判断是什么物体（文章把背景也当成一种类别，故如果是判断是不是20个物体时，实际上在实现是判断21个类。），最后再对是物体的区域进行微蠢悄微调整。实际上文章内容也说过用我之前所说的方法（先学习分类器，然后sliding windows），不过论文用了更直观的方式来说明这样的消耗非常大。它说一个深度网络（alexNet）在conv5上的感受野是195×195，按照我的理解，就是195×195的区域经过五层卷积后，才变成一个点，所以想在conv5上有一个区域性的大小（7×7）则需要原图为227×227，这样的滑窗每次都要对这么大尺度的内容进行计算，消耗可想而知，故论文得下结论，不能用sliding windows的方式去做检测（消耗一次用的不恰当，望各位看官能说个更加准确的词）。不过论文也没有提为什么作者会使用先找可能区域，再进行判断这种方式，只是说他们根据09年的另一篇论文[1]，而做的。这也算是大神们与常人不同的积累量吧。中间的深度网络通过ILSVRC分类问题来进行训练，即利用训练图片和训练的分类监督信号，来学习出这个网络，再根据这个网络提取的特征，来训练21个分类器和其相应的回归器，不过分类器和回归器可以放在网络中学习，

R-CNN 模型

如果要拟人化比喻，那 R-CNN 肯定是 Faster R-CNN 的祖父了。换句话说，R-CNN 是一切的开端。

R-CNN，或称 Region-based Convolutional Neural Network，其工作包含了三个步骤：

1.借助一个可以生成约 2000 个 region proposal 的「选择性搜索」（Selective Search）算法，R-CNN 可以对输入图像进行扫描，来获取可能出现的目标。

2.在每个 region proposal 上都运行一个卷积神经网络（CNN）。

3.将每个 CNN 的输出都输入进：a）一个支持向量机（SVM），以对上述区域进行分类。b）一个线性回归器，以收缩目标周围的边界框，前提是这样的目标存在。

下图具体描绘了上述 3 个步骤：

Abstract ：

                 R-CNN的两个贡献：1.cnn卷积层的能力很强，可以遍历候选区域达到精确的定位。2.当有标签的数据很少的时候，我们可以事前进行有标签（别的数据集上？）的预训练作为辅助任务，然后对特定的区域进行微调。

Introduction:

                这篇文章最开始是在PASCAL VOC上在图像分类和目标检测方面取得了很好的效果。

               为了达到很好的效果，文章主要关注了两个问题：1.用深层网络进行目标的定位。2.如何用少量的带标签的检测数据来训练模型

                对于 对一个问题目标定位 ，通常有两个思路可以走：

                     1.把定位看成回归问题。效果不是很好。

                     2.建立划窗检测器。

                CNN一直采用建立划窗这个方式，但是也只是局限于人脸和行人的检测问题上。

              本文使用了五个卷积层（感受野食195*195），在输入时移动步长是32*32。

              除此之外，对于定位问题，我们采用区域识别的策略。

                在测试阶段，本文的方法产生了大约2000个类别独立的候选区域作为cnn的输入。然           后得到一个修正后的特征向量。然后对于特定的类别用线性SVM分类器分类。我们用简             单的方法（放射图像变形）来将候选区域变成固定大小。

                  对于第二个缺少标签数据的问题

                    目前有一个思路就是无监督的预训练，然后再加入有监督的微调。

                   作为本文最大的贡献之二：在ILSVRC数据集上，我们先进行有监督的预训练。然                  后我们在PASCAL这个小数据集上我们进行特定区域的微调。在我们的实验中，微调                  可以提升8%的mAP。

                    本文的贡献;效率高

                     仅仅是特别类别的计算是合乎情理的矩阵运算，和非极大值抑制算法。他们共享权                值，并且都是低维特征向量。相比于直接将区域向量作为输入，维数更低。

               本文方法处理能实现目标检测，还以为实现语义分割。

2.用R-CNN进行目标检测：

            有3个Model：

           （1）产生独立的候选区域。

           （2）CNN产生固定长度的特征向量。

            （3）针对特别类别的一群svm分类器。

2.1 模块的设计

候选区域：

                  之前有大量的文章都提过如果产生候选区域。本文采用SS（selective search ）方法。参考文献【34】+【36】

特征抽取：

                对于每个候选区域，我们采用cnn之后得到4096维向量。

2.2 测试阶段的检测

              在测试阶段，我们用选择性搜素的方式在测试图片上选取了2000个候选区域，如上图所示的步骤进行。

运行时间分析: 总之当时相比很快。

2.3训练模型

有监督的预训练： 我们使用了大量的ILSVRC的数据集来进行预训练CNN，但是这个标签是图片层的。换句话说没有带边界这样的标签。

特定区域的微调： 我们调整VOC数据集的候选区域的大小，并且我们把ImageNet上午1000类，变成了21类（20个类别+1个背景）。我们把候选区域（和真实区域重叠的）大于0.5的标记为正数，其他的标记为负数。然后用32个正窗口和96个负窗口组成128的mini-batch。

目标类别分类器：

        对于区域紧紧的包括着目标的时候，这肯定就是正样本。对于区域里面全部都是背景的，这也十分好区分就是负样本。但是某个区域里面既有目标也有背景的时候，我们不知道如歌标记。本文为了解决这个，提出了一个阈值：IoU覆盖阈值，小于这个阈值，我们标记为负样本。大于这个阈值的我们标记为正样本。我们设置为0.3。这个是一个超参数优化问题。我们使用验证集的方法来优化这个参数。然而这个参数对于我们的最后的性能有很大的帮助。

        一旦，我们得到特征向量。因为训练数据太大了。我们采用standard hard negative mining method（标准难分样本的挖掘）。这个策略也是的收敛更快。

2.4 Results on PASCAL VOC 201012

3.3. Visualization, ablation, and modes of error

3.1. Visualizing learned features

      提出了一个非参数的方法，直接展现出我们的网络学习到了什么。这个想法是将一个特定的单元(特性)放在其中使用它，就好像它自己是一个对象检测器正确的。具体方法就是：我们在大量候选区域中，计算每个单元的激励函数。按从最高到最低排序激活输出，执行非最大值抑制，然后显示得分最高的区域。我们的方法让选定的单元“为自己说话”通过显示它所触发的输入。我们避免平均为了看到不同的视觉模式和获得洞察力为单位计算的不变性。我们可以看到来着第五个maxpooling返回的区域。第五层输出的每一个单元的接受野对应输出227*227的其中的195*195的像素区域。所以中心那个点单元有全局的视觉。

3.2. Ablation studies

实际上ablation study就是为了研究模型中所提出的一些结构是否有效而设计的实验。比如你提出了某某结构，但是要想确定这个结构是否有利于最终的效果，那就要将去掉该结构的网络与加上该结构的网络所得到的结果进行对比，这就是ablation study。

Performance layer-by-layer, without fine-tuning.

我们只观察了最后三层

Performance layer-by-layer, with fine-tuning.

微调之后，fc6和fc7的性能要比pool5大得多。从ImageNet中学习的pool5特性是一般的，而且大部分的提升都是从在它们之上的特定领域的非线性分类器学习中获得的。

Comparison to recent feature learning methods.

             见上图

3.3. Detection error analysis

          CNN的特征比HOG更加有区分。

3.4. Bounding box regression

有了对错误的分析，我们加入了一种方法来减少我们的定位错误。我们训练了一个线性的回归模型

HOG和SIFT很慢。但是我们可以由此得到启发，利用有顺序等级和多阶段的处理方式，来实现特征的计算。

生物启发的等级和移不变性，本文采用。但是缺少有监督学习的算法。

使得卷积训练变得有效率。

第一层的卷积层可以可视化。

【23】本文采用这个模型，来得到特征向量

  ImageNet Large Scale Visual Recognition Competition

用了非线性的激励函数，以及dropout的方法。

【34】直接将区域向量作为输入，维数较高。IoU覆盖阈值=0.5，而本文设置为0.3，能提高5个百分点。产生候选区域的方式：selective search 也是本文所采取的方式是结合【34】+【36】。

【5】产生候选区域的方式为：限制参数最小割

bounding box regression

HOG-based DPM文章3.2section中的对比试验。

缩略图概率。

[18][26][28]文章3.2section中的对比试验。

目标检测系列（一）：R-CNN

目标检测（object detection）是计算机视觉中非常重要的一个领域。在卷积神经网络出现之前，都利用一些传统方法手动提取图像特征进行目标检测及定位，这些方法不仅耗时而且性能较低。而在卷积神经网络出现之后，目标检测领域发生了翻天覆地的变化。最著名的目标检测系统有RCNN系列、YOLO和SSD，本文将介绍RCNN系列的开篇作RCNN。

RCNN系列的技术演进过程可参见 基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN 。

目标检测分为两步：第一步是对图像进行分类，即图像中的内容是什么；第二步则是对图像进行定位，找出图像中物体的具体位置。简单来说就是图像里面有什么，位置在哪。

然而，由于不同图片中物体出现的大小可能不同（多尺度），位置也可能不同，而且摆放角度，姿态等都可以不同，同时一张图片中还可以出现多个类别。这使得目标检测任务异常艰难。

上面任务用专业的说法就是：图像识别+定位

两个不同的分支分别完成不同的功能，分类和定位。回归（regression）分支与绝告分类分支（classification）共享网络卷积部分的参数值。

还是刚才的分类识别+回归定位思路。只是现在我们提前先取好不同位置的框，然后将这个框输入到网络中而不是像思路一将原始图像直接输入到网络中。然后计算出这个框的得分，取得分最高的框。

如上，对于同一个图像中猫的识别定位。分别取了四个角四个框进行分类和回归。其得分分别为0.5,0.75,0.6,0.8，因此右下角得分最高，选择右下角的黑框作为目标位置的预测（这里即完成了定位任务）。

这里还有一个问题——检测位置时的框要怎么取，取多大？在上面我们是在257x257的图像中取了221x221的4个角。以不同大小的窗口从左上角到右下角依次扫描的话，数据量会非常大。而且，如果考虑多尺度问题的话，还需要在将图像放缩到不同水平的大小来进行计算，这样又大大增加了计算量。如何取框这个问题可以说是目标检测的核心问题之一了，RCNN，fast RCNN以及faster RCNN对于这个问题的解决办法不断地进行优化，这个到了后面再讲。

总结一下思路：

对于一张图片，用各种大小的框将图片截取出来，输入到CNN，然后CNN会输出这个框的类别以及其位置得分。

对于检测框的选取，一般是采用某种方法先找出可能含有物体的框（也就是候选框，比如1000个候选框），这些框是可以互相重叠互相包含的，这样我们就可以避免暴力枚举所有框了。

讲完了思路，我们下面具体仔细来看看RCNN系列的实现，本篇先介绍RCNN的方法。

R-CNN相比于之前的各种目标检测算法，不仅在准确率上有了很大的提升，在运行效率上同样提升很大。R-CNN的过程分为4个阶段：

在前面我们已经简单介绍了selective search方法，通过这个方法我们筛选出了2k左右的候选框。然而搜索出的矩形框大小是不同的。而在AlexNet中由于最后全连接层的存在，对于图像尺寸有固定的要求，因此在将候选框输入之前，作者对这些候选框的大小进行了统一处理——放缩到了统一大小。文章中作者使用的处理方法有两种：

（1）各向异性缩放

因为图片扭曲可能会对后续CNN模型训练产生影响，于是作者也测试了各向同性缩放的方法。有两种方法：

此外，作者对于bounding box还尝试了padding处腔亏理，上面的示意图中第1、3行就是结合了padding=0，第2、4行结果采用padding=16的结果。经过最后的试验，作伍宏神者发现采用各向异性缩放、padding=16的精度最高。

卷积神经网络训练分为两步：（1）预训练；（2）fine-tune。

先在一个大的数据集上面训练模型（R-CNN中的卷机模型使用的是AlexNet），然后利用这个训练好的模型进行fine-tune（或称为迁移学习），即使用这个预训练好的模型参数初始化模型参数，然后在目标数据集上面进行训练。

此外，在训练时，作者还尝试采用不同层数的全连接层，发现一个全连接层比两个全连接层效果要好，这可能是因为使用两个全连接层后过拟合导致的。

另一个比较有意思的地方是：对于CNN模型，卷积层学到的特征其实就是基础的共享特征提取层，类似于传统的图像特征提取算法。而最后的全连接层学到的则是针对特定任务的特征。譬如对于人脸性别识别来说，一个CNN模型前面的卷积层所学习到的特征就类似于学习人脸共性特征，然后全连接层所学习的特征就是针对性别分类的特征了。

最后，利用训练好的模型对候选框提取特征。

关于正负样本的问题：由于选取的bounding box不可能与人工label的完全相同，因此在CNN训练阶段需要设置IOU阈值来为bounding box打标签。在文章中作者将阈值设置为0.5，即如果候选框bounding box与人工label的区域重叠面积大于0.5，则将其标注为物体类别（正样本），否则我们就把他当做背景类别（负样本）。

作者针对每一个类别都训练了一个二分类的SVM。这里定义正负样本的方法与上面卷积网络训练的定义方法又不相同。作者在文章中尝试了多种IoU阈值（0.1~0.5）。最后通过训练发现，IoU阈值为0.3的时候效果最好（选择为0精度下降了4个百分点，选择0.5精度下降了5个百分点）。即当IoU小于0.3的时候我们将其视为负样本，否则为正样本。

目标检测问题的衡量标准是重叠面积：许多看似准确的检测结果，往往因为候选框不够准确，重叠面积很小。故需要一个位置精修步骤。

在实现边界回归的过程中发现了两个微妙的问题。第一是正则化是重要的：我们基于验证集，设置λ=1000。第二个问题是，选择使用哪些训练对(P,G)时必须小心。直观地说，如果P远离所有的检测框真值，那么将P转换为检测框真值G的任务就没有意义。使用像P这样的例子会导致一个无望的学习问题。因此，只有当提案P至少在一个检测框真值附近时，我们才执行学习任务。“附近”即，将P分配给具有最大IoU的检测框真值G（在重叠多于一个的情况下），并且仅当重叠大于阈值（基于验证集，我们使用的阈值为0.6）。所有未分配的提案都被丢弃。我们为每个目标类别执行一次，以便学习一组特定于类别的检测框回归器。

在测试时，我们对每个提案进行评分，并预测其新的检测框一次。原则上，我们可以迭代这个过程（即重新评估新预测的检测框，然后从它预测一个新的检测框，等等）。但是，我们发现迭代不会改进结果。

使用selective search的方法在测试图片上提取2000个region propasals ，将每个region proposals归一化到227x227，然后再CNN中正向传播，将最后一层得到的特征提取出来。然后对于每一个类别，使用为这一类训练的SVM分类器对提取的特征向量进行打分，得到测试图片中对于所有region proposals的对于这一类的分数，再使用贪心的非极大值抑制（NMS）去除相交的多余的框。再对这些框进行canny边缘检测，就可以得到bounding-box(then B-BoxRegression)。

参考：

Rich feature hierarchies for accurate object detection and semantic segmentation.

RCNN-将CNN引入目标检测的开山之作-晓雷的文章

基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN

R-CNN 论文翻译

[img]

关于rcnn是什么神经网络和rnn神经网络基本原理的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。