㈠ 【目标检测算法解读】yolo系列算法二
https://blog.csdn.net/Gentleman_Qin/article/details/84349144
|声明：遵循CC 4.0 BY-SA版权协议
建立在YOLOv1的基础上，经过Joseph Redmon等的改进，YOLOv2和YOLO9000算法在2017年CVPR上被提出，并获得最佳论文提名，重点解决YOLOv1召回率和定位精度方面的误差。在提出时，YOLOv2在多种监测数据集中都要快过其他检测系统，并可以在速度与精确度上进行权衡。
YOLOv2采用Darknet-19作为特征提取网络，增加了批量标准化（Batch Normalization）的预处理，并使用224×224和448×448两阶段训练ImageNet，得到预训练模型后fine-tuning。
相比于YOLOv1是利用FC层直接预测Bounding Box的坐标，YOLOv2借鉴了FSR-CNN的思想，引入Anchor机制，利用K-Means聚类的方式在训练集中聚类计算出更好的Anchor模板，在卷积层使用Anchor Boxes操作，增加Region Proposal的预测，同时采用较强约束的定位方法，大大提高算法召回率。同时结合图像细粒度特征，将浅层特征与深层特征相连，有助于对小尺寸目标的检测。
下图所示是YOLOv2采取的各项改进带了的检测性能上的提升：
YOLO9000 的主要检测网络也是YOLO v2，同时使用WordTree来混合来自不同的资源的训练数据，并使用联合优化技术同时在ImageNet和COCO数据集上进行训练，目的是利用数量较大的分类数据集来帮助训练检测模型，因此，YOLO 9000的网络结构允许实时地检测超过9000种物体分类，进一步缩小了检测数据集与分类数据集之间的大小代沟。
下面将具体分析YOLOv2的各个创新点:
BN概述：
对数据进行预处理（统一格式、均衡化、去噪等）能够大大提高训练速度，提升训练效果。BN正是基于这个假设的实践，对每一层输入的数据进行加工。
BN是2015年Google研究员在论文《Batch Normalization: Accelerating Deep Network Training by Recing Internal Covariate Shift》一文中提出的，同时也将BN应用到了2014年的GoogLeNet上，也就是Inception-v2。
BN层简单讲就是对网络的每一层的输入都做了归一化，这样网络就不需要每层都去学数据的分布，收敛会更快。YOLOv1算法（采用的是GoogleNet网络提取特征）是没有BN层的，而在YOLOv2中作者为每个卷积层都添加了BN层。
使用BN对网络进行优化，让网络提高了收敛性，同时还消除了对其他形式的正则化（regularization）的依赖，因此使用BN后可以从模型中去掉Dropout，而不会产生过拟合。
BN优点：
神经网络每层输入的分布总是发生变化，加入BN，通过标准化上层输出，均衡输入数据分布，加快训练速度，因此可以设置较大的学习率（Learning Rate）和衰减（Decay）；
通过标准化输入，降低激活函数（Activation Function）在特定输入区间达到饱和状态的概率，避免梯度弥散（Gradient Vanishing）问题；
输入标准化对应样本正则化，BN在一定程度上可以替代 Dropout解决过拟合问题。
BN算法：
在卷积或池化之后，激活函数之前，对每个数据输出进行标准化，方式如下图所示：
公式很简单，前三行是 Batch内数据归一化（假设一个Batch中有每个数据），同一Batch内数据近似代表了整体训练数据。第四行引入了附加参数 γ 和 β，此二者的取值算法可以参考BN论文，在此不再赘述。
fine-tuning：用已经训练好的模型，加上自己的数据集，来训练新的模型。即使用别人的模型的前几层，来提取浅层特征，而非完全重新训练模型，从而提高效率。一般新训练模型准确率都会从很低的值开始慢慢上升，但是fine-tuning能够让我们在比较少的迭代次数之后得到一个比较好的效果。
YOLO模型分为两部分，分类模型和检测模型，前者使用在ImageNet上预训练好的模型，后者在检测数据集上fine-tuning。
YOLOv1在预训练时采用的是224*224的输入（在ImageNet数据集上进行），然后在检测的时候采用448*448的输入，这会导致从分类模型切换到检测模型的时候，模型还要适应图像分辨率的改变。
YOLOv2则将预训练分成两步：先用224*224的输入在ImageNet数据集训练分类网络，大概160个epoch（将所有训练数据循环跑160次）后将输入调整到448*448，再训练10个epoch（这两步都是在ImageNet数据集上操作）。然后利用预训练得到的模型在检测数据集上fine-tuning。这样训练得到的模型，在检测时用448*448的图像作为输入可以顺利检测。
YOLOv1将输入图像分成7*7的网格，每个网格预测2个Bounding Box，因此一共有98个Box，同时YOLOv1包含有全连接层，从而能直接预测Bounding Boxes的坐标值，但也导致丢失较多的空间信息，定位不准。
YOLOv2首先将YOLOv1网络的FC层和最后一个Pooling层去掉，使得最后的卷积层可以有更高分辨率的特征，然后缩减网络，用416*416大小的输入代替原来的448*448，使得网络输出的特征图有奇数大小的宽和高，进而使得每个特征图在划分单元格（Cell）的时候只有一个中心单元格（Center Cell）。
为什么希望只有一个中心单元格呢？由于图片中的物体都倾向于出现在图片的中心位置，特别是比较大的物体，所以有一个单元格单独位于物体中心的位置用于预测这些物体。
YOLOv2通过引入Anchor Boxes，通过预测Anchor Box的偏移值与置信度，而不是直接预测坐标值。YOLOv2的卷积层采用32这个值来下采样图片，所以通过选择416*416用作输入尺寸最终能输出一个13*13的特征图。若采用FSRCNN中的方式，每个Cell可预测出9个Anchor Box，共13*13*9=1521个（YOLOv2确定Anchor Boxes的方法见是维度聚类，每个Cell选择5个Anchor Box）。
在FSRCNN中，以一个51*39大小的特征图为例，其可以看做一个尺度为51*39的图像，对于该图像的每一个位置，考虑9个可能的候选窗口：3种面积3种比例。这些候选窗口称为Anchor Boxes。下图示出的是51*39个Anchor Box中心，以及9种Anchor Box示例。
YOLOv1和YOLOv2特征图数据结构：
YOLOv1：S*S* (B*5 + C) => 7*7（2*5+20）
其中B对应Box数量，5对应边界框的定位信息（w,y,w,h）和边界框置信度（Confidience）。分辨率是7*7，每个Cell预测2个Box，这2个Box共用1套条件类别概率（1*20）。
YOLOv2：S*S*K* (5 + C) => 13*13*9（5+20）
分辨率提升至13*13，对小目标适应性更好，借鉴了FSRCNN的思想，每个Cell对应K个Anchor box（YOLOv2中K=5），每个Anchor box对应1组条件类别概率（1*20）。
聚类：聚类是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。即在没有划分类别的情况下，根据数据相似度进行样本分组。
在FSR-CNN中Anchor Box的大小和比例是按经验设定的，然后网络会在训练过程中调整Anchor Box的尺寸，最终得到准确的Anchor Boxes。若一开始就选择了更好的、更有代表性的先验Anchor Boxes，那么网络就更容易学到准确的预测位置。
YOLOv2使用K-means聚类方法类训练Bounding Boxes，可以自动找到更好的宽高维度的值用于一开始的初始化。传统的K-means聚类方法使用的是欧氏距离函数，意味着较大的Anchor Boxes会比较小的Anchor Boxes产生更多的错误，聚类结果可能会偏离。由于聚类目的是确定更精准的初始Anchor Box参数，即提高IOU值，这应与Box大小无关，因此YOLOv2采用IOU值为评判标准，即K-means 采用的距离函数（度量标准） 为：
d(box,centroid) = 1 - IOU(box,centroid)
如下图，左边是聚类的簇个数和IOU的关系，两条曲线分别代表两个不同的数据集。分析聚类结果并权衡模型复杂度与IOU值后，YOLOv2选择K=5，即选择了5种大小的Box 维度来进行定位预测。
其中紫色和灰色也是分别表示两个不同的数据集，可以看出其基本形状是类似的。更重要的是，可以看出聚类的结果和手动设置的Anchor Box位置和大小差别显着——结果中扁长的框较少，而瘦高的框更多（更符合行人的特征）。
YOLOv2采用的5种Anchor的Avg IOU是61，而采用9种Anchor Boxes的Faster RCNN的Avg IOU是60.9，也就是说本文仅选取5种box就能达到Faster RCNN的9中box的效果。选择值为9的时候，AVG IOU更有显着提高。说明K-means方法的生成的boxes更具有代表性。
直接对Bounding Boxes求回归会导致模型不稳定，其中心点可能会出现在图像任何位置，有可能导致回归过程震荡，甚至无法收敛，尤其是在最开始的几次迭代的时候。大多数不稳定因素产生自预测Bounding Box的中心坐标（x,y）位置的时候。
YOLOv2的网络在特征图（13*13）的每一个单元格中预测出5个Bounding Boxes（对应5个Anchor Boxes），每个Bounding Box预测出5个值（tx,ty,tw,th,t0），其中前4个是坐标偏移值，t0是置信度结果（类似YOLOv1中的边界框置信度Confidence）。YOLOv2借鉴了如下的预测方式，即当Anchor Box的中心坐标和宽高分别是（xa,ya）和（wa,wh）时，Bounding Box坐标的预测偏移值（tx,ty,tw,th）与其坐标宽高（x,y,w,h）的关系如下：
tx = (x-xa)/wa
ty= (y-ya)/ha
tw = log(w/wa)
th = log(h/ha)
基于这种思想，YOLOv2在预测Bounding Box的位置参数时采用了如下强约束方法：
上图中，黑色虚线框是Anchor Box，蓝色矩形框就是预测的Bounding Box结果，预测出的Bounding Box的坐标和宽高为（bx,by）和（bw,bh），计算方式如图中所示，其中：对每个Bounding Box预测出5个值（tx,ty,tw,th,t0），Cell与图像左上角的横纵坐标距离为（cx,cy），σ定义为sigmoid激活函数（将函数值约束到［0,1］），该Cell对应的Anchor Box对应的宽高为（pw,ph）。
简而言之，（bx,by）就是（cx,cy）这个Cell附近的Anchor Box针对预测值（tx,ty）得到的Bounding Box的坐标预测结果，同时可以发现这种方式对于较远距离的Bounding Box预测值（tx,ty）能够得到很大的限制。
YOLOv2通过添加一个转移层，把高分辨率的浅层特征连接到低分辨率的深层特征（把特征堆积在不同Channel中）而后进行融合和检测。具体操作是先获取前层的26*26的特征图，将其同最后输出的13*13的特征图进行连接，而后输入检测器进行检测（检测器的FC层起到了全局特征融合的作用），以此来提高对小目标的检测能力。
为了适应不同尺度下的检测任务，YOLOv2在训练网络时，其在检测数据集上fine-tuning时候采用的输入图像的size是动态变化的。具体来讲，每训练10个Batch，网络就会随机选择另一种size的输入图像。因为YOLOv2用到了参数是32的下采样，因此也采用32的倍数作为输入的size，即采用{320,352,…,608}的输入尺寸（网络会自动改变尺寸，并继续训练的过程）。
这一策略让网络在不同的输入尺寸上都能达到较好的预测效果，使同一网络能在不同分辨率上进行检测。输入图片较大时，检测速度较慢，输入图片较小时，检测速度较快，总体上提高了准确率，因此多尺度训练算是在准确率和速度上达到一个平衡。
上表反映的是在检测时，不同大小的输入图片情况下的YOLOv2和其他目标检测算法的对比。可以看出通过多尺度训练的检测模型，在测试的时候，输入图像在尺寸变化范围较大的情况下也能取得mAP和FPS的平衡。
YOLOv1采用的训练网络是GoogleNet，YOLOv2采用了新的分类网络Darknet-19作为基础网络，它使用了较多的3*3卷积核，并把1*1的卷积核置于3*3的卷积核之间，用来压缩特征，同时在每一次池化操作后把通道（Channels）数翻倍（借鉴VGG网络）。
YOLOv1采用的GooleNet包含24个卷积层和2个全连接层，而Darknet-19包含19个卷积层和5个最大池化层（Max Pooling Layers），后面添加Average Pooling层（代替v1中FC层），而Softmax分类器作为激活被用在网络最后一层，用来进行分类和归一化。
在ImageNet数据集上进行预训练，主要分两步（采用随机梯度下降法）：
输入图像大小是224*224，初始学习率（Learning Rate）为0.1，训练160个epoch，权值衰减（Weight Decay）为0.0005，动量（Momentum）为0.9，同时在训练时采用标准的数据增强（Data Augmentation）方式如随机裁剪、旋转以及色度、亮度的调整。
fine-tuning：第1步结束后，改用448*448输入（高分辨率模型），学习率改为0.001，训练10个epoch，其他参数不变。结果表明：fine-tuning后的top-1准确率为76.5%，top-5准确率为93.3%，若按照原来的训练方式，Darknet-19的top-1准确率是72.9%，top-5准确率为91.2%。可以看出，两步分别从网络结构和训练方式方面入手提高了网络分类准确率。
预训练之后，开始基于检测的数据集再进行fine-tuning。
首先，先把最后一个卷积层去掉，然后添加3个3*3的卷积层，每个卷积层有1024个卷积核，并且后面都连接一个1*1的卷积层，卷积核个数（特征维度）根据需要检测的类数量决定。（比如对VOC数据，每个Cell需要预测5个Boungding Box，每个Bounding Box有4个坐标值、1个置信度值和20个条件类别概率值，所以每个单元格对应125个数据，此时卷积核个数应该取125。）
然后，将最后一个3*3*512的卷积层和倒数第2个卷积层相连（提取细粒度特征），最后在检测数据集上fine-tuning预训练模型160个epoch，学习率采用0.001，并且在第60和90个epoch的时候将学习率除以10，权值衰减、动量和数据增强方法与预训练相同。
YOLO9000通过结合分类和检测数据集，使得训练得到的模型可以检测约9000类物体，利用带标注的分类数据集量比较大的特点，解决了带标注的检测数据集量比较少的问题。具体方法是：一方面采用WordTree融合数据集，另一方面联合训练分类数据集和检测数据集。
分类数据集和检测数据集存在较大差别：检测数据集只有粗粒度的标记信息，如“猫”、“狗”，而分类数据集的标签信息则更细粒度，更丰富。比如“狗”就包括“哈士奇”、“金毛狗”等等。所以如果想同时在检测数据集与分类数据集上进行训练，那么就要用一种一致性的方法融合这些标签信息。
用于分类的方法，常用Softmax（比如v2），Softmax意味着分类的类别之间要互相独立的，而ImageNet和COCO这两种数据集之间的分类信息不相互独立（ImageNet对应分类有9000种，而COCO仅提供80种目标检测），所以使用一种多标签模型来混合数据集，即假定一张图片可以有多个标签，并且不要求标签之间独立，而后进行Softmax分类。
由于ImageNet的类别是从WordNet选取的，作者采用以下策略重建了一个树形结构（称为WordTree）：
遍历ImageNet的标签，然后在WordNet中寻找该标签到根节点(所有的根节点为实体对象)的路径；
如果路径只有一条，将该路径直接加入到WordTree结构中；
否则，从可选路径中选择一条最短路径，加入到WordTree结构中。
WordTree的作用就在于将两种数据集按照层级进行结合。
如此，在WordTree的某个节点上就可以计算该节点的一些条件概率值，比如在terrier这个节点，可以得到如下条件概率值：
进而，如果要预测此节点的概率（即图片中目标是Norfolk terrier的概率），可以根据WordTree将该节点到根节点的条件概率依次相乘得到，如下式：
其中：
YOLO9000在WordTree1k（用有1000类别的ImageNet1k创建）上训练了Darknet-19模型。为了创建WordTree1k作者添加了很多中间节点（中间词汇），把标签由1000扩展到1369。
训练过程中GroundTruth标签要顺着向根节点的路径传播：为了计算条件概率，模型预测了一个包含1369个元素的向量，而且基于所有“同义词集”计算Softmax，其中“同义词集”是同一概念下的所属词。
现在一张图片是多标记的，标记之间不需要相互独立。在训练过程中，如果有一个图片的标签是“Norfolk terrier”，那么这个图片还会获得“狗”以及“哺乳动物”等标签。
如上图所示，之前的ImageNet分类是使用一个大Softmax进行分类，而现在WordTree只需要对同一概念下的同义词进行Softmax分类。然后作者分别两个数据集上用相同训练方法训练Darknet-19模型，最后在ImageNet数据集上的top-1准确率为72.9%，top-5准确率为91.2%；在WordTree数据集上的top-1准确率为71.9%，top-5准确率为90.4%。
这种方法的好处是有“退而求其次”的余地：在对未知或者新的物体进行分类时，性能损失更低，比如看到一个狗的照片，但不知道是哪种种类的狗，那么就预测其为“狗”。
以上是构造WordTree的原理，下图是融合COCO数据集和ImageNet数据集以及生成它们的WordTree的示意图（用颜色区分了COCO数据集和ImageNet数据集的标签节点）， 混合后的数据集对应的WordTree有9418个类。另一方面，由于ImageNet数据集太大，YOLO9000为了平衡两个数据集之间的数据量，通过过采样（Oversampling）COCO数据集中的数据，使COCO数据集与ImageNet数据集之间的数据量比例达到1：4。
对YOLO9000进行评估，发现其mAP比DPM高，而且YOLO有更多先进的特征，YOLO9000是用部分监督的方式在不同训练集上进行训练，同时还能检测9000个物体类别，并保证实时运行。虽然YOLO9000对动物的识别性能很好，但是对衣服或者装备的识别性能不是很好（这跟数据集的数据组成有关）。
YOLO9000的网络结构和YOLOv2类似，区别是每个单元格只采用3个Anchor Boxes。
YOLO9000提出了一种在分类数据集和检测数据集上联合训练的机制，即使用检测数据集（COCO）的图片去学习检测相关的信息即查找对象（例如预测边界框坐标、边界框是否包含目标及目标属于各个类别的概率），使用仅有类别标签的分类数据集（ImageNet）中的图片去扩展检测到的对象的可识别种类。
具体方法是：当网络遇到一个来自检测数据集的图片与标记信息，就把这些数据用完整的损失函数（v2和9000均沿用了v1网络的损失函数）反向传播，而当网络遇到一个来自分类数据集的图片和分类标记信息，只用代表分类误差部分的损失函数反向传播这个图片。
YOLO v2 在大尺寸图片上能够实现高精度，在小尺寸图片上运行更快，可以说在速度和精度上达到了平衡，具体性能表现如下所示。
coco数据集
voc2012数据集
㈡ 目标检测算法经典论文回顾（一）
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation
提出时间：2014年
论文地址：https://openaccess.thecvf.com/content_cvpr_2014/papers/Girshick_Rich_Feature_Hierarchies_2014_CVPR_paper.pdf
针对问题：
从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。
创新点：
RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。
参考博客： https://blog.csdn.net/briblue/article/details/82012575。
论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks
提出时间：2014年
论文地址：https://arxiv.org/pdf/1312.6229.pdf
针对问题：
该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。
创新点：
在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。
参考博客： https://blog.csdn.net/qq_35732097/article/details/79027095
论文题目：Scalable Object Detection using Deep Neural Networks
提出时间：2014年
论文地址：https://openaccess.thecvf.com/content_cvpr_2014/papers/Erhan_Scalable_Object_Detection_2014_CVPR_paper.pdf
针对问题：
既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。
创新点：
本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。
参考博客： https://blog.csdn.net/m0_45962052/article/details/104845125
论文题目：DeepBox: Learning Objectness with Convolutional Networks
提出时间：2015年ICCV
论文地址：https://openaccess.thecvf.com/content_iccv_2015/papers/Kuo_DeepBox_Learning_Objectness_ICCV_2015_paper.pdf
主要针对的问题：
本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。
创新点：
本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。
参考博客： https://www.cnblogs.com/zjutzz/p/8232740.html
论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection
提出时间：2015年ICCV
论文地址：https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Yoo_AttentionNet_Aggregating_Weak_ICCV_2015_paper.pdf
主要针对的问题：
对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？
创新点：
通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。
参考博客： https://blog.csdn.net/m0_45962052/article/details/104945913
论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
提出时间：2014年
论文地址：https://link.springer.com/content/pdf/10.1007/978-3-319-10578-9_23.pdf
针对问题：
如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。
创新点：
作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。
参考博客 ：https://blog.csdn.net/weixin_43624538/article/details/87966601
论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model
提出时间：2015年
论文地址：https://openaccess.thecvf.com/content_iccv_2015/papers/Gidaris_Object_Detection_via_ICCV_2015_paper.pdf
针对问题：
既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。
创新点：
作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。
参考博客 ：https://blog.csdn.net/alfred_torres/article/details/83022967
论文题目：Fast-RCNN
提出时间：2015年
论文地址：https://openaccess.thecvf.com/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf
针对问题：
RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？
创新点：
作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。
参考博客 ：https://blog.csdn.net/u014380165/article/details/72851319
论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers
提出时间：2015年
论文地址：https://openaccess.thecvf.com/content_iccv_2015/papers/Ghodrati_DeepProposal_Hunting_Objects_ICCV_2015_paper.pdf
主要针对的问题：
本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。
创新点：
作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。
论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
提出时间：2015年NIPS
论文地址：https://proceedings.neurips.cc/paper/2015/file/-Paper.pdf
主要针对的问题：
由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？
创新点：
将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。
参考博客 ：https://zhuanlan.hu.com/p/31426458
㈢ 目标检测 如何提高网络的特征提取能力
1，通过对输入数据的手动查验或自动化统计，确定较好的canny阈值
2，利用阈值对训练样本中10-20个batch的数据进行canny边缘增强
3，增强方式为：原图转灰度提取到的canny边缘所对应的原图像素位置进行对比度增强或直接涂黑。加深程度可以由自定义的超参数alpha来指定。
4，用这10-20个batch的数据进行几个epoch的训练后再换成普通数据进行训练。
㈣ 如何规划校园网的主干网络
不论是主干网、部门网还是工作组网， 网络拓扑、结构形式、传输速率、负载分担等等，可供选择的方案不断地在更新、进步。 本文主要论述校园网中主干网的规划和设计，讨论各种形式的主干结构，以及路由和交换技术的选择和安排。 一、建立校园网主干所涉及的技术主干网络用于连接各工作组网络和全局的共享资源，其传输速度，工作效率及可靠性必须达到一个很高的水平。 主干网络的互连结构是主干网络设计的一个核心问题，路由(Routing)和交换(Switching)技术在互连结构中扮演着重要角色。 （1）交换技术交换技术工作于OSI参考模型的第二层。现在流行的交换机产品可以看作是一种简单、 低成本、高性能、高端口密度的桥接设备。交换机和网桥相同的是，交换机根据每个数据包中的目标MAC地址作简单的转发， 转发决策方案不需要判断数据包深层的其他信息。交换机不同于网桥的地方在于交换机能以非常低的延迟转发数据包， 能比桥接的网络提供更接近于单一局域网网段的性能。交换技术可以用来调整共享和分离的局域网网段带宽， 从而消除局域网之间的传输瓶颈。交换技术主要包括帧交换和信元交换两类。 目前市场上可以提供的以太网、快速以太网、千兆以太网、FDDI、ATM、以及令牌环交换机。 其中千兆以太网交换机在主干设计中这两年来备受青睐，一方面是因为速度快， 另一方面是因为它的技术继承了传统的以太网，比较易于接受，而且可靠。 A．交换机是一种更快的桥交换机提供了很多和传统网桥相同的用于网络互连的优点。交换机用非常简洁、 经济的方法把网络分段成更小的冲突域(CollisionDomain)，为每个终端站点提供了更高的平均带宽。 交换机是协议透明的，当工作于多协议的网络环境时，不需要或只需要很少的软件配置。 交换机可以使用现有的电缆系统、集线器、工作站网卡、不需要昂贵的硬件升级。最后， 对终端站点的透明特性使得管理开销非常低，增加、移动、改变站点非常简单。 交换机通常使用ASIC技术，这使得它以极小的延迟提供很高的数据包吞吐量，在这一点上， 它的性能比传统的网桥有了很大的增长。 B．转发模式交换机的转发模式基本有两种：(1)即时转发；(2)存储一转发即时转发交换机在接收到整个数据帧时就开始进行转发，只分析数据包开头的目标MAC地址。 因此，在即时转发模式下，无论数据包的长短，其处理速度和延迟总是相同的。 单纯的即时转发交换的主要缺点是把错误帧也进行了转发。原因是交换机开始转发时，并没有判断数据包是否完整、 数据校验是否正确。即时转发交换应用于两个相同速度的端口时，它能工作得很好， 但如果数据包从一个100Mbps端口向一个10Mbps传送时，就需要一级缓冲。 存储一转发交换机在接收了完整的数据包并校验正确之后，才开始进行转发处理。这种方式可以避免转发错误包， 并使得管理者可以定义包过滤器的控制流量和交通。存储一转发方式的缺点是，转发延迟随数据包长度的增加而增加。 （2）路由技术路由技术工作在ＯＳＩ参考模型的第三层，与交换机相比，它的工作更多地依赖于路由软件。 由于可以得到更多的协议信息，路由器可以作出更加智能的转发决策。和交换机相同的地方是， 路由器为用户提供了不同局域网网段的无缝连接。和交换机不同的地方在于路由器决定了网段分组的逻辑边界。 路由器提供了防火墙的服务，它仅仅转发特定地址的数据包，从而可以防止广播风暴、 未支持协议数据包的传送和未知目标网络数据包的传送。 为了完成路由工作，路由器需要具备两项基本功能。 首先是路由器需要为各种网络层协议创建并维护路由表，这些表可以通过手工配置，静态创建；也可通过路由协议动态创建。 建立了路由表之后，路由器根据每个数据包中的协议标志，提取网络层目标地址，并根据路由表作出转发决策。 路由器可以根据很多因素选择最好的传送路径，而不仅仅只根据目标ＭＡＣ地址。这些因素包括转发次数、线路速度、 传送费用、延迟和交通状况。这些智能特性还可用来增加数据安全、改善带宽利用、对网络操作实施更多的控制。 路由器的缺点是，复杂的数据包处理增加了延迟，与简单的交换体系结构相比，性能较低。 路由器与交换机的另一个区别是，由交换机连接的网段仍属于同一个广播域，广播数据包会在交换机连接的所有网段上传播， 在某些情况下会导致通信拥挤和安全漏洞。连接到路由器上的网段会被分配成不同的广播域，广播数据不会穿过路由器。 二、校园网拓扑一般来说有两种拓扑结构可供选择：集中式和分布式。网络拓扑的选择是根据网络中关键性应用的应用模型来进行， 但同时要看到应用模型会随时间的推移而改变，要注意设计的灵活性。 （1）集中模式集中模式的拓扑中，业务集中在较少的几台服务器上，这些服务器被集中放置在网络中心。 采取这种结构有两个主要原因，第一，它们是从主机系统中继承的传统应用结构。 第二，单一(或较少)的主机减少了数据库一致性问题的发生，同时，这种模式简化了管理工作。 这种结构的问题在于由于所有的用户终端都需要访问中央的服务器，网络流量会汇集到网络主干上， 这将导致传统的共享网络主干上交通拥挤，从而导致系统应用性能下降。幸运的是， 由交换技术提供的高速链路为这一问题的解决提供了办法。由于具有高速度、低延迟的特性，交换机构造更好的响应速度。 低延迟意味着从客户机到服务器之间的网络连接所跨越的交换机数量对实际响应时间影响较小。 这种结构的主干可以看作是多级的、连接不同"星"的"星"。像小溪流进大河一样，数据通信被汇聚到主干中， 所以中心交换机需要采用高速网络技术，如快速以太网、千兆以太网、ＦＤＤＩ、ＡＴＭ等。这种结构中， 中央设备将成为一个集中失效点，一旦该设备失效就会导致应用瘫痪，所以一定要选用高可靠、容错性好的设备。 （2）分布模式分布模式的拓扑中，往往把应用服务器设置在靠近用户的最大集中点，支持分布模式拓朴的网络， 要求把网络用户分配到不同的应用领域，每个应用域需要为所有域用户访问的主要应用提供访问。 在分布模式的网络中，我们可以由交换机服务器群的分布形状看出应用域的物理表现形式。 用户及其相关的服务器被连接到同一个交换机上，这种把客户机和服务器都作为网络叶节点的形式，使整个网络的结构变得平坦。 可以采用这么一个简单的设计原则：当一台服务器需要被许多用户共享且响应时间很重要时，就在那里放置一台交换机。 把整个企业应用分配到很多的交换机/服务器群中，每个服务器中装载了该域用户经常访问的数据和应用。这样一来， 客户机/服务器的事务就基本在本地进行，而网络主干仅用于服务器间的数据同步。 这种结构的设计要点是，把服务器放置在最佳位置利用，分布式数据库技术和交换机的能力使数据通信尽量发生在本地。 它的主要优点是，可以得到优秀的应用性能和响应时间。这种结构的主干可以看作连接不同"星"的"网"。 其流量情况比较复杂，需要根据具体情况核定，以选择足够带宽的链路。这种结构的"网"特性使得主干的容错性能较好， 一个点的失效不会导致整个企业应用的瘫痪。但这种结构的管理比较复杂。 三、校园网的互连结构（1）在数据中心设置低密度高速数据链路工作组交换机分别配置于各楼层，它们为终端用户提供独立的或共享的10Mbps连接， 为工作组服务器提供独立的高速连接，并用一根高速链路连接到数据中心的路由器上。 数据中心的服务器组连接到路由器的一个高速接口上，共享可用带宽。通过调整每台服务器运用独立的或共享的高速连接， 来调节每台服务器的网络性能。中央的折叠主干路由器提供了各楼层交换机、服务器组以及广域网间的连接。 由于路由器是工作在网络层，它把整个网络分解成不同的广播域，并提供各个分离子网间的保密功能。在这种配置状况中， 路由器是整个网络的中心，交换机为边界用户提供了附加带宽。 （2）在数据中心设置高密度高速数据链路在这里，增加了一台交换机为各楼层交换机、中心服务器组提供独立的高速连接。路由器处于较边缘的位置， 用于连接广域网和其他需要互连的网络。建筑物间的连接可以通过路由器，也可通过交换机进行高速连接， 由更大的范围内的拓扑和安全方面的考虑来决定。这种结构需考虑的另一个问题是，高速交换机代替了路由器的中心地位之后， 可能会带来网络逻辑拓朴结构方面的改变。另外，这种互连结构在整个环境中采取单一的广播域。 如果不能接受在同一个建筑中采取单一的广播域，那么就需要配置多个高速的路由接口， 用来连接属于不同广播域的中央交换机。由于在中央服务器组和各个交换工作组之间不再存在直接的连接。 （3）具有冗余结构的主干路由器有一个重要性能---支持冗余路径，为我们建立可靠的网络主干提供了方案。 四、结论现在的网络设计，越来越趋向于以交换为中心的结构，千兆以太网交换机、大型ＡＴＭ交换机、 ＦＤＤＩ交换机的出现更为大规模交换主干的设计提供了有力的帮助。 穿越ＡＴＭ建立
㈤ 如何切换TD网络
TD-SCDMA（以下简称TD）系统在继承2G系统硬切换的同时提出了接力切换的概念，它与传统意义上的硬切换和软切换不同，其设计思想是利用TD系统特点和上行同步技术，在切换测量期间，利用开环技术进行并保持上行预同步，在切换期间，可以不中断业务数据的传输，从而达到减少切换时间、提高切换成功率、降低切换掉话率的目的。以下是常见的TD切换异常情况及优化方法。
硬件故障导致切换异常
优化方法：查看基站设备告警记录，对故障的天线、基站硬件设备进行更换。
同频同扰码小区越区覆盖导致切换异常
优化方法：从规划以及优化方面来避免同频同扰码小区越区覆盖现象。主要是调整频点、扰码或工程参数（天线方位角、俯仰角、天线高度、小区最大发射功率等）。
越区孤岛切换问题
优化方法：对发生越区覆盖的小区的天线方位角、俯仰角、小区最大发射功率进行调整，必要时要降低天线高度；如果上述方法均不可行，可添加邻区关系，使切换正常。
目标邻小区负荷过高（或部分传输通道故障），导致切换失败
优化方法：如果目标小区负荷高导致切换失败，在目标小区质量允许的情况下，可以调整目标小区的切换允许下行功率门限、切换允许上行干扰最大门限、下行极限用户数等参数。必要时可通过扩容来提高目标小区容量。针对目标小区传输通道故障可通过相关故障修复来解决。
目标小区上行同步失败导致切换失败
优化方法：可增加目标小区的UPPTS期望接收到的功率、调整功率步长及增加UPPCH信道的发射试探数和进行UP偏移等。但这些参数的调整要十分小心，如果参数调整不适当会加剧上行同步信道干扰，从而引起更高的信道ISCP值提升。
源小区下行干扰严重导致切换失败
优化方法：查找干扰源，对常见的系统外干扰，如PHS系统通过调整扇区天线方位角或增加屏蔽网来规避干扰；对系统内同频干扰可通过修改干扰小区频率或调整方位角及俯仰角来降低干扰。
无线参数设置不合理导致切换不及时
优化方法：修改切换参数门限，包括调整切换迟滞量、修改小区个性偏移、减少切换时间延迟等参数。
乒乓切换造成切换失败
优化方法：调整无线切换参数的优化。调整无线切换参数虽然可以降低乒乓切换的程度，但是也会带来切换不及时等其他问题，故要综合考虑，且在修改参数后，要及时测试和统计跟踪。
调整天馈参数（调整扇区天线下倾角、方位角或者天线挂高），必要时也可更换扇区天线主波束的赋形波束宽度，避免覆盖范围过大，但是必须注意不要出现服务盲区等新问题。
拐弯效应切换失败
优化方法：如果信号允许，可通过调整工程参数（加大邻小区的下倾角）或者无线参数（如调整小区临时偏置），改变切换带，使UE在拐弯前进行提前切换。
㈥ Sparse R-CNN: 稀疏的目标检测，武装Fast RCNN | 新文分析
论文: Sparse R-CNN: End-to-End Object Detection with Learnable Proposals
论文认为，目前的目标检测算法可以按预设框的多少分为两种：
上述两种方法都会预测大量的结果，需要进行NMS后处理，而在训练的时候会存在many-to-one的问题，并且anchor的设置对性能的影响很大。
于是，很多研究开始探讨稀疏(sparse)检测，比如近期的DETR算法。该算法不需要预设anchor，并且预测的结果可直接输出，不需要后处理。但论文认为DETR并不是真正的稀疏检测，因为DETR在各位置提取特征时，需要与全图的上下文进行交互，而真正的稀疏检测应该满足sparse boxes和sparse features，即较少的初始框设定以及框之间不需要过多的特征互动。
为此，论文提出了Sparse R-CNN，如图1c所示，仅需设定少量anchor即可进行检测，而且能够进行set prediction，免去NMS等后处理，其核心主要包含以下几点：
Sparse R-CNN的推理流程如图3所示，输入图片、可学习的proposal boxes以及可学习的proposal features，根据proposal boxes提取对应的RoIAlign特征，dynamic head将proposal features转换为卷积核参数，对RoIAlign特征进一步提取特征，再进行后续的分类和回归。整体的思想和Fast RCNN很像，将selective search替换为proposal boxes，再增加其它更强的模块。
论文采用FPN-ResNet作为主干网络，输出多层特征，每层特征的维度都是256。采用更复杂的主干网络可以获得更好的性能，但论文与Faster R-CNN对齐，采用标准的实现。
Sparse R-CNN的核心是采用数目固定的小批量可学习proposal boxes( )作为region proposal，而非RPN。每个box为4-d参数，在0～1范围内，值为归一化的中心点坐标、宽度和高度。这些参数在训练过程中通过反向传播进行更新，包含了训练集目标位置的统计信息，可用于推理时的初步目标位置猜测。
尽管4维的proposal box能够直观地表示目标的定位，但缺少了目标的信息，比如目标的姿态和形状，所以论文引入proposal feature( )进行补充。proposal features是高维的可学习向量，与proposal boxes一一对应，用于丰富目标的RoIAlign特征。
Dynamic instance interactive head的结构如图4所示，每个proposal box都有一个专属的预测head。给定 个proposal boxes和 个proposal features，先通过RoIAlign提取每个box的 维特征，Dynamic instance interactive head将其对应的 维proposal feature转换为卷积参数，使用这个卷积参数对RoIAlign特征进行提取，得到目标的 维特征，最后经过简单的3层感知机进行分类与回归。
Dynamic instance interactive head也可以使用类似Cascade R-CNN那样的级联模式进一步的提升性能，将输出的新回归框和 维特征作为下一次迭代的proposal box和proposal feature即可。
Sparse R-CNN的训练采用set prediction的形式，将固定数量的预测结果与GT之间进行二分图最优的匹配，然后计算损失值，完整的损失函数为：
各模块对比实验。
性能与收敛性。
在COCO上进行对比。
Sparse R-CNN贯彻了稀疏的思想，只提供少量初始框，可进行Set prediction，颠覆了当前密集预测的检测思路，整体框架十分简洁，跟Fast RCNN有点像，十分值得大家阅读。
㈦ CNN和Transformer相结合的模型
©作者 | 小欣
CNN广泛应用于计算机视觉的各种任务中，比如分类，检测，分割，CNN通过共享卷积核提取特征，减少网络参数数量，提高模型效率，另一方面CNN具有平移不变性，即无论特征被移动到图像的哪个位置，网络都能检测到这些特征。
尽管CNN存在很多优势，但是其感受野通常很小，不利于捕获全局特征。
视觉Transformer由于能够捕获一张图片的全局信息，因此在许多视觉任务中超越许多CNN结构。
ViT是第一个替代CNN，使用纯Transformer的结构，输入一张224×224×3的图片，ViT将其分成14×14=196个非重叠的patches，每个patch的大小是16×16×3，然后将这些patch输入到堆叠的多个transformer编码器中。
CNN的成功依赖于其两个固有的归纳偏置，即平移不变性和局部相关性，而视觉Transformer结构通常缺少这种特性，导致通常需要大量数据才能超越CNN的表现，CNN在小数据集上的表现通常比纯Transformer结构要好。
CNN感受野有限导致很难捕获全局信息，而Transformer可以捕获长距离依赖关系，因此ViT出现之后有许多工作尝试将CNN和Transformer结合，使得网络结构能够继承CNN和Transformer的优点，并且最大程度保留全局和局部特征。
Transformer是一种基于注意力的编码器-解码器结构，最初应用于自然语言处理领域，一些研究最近尝试将Transformer应用到计算机视觉领域。
在Transformer应用到视觉之前，卷积神经网络是主要研究内容。受到自注意力在NLP领域的影响，一些基于CNN的结构尝试通过加入自注意力层捕获长距离依赖关系，也有另外一些工作直接尝试用自注意力模块替代卷积，但是纯注意力模块结构仍然没有最先进的CNN结构表现好。
Transformer中有两个主要部分，多头自注意力层和全连接层，最近，Cordonnier et al.在研究中表明卷积可以通过使用多头自注意力层达到同样的效果。
Transformer 理论上比CNN能得到更好的模型表现，但是因为计算全局注意力导致巨大的计算损失，特别是在浅层网络中，特征图越大，计算复杂度越高，因此一些方法提出将Transformer插入到CNN主干网络中，或者使用一个Transformer模块替代某一个卷积模块。
BoTNet.[1] 通过使用Multi-Head Self-Attention(MHSA)替代ResNet Bottleneck中的3×3卷积，其他没有任何改变，形成新的网络结构，称为Bottleneck Transformer，相比于ResNet等网络提高了在分类，目标检测等任务中的表现，在ImageNet分类任务中达到84.7%的准确率，并且比EfficientNet快1.64倍。
BoTNet中使用的MHSA和Transformer中的MHSA有一定的区别，首先，BoTNet中使用Batch Normalization，而Transformer中使用Layer Normalization，其次，Transformer中使用一个在全连接层中使用一个非线性激活，BoT(Bottleneck Transformer)模块中使用三个非线性激活，最后Transformer中的MHSA模块包含一个输出映射，而BoT中的MHSA没有。
CNN有局部性和平移不变性，局部性关注特征图中相邻的点，平移不变性就是对于不同区域使用相同的匹配规则，虽然CNN的归纳偏差使得网络在少量数据上表现较好，但是这也限制了在充分数据上的表现，因此有一些工作尝试将CNN的归纳偏差引入Transformer加速网络收敛。
DeiT.[2] 为了减小ViT对于大量数据的依赖，Touvron et al.提出了Data-efficient image Transformer(Deit)，提高网络在小量数据上的表现，通过使用数据增强和正则化技术，与此同时还引入了蒸馏策略，即使用一个教师网络去指导学生网络，通常来说使用CNN要比Transformer作为教师模型效果要好，CNN模型可以将其归纳偏置引入到Transformer。
作者使用两种蒸馏方式，一种是硬蒸馏，一种是软蒸馏 ，软蒸馏通过计算学生模型和教师模型分别经过softmax之后的KL散度，硬蒸馏通过使用教师模型的预测作为真实标签。
DeiT中引入了一个新的distillation token，和class token的作用类似，和其他token之间通过自注意力交互，作者发现class token和distillation token会收敛于不同的向量，余弦距离为0.06，说明这两个token希望得到相似但不相同的目标，为了证明distillation token的有效性是由于知识蒸馏的作用，通过对比实验将distillation token换成class token，就是使用两个class token，最终效果不如加入distillation token。
对比卷积神经网络和Transformer在Imagenet上的分类表现：
ConViT.[3] 通过引入gated positional self-attention（GPSA）层模仿卷积层带来的局部性，将GPSA替代一部分 self-attention层，然后每一个注意力头通过调整可学习的门控参数来调整对于位置信息和上下文信息的关注程度。GPSA层的输出可以表示为：
其中，
是一个可学习的向量去模仿卷积，
是一个固定的相对位置编码,
是一个可学习门控参数去调整对上下文和位置信息的关注程度。
Cordonnier et al.[4] 在论文中证明多头自注意机制可通过调整头的数量和可学习的位置编码来近似达到卷积层的效果。
对比ConViT和DeiT在Imagenet-1k上的表现，以及不同大小训练集对结果的影响
CeiT.[5] 改变了patch到token的方式，先将图片通过卷积和最大池化再切分成patch，最开始对图片使用卷积操作可以捕获图片的低级特征，即I2
并且使用了Layer-wise class token Attention(LCA)去结合多层特征，提出了Locally-Enhanced Feed-Forward Netword(LeFF)，将最开始的全连接层(Feed-forward network)替换成了LeFF层，MSA(Multi-head self-attention)层保持不变，用于捕获全局信息，LeFF层用于捕获局部信息，最终的效果要比DeiT好。
Early Conv.[6] Xiao et al.通过使用多个步长为2的3×3卷积核替代ViT中最初的stem（步长为16的16×16卷积），使得网络在ImageNet-1k上取得1-2%的提高，并且稳定性和泛化能力在下游任务中都有所提高，对于学习率的选择和优化器的选择没有那么敏感，并且收敛速度也更快。
这篇文章表面在ViT模型中使用一个小的卷积核相比于最初的ViT使得模型有更好的泛化能力。
CoAtNet.[7] Dai et al. 提出a Convolution and Attention NetWord(CoAtNet)，通过引入深度卷积到注意力模块中，深度卷积中一个卷积核负责一个通道，一个通道只被一个卷积核计算，相比于正常卷积，其参数和运算成本相对比较低，在浅层网络中堆叠卷积层，比较了不同的堆叠方式，比如C-C-C-T，C-T-T-T，C-C-C-T，其中C代表卷积模块，T代表Transformer模块。
通过综合考虑模型泛化能力，迁移能力，模型在训练集上的表现，最后使用C-C-T-T 这种堆叠方式。在没有额外训练数据的情况下，CoAtNet达到了86%的准确率，在ImageNet-21K上预训练时，达到了88.56%的准确率。
参考文献
[1] A. Srinivas, T.-Y. Lin, N. Parmar, J. Shlens, P. Abbeel, and A. Vaswani, “Bottleneck transformers for visual recognition.” in Proc. CVPR, 2021.
[2] H. Touvron, M. Cord, D. Matthijs, F. Massa, A. Sablayrolles, and H. Jegou, “Training data-effificient image transformers & distillation through attention,” in Proc. ICLR, 2021.
[3] S. d’Ascoli, H. Touvron, M. Leavitt, A. Morcos, G. Biroli, and L. Sa gun, “Convit: Improving vision transformers with soft convolutional inctive biases,” in Proc. ICLR, 2021.
[4] Cordonnier, J.-B., Loukas, A., and Jaggi, M. On the relationship between self-attention and convolutional layers. arXiv preprint arXiv:1911.03584, 2019.
[5] K. Yuan, S. Guo, Z. Liu, A. Zhou, F. Yu, and W. Wu, “Incorporating convolution designs into visual transformers,” in Proc. ICCV, 2021.
[6] T. Xiao, M. Singh, E. Mintun, T. Darrell, P. Dollar, and R. B. Girshick, “Early convolutions help transformers see better,” ArXiv, vol. abs/2106.14881, 2021.
[7] Z. Dai, H. Liu, Q. V. Le, and M. Tan, “Coatnet: Marrying convolution and attention for all data sizes,” arXiv preprint arXiv:2106.04803, 2021.
私信我领取 目标检测与R-CNN/数据分析的应用/电商数据分析/数据分析在医疗领域的应用/NLP学员项目展示/中文NLP的介绍与实际应用/NLP系列直播课/NLP前沿模型训练营等 干货学习资源。
㈧ sar目标检测用什么网络合适
主从网络。
相控阵每次发射和接收都可以对目标进行检测，如在想干时间内，还可以对目标进行多普勒处理。SAR需要采集很长时间的数据，最后合成图像。
㈨ Faster R-CNN：使用RPN实时目标检测
论文： Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
目标检测网络大多依靠 区域生成 （region proposal）算法来假设目标的位置。 R-CNN 是采用 Selective Search 算法来提取(propose)可能的 RoIs(regions of interest) 区域，然后对每个提取区域采用标准 CNN 进行分类。选择性搜索（Selective Search ）方法就是在目标对象周围设定2000个形状大小位置不一的候选区域，目标物体在候选区域的可能性还是比较大的。然后对这些区域卷积，找到目标物体，虽然大多数区域都是无用的。与寻找几乎个区域比起来，这种方法要高效的多。
Fast R-CNN ，不在原始图像生成备选区域，而是先整张图片通过卷积网络得到特征图，然后在特征图上使用备选区域算法得到感兴趣的区域在特征图的映射，之后使用 Rol Pool将所有区域变成同样尺寸，大大减少了这些目标检测网络的运行时间，但是区域生成的计算成为整个检测网络的瓶颈。
Faster R-CNN 引入了一个 区域生成网络（Region Proposal Network，RPN） ，该网络与检测网络共享输入图像的卷积特征，从而使接近零时间成本的区域生成成为可能。 RPN是一个全卷积网络，可以同时在每个位置预测目标边界和目标分数。RPN经过端到端的训练，可以生成高质量的区域候选框，然后提供给Fast R-CNN用于检测。
Faster R-CNN 由两个模块组成：第一个模块是区域生成的深度全卷积网络，第二个模块是使用备选区域的Fast R-CNN检测器。整个系统是一个单个的，统一的目标检测网络。使用最近流行的“注意力”机制的神经网络术语，RPN模块告诉Fast R-CNN模块在哪里寻找目标。
针对一张图片，需要获得的输出有：
Faster R-CNN 第一步是采用基于分类任务(如ImageNet)的 CNN 模型作为特征提取器。输入图片表示为 H × W × D 的形式，经过预训练 CNN 模型的处理，得到卷积特征图(conv feature map)。
Faster R-CNN 最早是采用在 ImageNet 训练的 ZF 和 VGG ，其后出现了很多其它权重不同的网络.。如 MobileNet 是一种小型效率高的网络结构，仅有 3.3M 参数；而ResNet-152 的参数量达到了 60M；新网络结构，如 DenseNet 在提高了结果的同时，降低了参数数量。
以 VGG16 为例：
VGG16 图片分类时，输入为 224×224×3 的张量(即，一张 224×224 像素的 RGB 图片)。网络结构最后采用 FC 层(而不是 Conv 层)得到固定长度的向量，以进行图片分类.。对最后一个卷积层的输出拉伸为1维的向量，然后送入 FC 层。官方实现中是采用的卷积层 conv5/conv5_1 的输出。
在深度上，卷积特征图对图片的所有信息进行了编码，同时保持相对于原始图片所编码 “things” 的位置。例如，如果在图片的左上角存在一个红色正方形，而且卷积层有激活响应，那么该红色正方形的信息被卷积层编码后，仍在卷积特征图的左上角。因此利用特征图检测目标所在的位置是可行的。
ResNet 结构逐渐取代 VGG 作为基础网络，用于提取特征。ResNet 相对于 VGG 的明显优势是，网络更大，因此具有更强的学习能力.。这对于分类任务是重要的，在目标检测中也应该如此。另外，ResNet 采用残差连接(resial connection) 和 BN (batch normalization) 使得深度模型的训练比较容易。
然后，RPN(Region Propose Network) 对提取的卷积特征图进行处理，寻找可能包含 目标的 预定义数量的区域(regions，边界框) 。为了生成候选区域，在最后的共享卷积层输出的卷积特征图上做 3x3 卷积，卷积核共有512个（VGG），后面是ReLU，这样每个 3x3 区域会得到一个512维的特征向量。然后这个特征向量被输入到两个全连接层——一个边界框回归层（reg）和一个边界框分类层（cls）。
下面解释 k, 2k, 4k 的含义。
基于深度学习的目标检测中，可能最难的问题就是生成长度不定(variable-length)的边界框列表（bounding-boxes），边界框是具有不同尺寸（sizes）和长宽比（aspect ratios ）的矩形。在构建深度神经网络时，最后的网络输出一般是固定尺寸的张量输出(采用RNN的除外)。例如，在图片分类中，网络输出是 (C, ) 的张量，C是类别标签数，张量的每个位置的标量值表示图片是类别的概率值。
在 RPN 中，通过采用 anchors（锚） 来解决边界框列表长度不定的问题，即在原始图像中统一放置固定大小的参考边界框。上面说到RPN对特征图做3x3的卷积，假设每一次卷积需要预测 k 个候选区域，因此，reg层具有 4k 个输出，编码 k 个边界框的坐标，cls层输出 2k 个分数，估计每个区域是目标或是背景的概率。这 k 个区域就是 被 k 个参考边界框初始化， k 个参考框就是 k 个锚点，作为第一次预测目标位置的参考 boxes。锚点的中心位于卷积核滑动窗口的中心。默认情况下每个滑动位置使用3个不同尺度（128 2 , 256 2 , 512 2 ）3个不同长宽比（1:2, 1:1, 2:1）的锚点，k=9。对于大小为W×H（通常约为2400）的卷积特征图，总共有 W×H×k 个锚点。对于RPN的最后两个全连接层，参数的个数为 512×(4+2)×k.
不同于直接检测目标的位置，这里将问题转化为两部分。对每一个 anchor 而言：
有一种简单的方法来预测目标的边界框，即学习相对于参考边界框的偏移量。假设参考 box：( )，待预测量：( )，一般都是很小的值，以调整参考 box 更好的拟合所需要的。
虽然 anchors 是基于卷积特征图定义的，但最终的 anchos 是相对于原始图片的.
由于只有卷积层和 pooling 层，特征图的维度是与原始图片的尺寸成比例关系的. 即，数学地表述，如果图片尺寸 w×h，特征图的尺寸则是w/r×h/r. 其中，r 是下采样率(subsampling ratio). 如果在卷积特征图空间位置定义 anchor，则最终的图片会是由 r 像素划分的 anchors 集。在 VGG 中， r=16。
RPN 利用所有的参考边界框(anchors)，输出一系列目标的良好的 proposals。针对每个 anchor，都有两个不同的输出：
RPN是全卷积网络。
对于分类层，每个 anchor 输出两个预测值：anchor 是背景(background，非object)的 score 和 anchor 是前景(foreground，object) 的 score.
对于回归层，也可以叫边界框调整层，每个 anchor 输出 4 个预测值：
（Δxcenter,Δycenter,Δwidth,Δheight），用于 anchors 来得到最终的 proposals。根据最终的 proposal 坐标和其对应的 objectness score，即可得到良好的 objects proposals.
RPN 有两种类型的预测值输出：二值分类和边界框回归调整。
为了训练RPN，我们为每个锚点分配一个二值类别标签（是目标或不是目标）。我们给两种锚点分配一个正标签：（i）具有与实际边界框的重叠最高交并比（IoU）的锚点，或者（ii）具有与实际边界框的重叠超过0.7 IoU的锚点。注意，单个真实边界框可以为多个锚点分配正标签。通常第二个条件足以确定正样本；但我们仍然采用第一个条件，因为在一些极少数情况下，第二个条件可能找不到正样本。对于所有的真实边界框，如果一个锚点的IoU比率低于0.3，我们给非正面的锚点分配一个负标签。既不正面也不负面的锚点不会有助于训练目标函数。
然后，随机采样 anchors 来生成batchsize=256 的 mini-batch，尽可能的保持 foreground 和 background anchors 的比例平衡。
RPN 对 mini-batch 内的所有 anchors 采用二分类交叉熵来计算分类 loss。然后，只对 mini-batch 内标记为 foreground 的 anchros 计算回归 loss。为了计算回归的目标targets，根据 foreground anchor 和其最接近的 groundtruth object，计算将 anchor 变换到 object groundtruth 的偏移值 Δ。
Faster R-CNN没有采用简单的 L1 或 L2 loss 用于回归误差，而是采用 Smooth L1 loss. Smooth L1 和 L1 基本相同，但是，当 L1 误差值非常小时，表示为一个确定值即认为是接近正确的，loss 就会以更快的速度消失.
由于 Anchors 一般是有重叠，因此，相同目标的候选区域也存在重叠。
为了解决重叠 proposals 问题，采用 NMS 算法处理，丢弃与一个 score 更高的 proposal 间 IoU 大于预设阈值的 proposals.
虽然 NMS 看起来比较简单，但 IoU 阈值的预设需要谨慎处理. 如果 IoU 值太小，可能丢失 objetcs 的一些 proposals；如果 IoU 值过大，可能会导致 objects 出现很多 proposals。IoU 典型值为 0.7。
NMS 处理后，根据 sore 对topN 个 proposals 排序. 在 Faster R-CNN 论文中 N=2000，其值也可以小一点，如 50，仍然能的高好的结果.
当获得了可能的相关目标和其在原始图像中的对应位置之后，问题就更加直接了，采用 CNN 提取的特征和包含相关目标的边界框，采用 RoI Pooling 处理，并提取相关目标的特征，得到一个新的向量。
RPN 处理后，可以得到一堆没有分类得分的目标 proposals。待处理问题为，如何利用这些边界框并分类。
一种最简单的方法是，对每个 porposal，裁剪，并送入pre-trained base 网络，提取特征；然后，将提取特征来训练分类器. 但这就需要对所有的 2000 个 proposals 进行计算，效率低，速度慢。Faster R-CNN通过重用卷积特征图来加快计算效率，即采用 RoI(region of interest) Pooling 对每个 proposal 提取固定尺寸的特征图。然后 R-CNN 对固定尺寸的特征图分类。
目标检测中，包括 Faster R-CNN，常用一种更简单的方法，即：采用每个 proposal 来对卷积特征图裁剪crop，然后利用插值算法(一般为双线性插值 bilinear)将每个 crop resize 到固定尺寸14×14×ConvDepth. 裁剪后，利用 2×2 kernel 的 Max Pooling 得到每个 proposal 的最终7×7×ConvDepth 特征图.
之所以选择该精确形状，与其在下面的模块(R-CNN)中的应用有关。
R-CNN利用RoI Pooling提取的特征进行分类，采用全连接层来输出每个可能的 目标类别的分类得分，是Faster R-CNN框架中的最后一个步骤。
R-CNN 有两个不同的输出：
R-CNN 对每个 proposal 的特征图，拉平后采用 ReLU 和两个大小为 4096 维的全连接层进行处理。然后，对每个不同目标采用两个不同的全连接层处理：一个全连接层有 N+1 个神经单元，其中 N 是类别 class 的总数，包括 background class；一个全连接层有 4N 个神经单元，是回归预测输出，得到 N 个可能的类别分别预测 Δcenterx,Δcentery,Δwidth,Δheight。
R-CNN 的目标基本上是与 RPN 目标的计算是一致的，但需要考虑不同的可能的 object 类别 classes.
根据 proposals 和 ground-truth boxes，计算其 IoU。与任何一个 ground-truth box 的 IoU 大于 0.5 的 proposals 被设为正确的 boxes。IoU 在 0.1 到 0.5 之间时设为 background。这里忽略没有任何交叉的 proposals。这是因为，在此阶段，假设已经获得良好的 proposals。当然，所有的这些超参数都是可以用于调整以更好的拟合 objects。
边界框回归的目标计算的是 proposal 与其对应的 ground-truth间的偏移量，只对基于 IoU 阈值设定类别后的 proposals 进行计算。随机采用一个平衡化的 mini-batch=64，其中，25% 的 foreground proposals(具有类别class) 和 75% 的background proposals.
类似于 RPNs 的 losses，对于选定的 proposals，分类 loss 采用 multiclass entropy loss；对于 25% 的 foreground proposals 采用 SmoothL1 loss 计算其与 groundtruth box 的匹配。
由于 R-CNN全连接网络对每个类别仅输出一个预测值，当计算边框回归loss 时需谨慎，只需考虑正确的类别。
类似于 RPN，R-CNN 最终输出一堆带有类别分类的objects，在返回结果前，再进一步进行处理。
为了调整边界框，需要考虑概率最大的类别的 proposals. 忽略概率最大值为 background class 的proposals.
当得到最终的 objects 时，并忽略被预测为 background 的结果，采用 class-based NMS. 主要是通过对 objects 根据类别class 分组，然后根据概率排序，并对每个独立的分组采用 NMS 处理，最后再放在一起.
最终得到的 objects 列表，仍可继续通过设定概率阈值的方式，来限制每个类的 objects 数量.
Faster R-CNN在论文中是采用分步方法，对每个模块分别训练再合并训练的权重. 自此，End-to-end 的联合训练被发现能够得到更好的结果.
当将完整的模型合并后，得到 4 个不同的 losses，2 个用于 RPN，2 个用于 R-CNN。4 种不同的 losses 以加权和的形式组织. 可以根据需要对分类 loss 和回归 loss 设置权重，或者对 R-CNN 和 RPNs 设置不同权重.
采用 SGD 训练，momentum=0.9. 学习率初始值为 0.001，50K 次迭代后衰减为 0.0001. 这是一组常用参数设置。
㈩ YOLOV4简介
其他基础操作：
便于分析，将Yolov4 的整体结构拆分四大板块：
（1）输入端：训练时对输入端的改进，主要包括Mosaic数据增强，cmBN，SAT自对抗训练。
（2）BackBone主干网络:将各种新的方式结合起来，包括：CSPDarknet53，Mish激活函数，Dropblock。
（3）Neck：目标检测网络在BackBone和最后的输出层之间往往会插入一些层，比如Yolov4的SPP模块，FPN+PAN结构。
（4）Prediction：输出层的锚框机制和Yolov3相同，主要改进的是训练时的损失函数CIOU_Loss,以及预测框筛选的nms变为DIOU_nms。
（1）Mosaic数据增强。
Yolov4中使用的Mosaic是参考2019年提出的CutMix数据增强的方式，但CutMix只使用了两张图片进行拼接，而Mosaic数据增强则采用了4张图片，随机缩放，随机裁剪，随机排布的方式进行拼接。
（1）CSPDarknet53
CSPDarknet53是在Yolov3主干网络Darknet53的基础上，借鉴2019年的CSPNet的经验，产生的Backbone结构，其中包含了5个CSP模块。
Backbone中卷积层的数量:
每个CSP模块前面的卷积核大小都是3x3，步长为2，因此可以起到下采样的作用。
因为Backbone有5个CSP模块，输入图像是608 x 608，所以特征图的变化规律是：608->304->152->76->38->19
经过5次CSP模块后得到19*19大小的特征图。
而且作者只在Backbone中采用Mish激活函数，网络后面任然采用Leaky_relu激活函数。
CSPNet的作者认为推理计算过高的问题是由于网络优化中的 梯度信息重复 导致的。
因此采用CSP模块先将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将他们合并，在减少计算量的同时可以保证准确率。
因此Yolov4在主干网络Backbone采用 CSPDarknet53网络结构 ，主要是有三个方面的优点：
Yolov4中使用的Dropblock，其实和常见网络中的Dropout功能类似，也是一种缓解过拟合的一种正则化方式。
传统的Dropout很简单： 随机删除减少神经元的数量，使网络变得更简单。
这种方式其实是借鉴2017年的Cutout数据增强的方式，cutout是将输入图像的部分区域清零，而Dropblock则是将Cutout应用到每一个特征图。而且并不是用固定的归零比率，而是在训练时以一个小的比率开始，随着训练过程线性的增加这个比率。
Dropblock 与 Cutout数据增强 对训练效果进行对比验证时，发现几个优点：
在目标检测领域，为了更好的提取融合特征，通常在Backbone和输出层，会插入一些层，这个部分称为Neck。
Yolov4的Neck结构主要采用了SPP模块，FPN+PAN的方式。
（1）SPP模块
SPP模块 在Backbone的主干网络之后：
（2）FPN+PAN
PAN结构是借鉴 2018年图像分割领域PANet的创新点
看下Yolov3和Yolov4中是如何设计的。
前面CSPDarknet53中讲到，每个CSP模块前面的卷积核都是3x3大小，想当于下采样操作。
因此可以看到三个紫色箭头处的特征图是76x76，38x38,19x19。
以及最后Prediction中用于预测的三个特征图：①76×76×255，②38×38×255，③19×19×255。
我们也看下Neck部分的立体图像，看下两部分是如何通过FPN+PAN结构进行融合的。
原本的PANet网络的PAN结构中，两个特征图结合是采用shortcut操作，而Yolov4中则采用concat 操作，特征图融合后的尺寸发生了变化。
（1）CIOU_loss
目标检测任务的损失函数一般由Classificition Loss（分类损失函数）和Bounding Box Regeression Loss（回归损失函数）两部分构成。
Bounding Box Regeression的Loss近些年的发展过程是： Smooth L1 Loss-> IoU Loss（2016）-> GIoU Loss（2019）-> DIoU Loss（2020）->CIoU Loss（2020）
从最常用的 IOU_Loss 开始，进行对比拆解分析，看下Yolov4为啥要选择 CIOU_Loss 。
-------------------------------------------------------IOU_loss------------------------------
问题一 ：即状态1的情况，当预测框和目标框不相交时，IOU=0，无法反应两个框距离的远近，此时损失函数不可导，IOU_Loss无法优化两个框不相交的情况。
问题二 ：即状态2和状态3的情况，当两个预测框大小相同，两个IOU也相同，IOU_Loss无法区分两者相交情况的不同。
因此2019年出现了GIOU_Loss来进行改进。
-------------------------------------------------------GIOU-------------------------------------
看到上图的GIOU_loss中，增加了相交尺度的衡量方式，缓解了 单纯IOU_Loss 时的尴尬。
但为什么仅仅说缓解呢？因为还存在一种不足：
基于这个问题， 2020年的AAAI又提出了DIOU_Loss 。
------------------------------------------------DIOU_Loss------------------------------------------------------------
好的目标框回归函数应该考虑三个重要的几何因素： 重叠面积，中心点距离，长宽比。
针对IOU和GIOU存在的问题，作者从两个方面进行考虑
一：如何最小化预测框和目标框之间的归一化距离？
二：如何在预测框和目标框重叠时，回归的更准确？
针对第一个问题，作者提出了DIOU_Loss
-----------------------------------------------------------CIOU_Loss-----------------------------------------------------
CIOU_Loss 和 DIOU_Loss 前面的公式都是一样的，不过在此基础上还增加了一个 影响因子 ，将预测框和目标框的长宽比都考虑了进去。
这样CIOU_Loss就将目标框回归函数应该考虑三个重要几何因素：重叠面积、中心点距离，长宽比全都考虑进去了。
再来综合的看下各个Loss函数的不同点：
nms主要用于预测框的筛选，YOLOV4将其中计算IOU的部分替换成DIOU的方式
在上图重叠的摩托车检测中，中间的摩托车因为考虑边界框中心点的位置信息，也可以回归出来。
因此在重叠目标的检测中，DIOU_nms的效果优于传统的nms。
注意 ：为什么不用CIOU_nms，而用DIOU_nms?
因为前面讲到的CIOU_loss，实在DIOU_loss的基础上，添加的影响因子，包含groundtruth标注框的信息，在训练时用于回归。
但在测试过程中，并没有groundtruth的信息，不用考虑影响因子，因此直接用DIOU_nms即可。