一种基于显著图生成和显著密度最大化的高效子窗口搜索目标检测新方法

作者：郑晓敏

  为了在航空侦察图像中快速检测目标，本文提出了基于显著图生成和显著密度最大化的高效子窗口搜索目标检测方法。显著图生成算法可以增强图像中感兴趣目标的信息，使目标区域显著，同时，利用基于Itti模型生成的显著图，图像尺寸经过降采样后变小，也降低了后续目标定位的计算量。然后在显著图上，结合显著密度最大化，采用高效子窗口搜索( Efficient Subwindow Search，ESS)实现快速目标定位。高效子窗口搜索可以实现图像中任意目标的全局定位，以线性时间收敛于全局最优解，定位效果等同于滑动窗口穷尽搜索。其基本思想为将搜索直接导向识别最高评估分数的区域，而忽略其他可能的搜索空间。分支定界框架允许这样一个目标指向的搜索，在搜索早期就丢弃大多数参数空间。传统的高效子窗口搜索方法在轿车目标检测领域的应用非常成功，但也存在一些不足，比如：1）当图像中不存在目标时，高效子窗口搜索需要大量的迭代才能收敛到最优解，执行非常慢；2）传统高效子窗口搜索方法采用SVM( Support Vector Machine)进行分类。SVM是图像的二值分类，用于目标定位时存在如下不足：训练分布不等于测试分布；即使针对训练样本，也不能保证定位目标；需要大量训练图像。在目标定位之前，首先进行图像分类，可解决第一个问题，然后通过设计合适的显著图最大化策略，避免SVM用于目标定位时的不足。本文主要研究目标检测问题，图像分类问题将另外撰述。

1  基于Itti模型的显著图生成方法

    在众多视觉注意计算模型中，Itti模型是当前大量研究的理论依据。本文提出的目标定位方法就是以Itti模型为基础实现的。Itti模型通过提取底层特征，包括颜色( color)特征、亮度(intensity)特征和方向(ori-entation)特征，以特征整合理论(feature integration the-ory)为根据，利用中央一周围(center-surround)算子和高斯金字塔做差运算，得到颜色、亮度和方向每个特征的关注图（conspicuity maps），把得到的关注图归一化，并融合后得到图像的显著图( saliencv map)。显著图是一幅表明图像各点的显著性的二维图像，显著图中的点和输入图像的像素有拓扑上的对应关系。在生成视觉显著图后，Itti模型根据显著图各点的显著性，采用WTA( Winner-Take-All)方法和禁止返回机制得到关注点的转移过程FOA( Focus of Attention)，相当于依次提取出感兴趣目标的位置。通过实验发现，这种方法虽然可以获取图像中的各个目标位置，但是每次关注点的转移耗时都超过100 ms，难以满足实时目标检测的需求。因此，本文没有采用这种目标定位方法，只是利用了Itti模型生成的显著图。这也是Itti模型的本质特点，即把颜色、亮度和方向3个方面的关注图线性合并后得到视觉显著图。

2基于高效子窗口搜索的目标定位方法

    高效子窗口搜索方法的核心是分支定界搜索和质量定界函数。ESS方法独立于评估函数的形状，可以确保找到全局最优解。同时，ESS方法依赖于分支定界搜索，而不是穷尽搜索，故计算速度非常快。

2.1分支定界搜索

    ESS方法是基于变换空间的自适应子划分的识别算法( RASr)，它将参数空间分层划分为分解的子集，同时保持在所有的子集上最大化质量定界，在搜索早期就丢弃大多数参数空间。对ESS方法，参数空间是图像中所有可能的矩形。通过上下左右坐标(t，b，ι，r)来表示。为了同时评估许多矩形，扩展矩形表示为矩形集[T，B，L，R]，T=[tlow，thigh]等，见图1。

    对每个矩形集，计算评估函数可以获得的最高：数的边界。当发现一个矩形的分数至少和所有剩余可选区域的上界一样好时，ESS停止计算。如果能得到足够紧的定界函数，ESS方法保证收敛到全局最优解。在每次迭代中，ESS方法以最好优先的方式组织搜索可选集合，总是检查看上去更有希望得到高评估界限的矩形集，然后将可选集沿着最大坐标间隔划分为两半，形成两个小一点的可选集。

2.2质量定界函数

3基于显著图生成和高效子窗口搜索的目标定位方法

    为了找到显著目标，首先生成图像的显著图，然后从显著图中检测或分割目标。虽然已经有许多工作进行显著检测，然而图像中显著目标的精确定位还没有解决，因为获得的显著图通常含有噪声，且目标不完整。从杂波背景中找到显著区域，并完整地提取目标非常困难。当前大部分方法采用穷尽搜索方法寻找包含固定比例显著点（如所有显著点的95%）的最小区域来定位显著目标。主要难点在于很难预先知道显著区域所包含的显著像素量，因为它依赖于显著目标的大小和形状，以及背景杂波的强弱。

    理想情况下，对给定的显著图，目标是从图像中寻找最小尺寸的包围盒，同时包含图像中大部分显著性。本文将这个问题提炼为最大显著密度( Maximum Sali-ency Density，MSD)区域定位问题。作为一个新的显著目标定位方法，在显著目标大小和它包含的显著性之间实现折中，可以容忍显著图含有噪声及目标信息不完整。新方法不需要任何关于目标的先验知识，通过包围盒搜索能够自适应于目标的大小和形状。为了避免穷尽搜索不同大小和不同位置的所有可能的包围盒，采用分支定界搜索快速找到全局最优包围盒。

3.1  基于显著密度最大化的目标搜索方法

3.1.1  显著密度最大化( MSD)

    分析显著图后发现，显著目标区域的平均密度比显著图中任何区域的密度都要大很多。为了描述这个特征，同时克服现有搜索方法的不足，可以从显著图中寻找最大显著密度的区域。将目标函数f（w）(w*=argmaxf(W)）)设计如下

式中，C是正的常数，用来平衡area（w）大小的影响。第一项主要用于让w包含更多的显著像素，第二项主要保证让检测的区域具有高的显著密度。因此，最大化f(w)时平衡了目标大小和目标包含显著性之间的关系。

3.1.2  显著密度最大化的ESS搜索实现

    穷尽搜索w*非常耗时，可采用ESS方法来加速实现。原始的分支定界搜索要求图像中有正值和负值，而本文的显著图仅包含正值。因此，需要设计新的分支定界搜索方法，核心是目标函数上界的估计。令W={w1，…，wi}表示区域集合，其中wi∈I。假定存在两个区域Wmin(Wmin∈W)和Wmax(Wmax∈W)，使得对任何Wi∈W，Wmin∈Wi∈Wmax，则利用Wmin和Wmax可以将最优解的上界估计f(W)表示为

最后，基于显著密度最大化的ESS搜索方法概括总结如下。

3.2  目标检测算法步骤

    通过前文的分析，可以将目标检测算法主要概括为以下3步：

    1)对输入图像生成显著图，由于Itti显著图生成过程耗时少，且目标区域显著，故采用Itti模型实现显著图生成；

    2)设计显著密度最大化的目标函数，目标函数最大时，既能让检测窗口包含更多的显著像素，又可以保证让检测的区域具有高的显著密度；

    3)在显著图上，基于ESS搜索实现显著密度最大区域检测，主要是设计目标函数的质量定界函数，然后利用分支定界算法确定显著密度最大区域。

4仿真实验

    为了检验目标检测算法的性能，本文制作了航空侦察图像目标检测数据库，共含有531幅航空侦察图像。每幅图像中的目标都用一个矩形包围盒标记，作为基准标记。通过比较目标检测算法的定位结果和基准标记之间的关系，可以评估目标检测算法的优劣。本部分主要进行4个实验：1）定位精度分析；2）定位速度分析；3）计算耗时和检测概率分析；4）定位错误的典型原因分析。仿真实验时软硬件配置为台式兼容机，硬件性能为3.4 GHz CPU，4G内存；操作系统为WinXP SP3 32位，开发软件为Matlab7.6和VS2008。

4.1定位精度分析

    定位精度分析主要与穷尽搜索方法( ExhausitiveSearch,ES)和最大显著区域方法( Maximum SaliencyRegion，MSR)进行比较。对单幅图像的检测效果采用F-measure值的大小来判断目标检测结果是否正确，具体公式为

式中：P是检测准确率(precision)，表示检测矩形包围盒检测准确的像素占检测矩形包围盒的比例；R是检测完备率( recall)，表示检测矩形包围盒检测准确的像素占基准包围盒像素的比例。如果Fmejsure≥60%，则认为检测到目标，否则检测失败。

4.1.1  比较MSD与ES方法

    图2a为3种显著图算法Itti，GB和IG的结果。Itti算法和GB算法考虑了局部特征的对比性，图像的显著区域在显著图中表现较好，但是显著区域的轮廓不明显。而IG算法考虑了图像全局持征，显著区域保留了较完整的轮廓，但是显著度较低。ES方法中λ设置为95%，阈值选择利用Otsu方法自动得到。图2b、图2d是ES方法和MSD方法的检测结果。由于95%是一个任意值，与显著图包含的内容没有关系，ES方法检测结果包含了一大部分非显著区域。MSD方法中，在显著密度的约束下，小的显著区域从主要显著区域分离。因此，除了图2d第3幅图像，MSD方法比ES方法上更精确。由于IG显著图生成的原因，导致MSD方法没有检测到目标（图2d第3幅），ES方法检测目标范围过大（图2b第3幅），其中，蓝框为检测结果，红框为基准。图3的客观检测指标也验证了这一结论。由于是两幅图像的检测指标取平均，IG显著图上MSD方法的检测结果反而没有ES方法的检测结果好，但是其他两幅显著图上，MSD方法的检测效果明显优于ES方法的检测效果。为了检验A值对ES方法的影响，图4测试了不同A值的检测结果。当A变小时，检测精度提高，但是检测完备率下降。

4.1.2  比较MSD与MSR方法

    与ES方法一样，MSR方法中显著图的阈值利用Otsu方法自动得到。MSD方法中的C分别设置为2000，8000和11 500。图3显示了比较结果，其中每组图上都标记了平均的precision，recall和F-measure值。在IG显著图上，MSR都没有检测到目标，而MSD方法在一幅图像上检测到目标，MSD方法得到更好的F-measure和rec all。对其他两幅显著图，MSD方法更是明显优于MSR方法。总之，3种不同类型显著图的检测结果表明，MSD方法改善了F-measure，同时保持高检测精度。

4.1.3    MSD方法中参数C对检测结果的影响

    为了评估MSD方法中仅有的参数C对检测结果的影响，图5中测试了不同C值。当C取值小时，检测结果对密度变化明显，易于收敛到高平均密度的小区域。当C取值大时，整个算法收敛到具有较低平均密度的大区域。图Sa中，在区间[1000，4000]对C的选择不敏感。图5b中，当C在区间[8000，20 000]时，F-measure值在67.1%之上。图6c中，当C在区间[18 000，20 000]时，F-measure在49%之上。从这些结果可以发现，Itti显著图比IG和GB显著图存在较小的最优C值。

    基于上述定位精度的分析，主要结论包括：1）3种检测算法（ES，MSR和MSD）中，MSD方法明显最优；2）针对MSD方法，Itti和GB显著图上的检测效果最好，IG显著图上检测效果稍差；3）对同一个显著图算法存在一个大概的最优C值范围。这启发我们可以将C值初始化在这个大概范围，然后再微调得到最优检测结果。

4.2定位速度分析

    ES方法理论上搜索速度比较慢。对于图像尺寸大小为400×300的图像，穷尽滑动窗口方法平均需要超过100亿次的窗口评估。MSR方法理论上和MSD方法的速度一样，都比较快，但是由于MSR方法的质量上界函数简单，窗口内只有一个求和运算，计算量应该比MSD方法小。实际中，将不同显著图以及不同搜索方法的时间复杂度用计算机的实际运行时间表示。为了克眼随机性，对每个定位算法都运行10次，然后取平均，见表1。很明显，实际运行效果和理论分析完全一致。

    结合定位精度分析，基于Itti显著图的MSD方法检测时间(28 ms)较短，且检测精度最高。因此，本文的航空侦察图像目标快速定位方法确定为基于Itti显著图和显著密度最大化的高效子窗口搜索目标检测方法，简称为Itti-MSD-ESS方法。

4.3计算耗时和检测概率分析

    为了评估Itti-MSD-ESS方法对多幅图像的检测耗时和检测概率，设计了目标检测演示软件，对目标检测数据库中的所有图像进行检测分析。图6中大部分图像的检测结果都大于F-measure阈值0.6，检测概率为83.2%。另外，目标检测平均耗时36.6 ms。这个数据和定位速度分析部分稍有偏差，原因在于通常灰度图像的目标定位耗时20 ms，彩色图像的平均耗时40 ms，而数据库的图像包含有彩色图像和灰度图像。

4.4定位错误的典型原因分析

    为了更好地评估Itti-MSD-ESS方法的检测鲁棒性，专门从目标检测数据库中选取检测错误或检测精度不理想的图像进行了分析，为定位算法的改进指明方向。图7中（蓝框为检测结果，其他颜色框为基准）第1列的目标检测错误，原因在于显著图生成结果中沿岸区域更加显著。可以通过多目标检测的方法或者采用其他显著图方法解决这个问题，见图8。

    图7中第2列的目标检测精度不够理想，这是大部分显著图方法固有的不足。显著图生成后，舰船天线区域几乎就消失了，因此目标检测不够完整。解决的办法是生成的显著图要能够保留目标区域清晰的边缘，同时目标区域还要整体显著，这是我们下一步的研究方向。

    图7中第3列和第4列是多目标检测的情况，默认只检测到一个目标。因此，只要检测到多目标中任何一个，都认为是检测到目标，当然也可以修改目标数量参数，检测到多个目标，见图9a。图7中第4列有5个目标，默认将两个目标当成一个目标检测，可以修改C参数，实现只检测其中一个目标，见图9b，当然也可以修改目标数量参数，实现多目标检测，见图9c，由于显著图中最右边的目标变得很弱，因此没有检测到，反而误将左边第2个目标区分成两个目标。

5  结束语

    本文首先对Itti，GB和IG 3种显著图进行了对比分析，认为Itti显著图生成过程耗时最少，且目标区域显著，适宜作为快速目标定位的前期处理手段。然后，在显著图上，提出了基于显著密度最大化和高效子窗口搜索的目标定位方法。主要思想是将显著目标检测变为显著密度最大化问题，接着利用分支定界搜索算法以全局最优的方式搜索密度最大的位置，本质上就是显著密度最大化和ESS方法的结合，而ESS方法的核心就是分支定界搜索方案，该方法不需要显著目标的先验知识，能自适应于不同尺寸和形状的目标，而且受杂波背景影响较小。实验部分主要从定位精度、定位时间两个方面，比较分析了ES，MSR和MSD 3种目

标定位方法，结果表明，MSD方法不仅耗时少，而且目标定位精度高。最后，结合显著图分析，将复杂航空侦察图像目标快速定位方法确定为基于Itti显著图和显著密度最大化的高效子窗口搜索目标定位方法。

总之，无论是从检测精度还是从检测概率的角度提出的Itti-MSD-ESS方法都可以实现航空侦察图像的快速目标检测。然而，正如定位错误的典型原因分析所指出，为了进一步提高检测精度，还需要研究更加完善且快速的显著图生成方法。

6摘要：为了实现航空侦察图像的快速目标检测，提出了基于显著图生成和显著密度最大化的高效子窗口搜索目标检测方法。显著图生成采用Itti模型，设计了基于显著密度最大化的高效子窗口搜索方法，主要思想是将显著目标检测变为显著密度最大化问题，并利用分支定界搜索算法以全局最优的方式搜索密度最大的位置。实验表明，新方法可以实现快速目标检测，目标检测平均耗时为36.6 ms，目标检测概率为83.2%。