一种实时的分块跟踪算法

2016-03-17 10:57:31 安装信息网

尚堃，张同贺，李威

（中国空空导弹研究院，河南洛阳471000）

摘要：为有效地处理目标跟踪中的目标尺度变化、光照变化和局部被遮挡问题，采用分块跟踪策略，跟踪目标上的多个跟踪点，通过前后两帧图像间多对对应跟踪点之间的距离变化量确定目标尺度的变化量和位移量。在目标被遮挡的情况下，利用未受遮挡影响的跟踪点的位置信息和时空上下文信息计算目标跟踪点位置。采用高效而精确的STC( Spatial Temporal Context)跟踪算法跟踪单个跟踪点，保证算法的实时性和跟踪点定位的准确性。实验结果表明，提出的分块跟踪算法不但实时性较好，跟踪精度较高，具有抗光照变化和抗局部遮挡能力，而且算法原理简单，能够适应多种跟踪环境。

0 引言

自动目标跟踪是计算机视觉研究领域的一个重要分支，自其诞生以来，研究人员提出了大量的具有重要影响和应用价值的研究成果，但是，由于应用领域的复杂性和特殊性，特定的跟踪算法很难同时处理各种复杂的问题。在目标跟踪过程中存在目标被部分遮挡、目标发生形变、光照变化、背景混乱以及目标尺度变化等现象，这些问题都对目标跟踪算法提出了挑战。其中，目标尺度变化、光照变化和目标被遮挡等是自动目标跟踪应用中常见并且难以处理的问题。因此，研究自动目标跟踪中的目标尺度变化、光照变化和目标被遮挡问题具有重要的应用价值。为了克服目标尺度变化、光照变化和目标遮挡对目标跟踪的影响，人们提出了大量的算法，如粒子滤波算法、TLD算法、LK算法、SIFT[4算法、STC算法、CT算法、Mean-Shift算法、马尔可夫随机场算法、序列蒙特卡罗方法、Hausdorff距离法以及KLT算法等。

Lucas-Kanade提出的LK算法能够利用图像灰度信息精确计算视频前后两帧之间的几何变换关系，精确定位跟踪点，但该方法是基于目标与场景的灰度不随时间变化的假设，因此对光照变化比较敏感。另外该方法使用迭代的方式计算几何变换关系，当变换参数较多时，其运算量较大。

TLD( Tracking Learning Detection)算法将目标跟踪和检测相结合，发挥各自长处，弥补彼此不足，并加入在线学习机制不断更新目标模型和检测模块。由于使用了在线学习机制和分块跟踪策略，当目标发生形变或者部分被遮挡时，TLD算法仍能跟踪目标，但其对光照变化仍比较敏感。

基于局部特征匹配的跟踪算法也是一类常用的跟踪算法。由于采用局部特征匹配的方式进行跟踪，该类算法具有一定抗局部遮挡和抗目标几何变换的能力，但是有时无法从目标上提取足够多的局部特征，不满足跟踪条件。另外，通过特征点对应关系计算图像帧之间的几何变换关系需要一定的约束条件，限制了跟踪算法的使用范围。

STC算法利用相邻两帧图像间对应目标的时空相关性对目标进行跟踪。STC跟踪算法不但跟踪精度较高，实时性较强，具有较好的抗局部遮挡能力，而且其使用条件比LK算法和局部特征匹配方法有明显放宽，但是其适应目标尺度变化的能力有待提高。本文利用STC算法对跟踪点定位精度较高的特点，同时借鉴TLD算法中的分块跟踪策略，提出了基于STC算法的分块跟踪算法，该算法综合STC算法和TLD算法的优点，同时弥补了彼此的不足，具有较好的抗光照变化能力、抗遮挡能力和抗尺度变化能力。

1 分块跟踪算法原理

1.1 基于STC算法的多块跟踪策略

分块跟踪算法采用分块跟踪策略对目标框内多个跟踪点进行STC算法跟踪。如图1所示，首先在目标上取多个跟踪点，使用STC算法对单个跟踪点进行跟踪，得到每个跟踪点在当前帧中的位置，利用前后帧多对对应跟踪点之间的位置关系确定目标尺度的变化量和位移量，更新目标尺度，确定目标跟踪点的位置。

由于跟踪目标上的多个跟踪点，当目标被局部遮挡时，仍能根据未被遮挡的跟踪点对目标进行跟踪，从而使算法具有较强的抗局部遮挡能力。STC算法对单个跟踪点的定位精度较高，跟踪点之间的距离变化量能够准确地反映目标尺度的变化，因此通过计算跟踪点之间的距离变化量得到目标的尺度变化量，不但原理简单，而且精度较高。

1.2算法步骤介绍

首先对第一帧图像进行分块STC跟踪，初始目标框作为算法的先验知识由人为选定。对初始信息跟踪框进行均匀分块，根据计算得到的横向和纵向均分点坐标，使点阵均匀分布在跟踪框内。

合理选择分块数量，保证跟踪效果的同时也能确保实时性，当目标突变或被遮挡时，跟踪点会出现位置异常，此时取大多数趋势相近的点作为可靠点，综合结果对目标位置尺度进行更新，不会因为分块太少而提升跟踪的偶然性，保证目标跟踪正常进行；也不会因为分块太多，使每个分块所含区域有较多的重叠，在计算量增加的同时，算法的跟踪精度没有得到明显提升。因此，进行多次实验后，本文最终选择将目标分为25块进行跟踪。当目标区域较大或较小时，应酌情对分块数量进行加减。

对每块中心点进行STC跟踪。遍历划分出的所有点，以单点为中心，取每个小块背景区域的图像进行预处理，得到加权后的图像频域信息，然后计算每块的窄间上下文信息，对单点进行STC跟踪。

根据每个点的位置得到对应的图像信息，并对图像进行加权处理，得到加权后的图像的频域信息。计算置信图，找出置信图中最大的点，记录最大点对应位置坐标，该坐标作为下一帧跟踪点。输出分块后每个网格中心点的坐标数组。

如图2所示，在前一帧初始化跟踪点坐标Pn={P1，P2，…，Pn}，计算相邻两跟踪点之间的距离Sn-1={S12，S23，…，S(n-1)n}，对初始跟踪点进行跟踪，得到跟踪点在当前帧的坐标P'n={P'n，P'2…，P'n}，计算两跟踪点之间的距离S'n-1={S'12,S'23,…，S'(n-1)n}。距离变化率K=S’/S反映了目标的尺度变化量。

由于计算出的K值有多个，而目标尺度变化率是一个数值，因此K值不能直接使用，需要根据多个K值计算出合理的尺度变化率。为了消除跟踪误差较大点的影响，提高尺度变化率的计算精度，分块跟踪算法对多个K值进行聚类。其具体步骤如下所述。

1)对K中的每个点分别计算其行距离变化率和列距离变化率，得到统计直方图K[i][j]；对其做最大距离聚类，计算其均值k；计算K[i][j]内每个点的行变化率和列变化率之和，减去k得到矩阵M。

2)找出M的最大值Mmax及其对应位置，若Mmax大于0.9*k，认为该点异常，将K[i][j]中对应Mmax的位置置0，并重新进行最大距离聚类直到消除异常点。

此时，通过计算有效跟踪点的x轴位移、y轴位移、欧式距离及其平均尺寸变化率来计算当前帧跟踪框覆盖区域。

综合可信跟踪点的结果，预测当前帧跟踪框位置和尺寸变化信息，再作为下一帧的先验知识进行计算。图2中，右图尺度变化为上一帧的1. 067 8倍。

对单块跟踪时采用的STC跟踪问题可以表达为计算每个单块位置点的似然置信图，即

来确定每个点的位置。式中：x为目标位置；o代表含有目标的视频帧。当前帧中，目标位置为x*（跟踪目标框中心点），上下文特征为Xc={c(z)=(I(z)，z)∣ZEΩc（x*）}。其中I(z)表示图像灰度；Ωc(x*)为目标位置x*的邻域；P(c(z)∣o)是上下文先验概率，P(x ∣c(z)，o)就成为了目标位置和它的空间上下文概率的桥梁。

在视觉跟踪中，由目标和围绕目标紧挨的背景组成一个决策区域称为空间上下文，这样，在连续帧中目标就存在一个强时空关系。假定上下两帧间包含目标的局部．上下文并没有发生很大的改变，外部特征仍然保持相似，则可通过当前帧所含有的空间上下文信息去推断下一帧中的空间上下文信息，从而推断目标位置。这种性质可以在目标外观明显改变时用来帮助从背景中区分目标。

空间上下文模型的描述定义为条件概率函数

式中，hsc（x-z）是一个关于目标x和局部上下文位置z的相对距离和方向的函数，这样它就确定了目标与它的空间上下文间的关系。

通过计算空间上下文模型hsc（x），把hsc（x）的最大值作为计算得到的下一帧目标跟踪点进行跟踪，可以得到单个目标点的位置改变情况。

2 实验结果与分析

2.1抗遮挡能力实验

本文进行了3组抗遮挡能力实验。

图3是一组人物由正面转为侧面再转回正面的实验。可以看到，由于人物转头速度较慢，当完全转为侧面时，图像的样本发生了改变，以致于当人物再一次转为正向时目标样本变为半张脸。但分块STC算法通过未被遮挡区域和人物身后背景，依然可以找到目标，跟踪效果良好。

由图4可以看到，分块跟踪算法跟踪效果稳定，当人脸被手遮挡时，跟踪区域能够稳定地保持在人脸位置，跟踪点稳定，跟踪效果良好。

为了检验本文算法的抗遮挡能力，对一组视频序列进行了删减，采用不相邻的两帧进行图像跟踪，并通过分块跟踪点位置说明效果。如图5所示，人物由正面突变为侧向面对镜头，脸部的信息被遮挡，目标的特征信息发生明显改变，并伴有尺度改变。很多特征在上下两帧中不连续，出现了单个跟踪点的漂移。由于采用多块跟踪，算法排除了异常点的干扰，通过选取大多数运动趋势相近的块依旧可以准确地跟踪目标。