关于 改进的多特征融合目标跟踪算法的研究

  作者：张毅

    近年来，出现了大量基于多特征融合的跟踪算法，其主要区别在于特征提取和融合策略不同。在特征提取上，传统的颜色直方图被广泛用于目标特征提取中，但传统的颜色直方图对灰度分布相对集中的颜色分量描述能力较弱；梯度方向直方图( HOG)是描述目标边缘特征的有效算子，提出了一种融合目标颜色直方图及梯度信息的目标表示方法，该算法在处理背景颜色和目标颜色分布相近的目标跟踪问题上具有较强的鲁棒性，但由于边缘特征不具有方向和尺度不变性，在跟踪过程中对复杂背景的适应性不强；局部二值模式( LBP)是一种有效的纹理描述算子，由于其具有纹理识别能力强、对灰度单调变化不敏感、计算复杂度小等优点，已广泛应用于纹理分类、图像检索、人脸识别等领域。在融合策略上，用观测概率的加

权和作为目标状态的观测似然，获得了较好的跟踪效果，这种加性融合的结果虽然在一定程度上抑制了噪声，但它并不能提高融合后似然函数的判别能力；采用乘性融合方式对目标进行多特征观测，它们假设观测概率独立从而很容易地构造出联合似然，但在一定程度上放大了噪声；提出了一种基于不确定性度量的多特征融合跟踪算法，融合的结果既突出了状态后验分布中目标真实状态对应的峰值，又对噪声不敏感，该方法利用传统的颜色直方图和加权梯度方向直方图分别提取目标颜色和边缘特征，但如上所述传统颜色直方图和梯度方向直方图都各自存在缺点，难以实现复杂环境下鲁棒的跟踪。

    针对中对目标描述存在的缺点，本文提出了一种改进的多特征融合目标跟踪算法，采用自适应直方图提取目标颜色特征，采用LBP算子表示目标纹理特征，提出的融合策略，在粒子滤波框架下对两种特征进行融合，该融合策略可以利用特征的不确定性自适应地调节不同特征对跟踪结果的贡献程度。实验结果比较表明，本文算法增强了在复杂环境下跟踪的鲁棒性。

1  粒子滤波与特征不确定性

1.1粒子滤波

    粒子滤波以贝叶斯原理为基础，基本思想叫是利用一组带有相关权值的粒子来刻画密度函数。粒子滤波算法利用蒙特卡罗方法从状态的后验概率密度函数p（xo:k／z1：k）抽取N个独立同分布的样本，状态的后验概率密度用经验分布逼近为

    然而通常状态的后验概率密度是未知的，这时需要从一个容易采样的重要性分布函数q（xo：/z1:k-1）独立抽取N个样本{x(i)o:k;i=1，2，…，N}，状态的后验概率密度逼近为

k时刻的系统状态估计为

后验概率密度可以近似为

1.2特征的不确定性

    目标跟踪过程中，针对不同的场景，每种特征对目标位置估计的准确度是不一样的，为了描述每种特征在目标跟踪过程中的不确定性，提出了一种自适应的特征不确定性度量，即

式中：β+1表示t+l时刻第i种特征的不确定性；σt是时刻t所有粒子空间位置的方差，表示粒子空间分布的分散程度，σt= tr（Σ），Σ表示粒子两个位置坐标的协方差矩阵，σt越大，粒子的空间位置越分散；pi为似然函数，即观测概率值，为第i种特征对应的目标模板与候选模板的Bhattacharyya系数；日(pit)是时刻t第i种特征下所有粒子观测概率值的熵，表示观测概率值在粒子上的分散程度。在信息论中，熵是不确定性的量度

式中，H(pt)值越小，表示目标第i种特征对目标位置估计的准确度越高。

    由式(5)可知，特征的不确定性既包含了粒子的空间位置信息，又表征了似然函数pi的尖锐程度。对粒子的空间分布而言，目标的位置是由各粒子加权求和估计得到，t时刻，粒子分布越集中，σt越小，不确定性越小，反之不确定性越大。而对似然函数来说，似然函数的尖锐程度越高，即观测概率值仅集中在少数几个粒子上，说明该特征的鉴别能力越强，此时不确定性越小，反之亦然。

2本文改进算法

    本节针对中提出的融合算法在目标描述上加以改进，提出一种自适应直方图的方法提取目标颜色特征，采用LBP算子提取目标纹理特征，在复杂环境下有更强的适应性。

2.1特征提取

    本节分别给出目标颜色、纹理特征的提取方法，以及两种特征目标模型与候选模型之间相似度融合的计算方法。

2.1.1  颜色特征

    颜色是目标最主要的特征之一，被广泛用于目标特征描述。传统颜色直方图将整个颜色空间进行均匀剖分，弱化了直方图对目标颜色分布的描述能力。对此，提出的颜色模型的基础上，提出一种自适应直方图的方法，即对图像灰度分布相对集中的区域划分较多的直方图区间，而对灰度分布相对分散的区域划分较少的直方图区间，增强了对目标颜色分布的描述能力。

    如图1所示，m为累积直方图曲线。y轴表示归一化的均匀划分的像素的颜色值刻度，x轴表示自适应非均匀划分的颜色值刻度，这里以4个区间的直方图为例。首先将y轴均匀划分为4个区间[0，A1]，[A1，A2]，[A2，A3]，[A3，A4]，通过累积直方图曲线m将A1，42，A3，A4映射到x轴上的B1，B2，B3，B4，得到直方图划分对应的刻度。

    当输入首帧图像时，利用上述方法确定刻度，B1，B2，B3，B4，即可得到自适应非均匀划分的特征区间[0，B1]，[B1，B2]，[B2+B3]，[B3，B4]，区间大小表征了颜色分布的集中程度。在后续的跟踪中，根据确定的直方图区间刻度对目标模板进行直方图统计，即可得到自适应非均匀划分的颜色直方图，即自适应颜色直方图。

    如图2所示，图2a和图2b分别为传统颜色直方图和自适应颜色直方图在8x8x2的RGB空间对颜色分布的划分结果。

    从图2可以看出，两者对颜色空间的划分结果是不同的。传统颜色直方图将颜色空间进行均匀划分，而自适应颜色直方图对颜色分布相对集中的区域，划分较多的“窗格”，即颜色区间（也就是说，每个“窗格”空间相对较小），以突出该区域的颜色分布，从而能更准确地描述目标颜色特征。相反，在颜色分布相对分散的区域，划分较少的“窗格”。为了更加直观地说明问题，给出二维空间描述，如图3所示。

    由图3可以看出，灰度值集中在95~191，传统颜色直方图将灰度均匀划分，而自适应颜色直方图将95~191的灰度区间划分多个区间，而将0~95，191~ 255之间划分较少的区间。

    自适应颜色直方图根据目标的颜色分布，对颜色空间进行非均匀划分，使相似度计算更加准确，增强了对目标颜色分布的描述能力。这里，将传统颜色直方图与纹理特征融合的方法称为传统方法，而本文所提出的方法与传统方法相比具有明显的优势，这一点将在后面的实验结果中给出比较。

2.1.2纹理特征

    在复杂环境中，单一的颜色特征信息中没有包含任何运动和形状信息，容易受光照变化和背景干扰的影响，而纹理特征能有效地适应光照变化，且具有旋转不变性以及局部灰度不变性等优点，因此将纹理特征作为目标的第二个跟踪特征。如图4所示，基本的LBP算子是一个固定大小为3x3的矩形块，以中心像素的灰度值为阈值，将其邻域的8个灰度值与阈值相比较，计算其LBP值为

式中，s（x）是一个二值函数。

 例如 :Pattern为 “ 10100011 ”,LLBP  = 1  +2  +32 + 128  = 163 。

2.2直方图相似性度量

    对于目标的多特征描述，如果直接将目标的多个特征组合在一起，那么随着特征空间维数的增加，运算量会大大增加，很难实现实时跟踪。因此，本文分别建立自适应颜色直方图子模型与纹理直方图子模型来描述目标，以降低特征维数。每一种特征子模型对应目标模板与候选模板：目标模板，Q={qu}a=1,…N；候选模板，P={pu}a=1…N。在得到各特征子模型的候选模板与目标模板直方图后，需要计算二者之间的相似度，本文采用计算Bhattacharyya系数作为特征的相似性度量方法，即

式中，p越大，表示候选模板与目标模板越相似。Bhat-tacharyya距离

d越小，表示候选模板与目标模板越相似，对应粒子的权值越大，反之越小。

2.3特征融合

    根据中提出的融合策略，在假设两种观测特征是条件独立的情况下，将每种特征的观测概率值加上一个正比于该特征不确定性的均匀分布，做归一化处理后，再取乘积，表达式为

式中：β1，β2分别表示颜色和纹理特征对应的不确定性；U(x)是一个离散的均匀分布，设粒子数为N，则U(x)=1/N。这里的观测概率值即特征目标模板与候选模板之间的相似度。

    该融合策略相比传统加性融合与乘性融合，使观测概率分布变得更尖锐，提高了后验概率密度的置信度，增强了对目标的鉴别能力，从而使跟踪结果更加可靠。

2.4算法步骤

    综上所述，本文提出的改进多特征融合目标跟踪算法步骤如下所述。

    1)初始化。输入视频，手动选取感兴趣的目标区域，对目标模板图像分别提取颜色、纹理特征直方图qo，qo，从先验分布中抽取N个初始粒子xioNi=1权值均设为{ωio}Ni= 1/N。

    2)预测。根据上一帧图像得到的目标状态xi-1，由状态转移方程xt=Axi-1+Ni预测当前帧目标状态xi。

    3)计算σt和两种特征的概率熵二选定以椭圆长短轴为长和宽的矩形框，由矩形框内粒子位置坐标计算σt，由式(9)分别计算两种特征目标模板与候选模板之间的相似度，即似然函数p（Z1/X），p（z2/x），从而得到两种特征的概率熵H(p1t)，H( p2t)。

    4)计算特征不确定性。由3）中得到的σt和H(pl)，H(p2t)根据式(5)分别计算两种特征不确定性β1，β2。

    5)更新。由式(12)得到特征融合后似然函数p（z1，z2/X），再由ωik=ωik-1·p(z1，z2/X)更新当前帧粒子权值，并做归一化处理。

    6)重采样。根据融合后粒子权值分布决定是否重采样。

    7)转步骤2），进行下一帧的跟踪。

算法流程如图5所示。

3实验仿真

    为了测试本文改进算法的有效性，对大量视频进行实验测试，这里选取了部分代表性的标准测试视频序列David3，Jogging，Woman和Bolt进行实验结果展示。所有算法均在联想Core 13-3240 CPU @3.40 GHz，3.39 GHz，3.47 GB内存的台式机上使用Matlab7.9.0( R2009b)编程实现。实验中，粒子数目设为Ⅳ=200，均匀分布U(x)=1／N。

    为了验证本文算法对目标描述的有效性，在保证融合策略一致的情况下，本文采用提出的算法、融合颜色直方图和纹理特征的传统方法作为对比；为了验证本文算法在融合策略上的鲁棒性，在保证目标描述一致的情况下，本文采用加性融合算法、乘性融合算法作为对比；此外，在跟踪性能上，采用CBWH（修正的背景加权）跟踪算法作为对比。图6是部分跟踪结果，每一帧中不同算法的跟踪结果分别采用不同颜色的实线矩形框表示，左上角为图像帧序号。

3.1定性分析

    1) David3序列。图6a为David3部分跟踪结果，在该序列中，背景变化较大。从第87帧可以看出，本文算法在目标有部分被遮挡的情况下仍能很好地捕捉到目标，表明本文算法具有较强的鲁棒性。从第115和198帧可以看出，算法及CBWH都出现跟丢情况，加性与乘性融合算法虽然能够成功跟踪目标，但本文算法对目标的背景变化适应性最好。

    2 ) Jogging序列。图6b为Jogging部分跟踪结果，就该序列而言，由于目标局部背景中存在另一个运动目标且背景颜色变化较大，使目标的边缘和颜色特征受到干扰，但由于纹理特征能有效地鉴别目标，本文算法的跟踪性能并未受到较大影响。由第288帧可以看出，本文算法比其他5种算法有更强的适应性。

    3) Woman序列。图6c为Woman部分跟踪结果，该测试序列为室外人体跟踪视频，目的是测试复杂背景变化下算法的跟踪性能。首先，受摄像机远距离架设的影响，颜色信息受到较大衰减，纹理特征起到了较好的补充，而且背景中存在电线杆、树木等强干扰物体。此外，目标还受树木遮挡的影响，使CBWH算法几乎不能正常跟踪，从第233和592帧可知，本文改进算法跟踪效果最佳，具有较好的鲁棒性。

    4) Bolt序列。图6d给出各算法在多人场景中的跟踪结果，其中目标经历了背景颜色变化、相似目标干扰等，使颜色特征可分性降低，其权值相应减小，而纹理特征权值增加，从而克服背景干扰的影响。从第347帧可以看出，算法和CBWH算法跟踪失效，加性融合算法、乘性融合算法及本文算法仍能很好地跟踪，但本文算法跟踪性能最佳。

3.2定量分析

    最后，从跟踪目标中心位置误差和算法实时性两个方面定量分析本文算法的鲁棒性。

3.2.1  中心位置误差比较

    中心位置误差表示目标中心位置与真实目标中心位置之间的误差，其值越小跟踪精度越高，反之越低。本文采用以上具有代表性的图像序列，比较6种算法得到的目标每一帧的中心位置误差，结果如图7所示。可以看出，本文算法相比其他5种算法，中心位置误差始终保持较低水平。

    表1所示为统计的平均中心位置误差值，和乘性、加性融合算法相比，本文算法具有更准确的跟踪精度，与算法相比，本文算法跟踪性能明显提高。此外，本文算法明显比传统方法的跟踪性能要好得多，这说明本文提出的自适应颜色直方图方法比传统的颜色直方图方法更能准确地描述目标颜色特征。以上实验结果表明，本文提出的算法对于复杂背景下的目标跟踪具有更强的鲁棒性。

3.2.2实时性

    最后，在算法实时性方面，由于基于多特征融合的跟踪算法需要同时提取和处理多种特征，因此运行效率上比基于单一特征的低。本文算法的时间开销主要集中在各个特征的提取和相似度的计算上，而它们又直接与目标的大小和粒子数选取的多少有关。在未对算法做任何优化的情况下，经测试，取200个粒子，本文算法在仿真条件下能够达到平均11帧／s的运行速度。如果对算法进行一定的优化，跟踪速度还能进一步得到提升，这说明，本文算法在目标跟踪过程中有较好的实时性。

4结论

本文为克服单一的颜色特征而导致跟踪算法鲁棒性不高的缺点，提出一种改进的多特征融合目标跟踪算法，在粒子滤波框架下采用颜色、纹理两个具有一定互补性的特征进行多特征融合跟踪。颜色特征采用自适应直方图模型，纹理特征采用LBP算子直方图模型。利用特征不确定性自适应调节特征对跟踪结果的贡献，对复杂场景的目标跟踪具有良好的效果。实验表明，本文算法对背景干扰（包括相似颜色、干扰边缘）、部分遮挡均具有较高的鲁棒性。与传统的加性融合、乘性融合算法相比对复杂背景有更好的适应能力。

5摘要：针对仅用单一颜色特征导致跟踪算法鲁棒性不高的问题，提出了一种改进的多特征融合目标跟踪算法。为了获得准确的目标颜色模型，提出了一种自适应选取目标颜色直方图的方法，同时利用LBP算子建立目标纹理特征模型，增强对目标的表征能力。在特征融合中引入特征不确定性度量方法，自适应调整不同特征对跟踪结果的贡献，有效地提高了传统粒子滤波算法的鲁棒性。实验结果表明，融合后的算法比传统的加性融合与乘性融合算法有更强

的鲁棒性，能实现复杂场景下的目标跟踪，有效地描述目标。