作者：郑晓敏
1 引言
随着多媒体技术的不断发展和人们生活水平的提高，普通视频已经不能满足人们的视觉需求。与普通视频相比，立体视频通过添加场景深度信息可以实现立体感和真实感，深受人们的欢迎。对象基视频技术由于具有良好语义感知和交互操作等优点，在立体图像和视频处理中受到广泛关注。因此，对象基立体图像和视频技术具有广泛的应用前景，也是视频技术未来的发展趋势之一。
在对象基图像和视频处理技术中，准确高效的对象分割非常关键。能否对立体图像进行精确的分割，准确地提取出人们感兴趣的目标区域成为后续对象基处理成败的关键。立体图像分割也是当前图像处理领域的研究热点，有很多学者从事这方面的研究，并取得了诸多研究成果。如参考文献提出了一种结合视差和边缘信息进行立体视频对象分割的方法。首先利用改进的分水岭算法对视差图进行分割，以获得初始的视频对象区域。然后对视频对象区域进行边缘检测，通过提取其轮廓获得视频对象。基于深度和颜色信息的联合分割具有较大的时间消耗，且分割质量很大程度上取决于获取的视差图的准确性。参考文献中，首先根据视频序列提取深度信息，利用M-RSST算法进行深度分割并将其作为初始轮廓。然后通过构建边缘图引导主动轮廓向目标移动，当轮廓能量最小时，得到最终分割结果。该方法能够获得较好的分割质量，但对初始轮廓的选取过于敏感。参考文献利用三维图像的灰度和形状信息进行分割，算法需要提前获得物体的形状信息，具有一定的局限性。参考文献中，通过在深度分割获得的轮廓上选取初始特征点，并引入运动几何空间的概念实现分割。该算法速度快，分割效果较为理想。但当选择的初始点偏离目标对象的轮廓时，分割结果将受到严重的影响。
通常立体图像中左右图像的像素之间存在很强的相关性。例如在图1所示的平行相机系统中，由于左图像I1和右图像Ir是左右相机在相同时刻对同一场景拍摄得到的，场景中任意点p在，I1、Ir中的像点p1(x1，Y1)和pr(xr,yr)的纵坐标相等，即yl=yr。根据视差理论，其纵向视差为O，水平视差可以通过式(1)计算：
其中，6为两相机的基线距离，为相机焦距，Z为点p的深度坐标，(xl，Y1，z1)和(Xr,YR，Zr)为左右相机的世界坐标。
因此，在进行立体图像分割时，不需要对左右图像进行独立分割。可以先分割出一个视点图像的目标，然后基于左右视点图像的视域相关性和视差约束特性进行匹配跟踪，得到另一个视点中的目标,从而完成分割。本文对经典的Grabcut算法进行了改进，在此基础上提出一种基于视差匹配的立体图像分割新算法。算法总体流程如图2所示，主要包括两部分：基于改进Grabcut算法的左图像分割和基于视差匹配的右图像分割。首先，利用改进的Slic算法获得左图的超像素图像。在超像素域中，将每个超像素视作处理单元，基于Grabcut算法框架并结合新定义的能量函数对超像素图像进行分割，提取出左图目标。然后，通过融合图像颜色和纹理特征的局部匹配算法将左图目标轮廓匹配到右图中，从而实现对立体图像的分割。相比传统的Grabcut算法，由于本文算法是在超像素域中且采用匹配跟踪立体目标的分割方式，并改进了Slic超像素生成算法和重新定义能量函数，可以有效提高分割效率和分割结果的准确性。
2基于改进Grabcut算法的左图像分割
2.1 超像素图像转换与生成
为解决Grabcut算法耗时较大的问题，分割并不是直接基于像素域进行，而是先生成超像素，在超像素域进行。目前，超像素转换与生成算法有很多，其中，Slic算法具有思路简单、运行速率快且产生的超像素大小均匀等优点。但当前背景颜色相近时，生成的超像素边缘依附性较差，容易丢失重要的前景边界信息。为此，对其进行了改进，利用图像的梯度信息加大将边界两侧的像素点归为一类的惩罚力度。改进Slic算法的主要步骤如下。
(1)对于一幅给定的彩色图像，将其转换到LAB颜色空间并根据期望生成的超像素个数将图像分成大小约为SxS的网格，每个网格为一初始聚类。
(2)对每个像素Xi，计算相应的梯度值d(Xi），并将每个网格中心8邻域像素点中梯度值最小的点作为各聚类的初始聚类中心Cj。
(3)根据式(2)计算像素Xi与以其为中心2Sx2S范围内各聚类中心的差异性惩罚值d(Xi，Ci)。
其中，de、ds和d*分别为像素点与聚类中心的颜色差异惩罚、距离惩罚和梯度惩罚项。S为步长，m可视作颜色和距离的权重因子，通过调节m来改变dc和ds的权重，A为梯度惩罚项的权重系数。d,(Xi)和dt(Xq)分别为像素点Xi、Xq的梯度值，其中Xq为离Xi与ci连线最接近且处于其间的xi8邻域方向的像素点。
(4)将像素归类到与其具有最小惩罚值的聚类中心所在的类中，并依据各聚类中的像素重新计算聚类中心。
(5)迭代步骤(3)~(4)，直至满足收敛条件。
(6)将包含像素个数小于S2/4的超像素合并到相邻的超像素中。
(7)最终得到含有Ⅳ个超像素的图像B。
2.2基于改进Grabcut算法的左图像分割
在完成超像素的左图像分割后，接下来采用改进Grabcut算法对其进行分割。Grabcut算法是一种基于图割的图像分割算法，分割时首先需要将图像映射为一个带权值的S-T网络图。其中，图的顶点集合y由像素集X和额外端点．s和T构成，即v=xU{S，T}。边集E包括相邻像素点之间的边n-link和像素点与源点S、汇点T之间的边t-link。其中，像素点与源点的边表示为{x，S}，像素点与汇点的边表示为{X,T}。
网络图中每条边都被赋予一个非负权值，对于给定像素点Xi，设xi为其颜色值，其t-link边的权值定义如下：
其中，gk(xi|μk,∑k)表示像素点Xi属于第k个高斯分量的概率，K为GMM(gaussian mixture model，高斯混合模型)所包含的分量数。模型参数θ包括：各高斯分量均值μk、协方差矩阵∑k以及各高斯分量的权重Ⅱk。
由相邻像素点x1和X1构成的n-link边的权值定义如下：
其中，y为参数变量，Ⅱ·Ⅱ代表两像素的颜色差异，dist(·)为两像素的空间距离，β值由图像对比度决定，较大的图像对比度对应较小的β值。对于每对相邻像素，其颜色差异和空间距离越小，两像素越相似，则将其划分为不同区域的惩罚值V就越大。
Grabcut算法复杂度高、耗时较大。为此很多学者提出了相应的快速算法，主要是利用超像素的颜色特征衡量相邻像素间相似性，而忽略了超像素内部区域所具有的纹理特征，导致提取的前景目标不够准确。为此，本文采用将超像素颜色、梯度、方差等信息有机结合的方式对能量函数的光滑项做了改进，并将其作为超像素相似性度量以提高分割的准确性。设Z为超像素集合，超像素Zi、Zj的颜色用其所包含像素的颜色均值zi和zj表示，新定义n-link边的权值如下：
其中，dist(·)是两超像素的中心距离，S为步长。为了充分利用超像素的属性，光滑项中引入了像素块的梯度和标准差信息。其中，hi为超像素Zi所包含像素对颜色均值Zi的标准差，ti表示Zi所包含像素的梯度均值经归一化处理的结果。
两超像素相似性的衡量不仅要依据超像素颜色差异的大小，还要考虑超像素内部区域均匀性的一致程度。式(7)将超像素梯度信息和标准差信息有机结合，能够有效地衡量区域间像素的同质性。当前背景颜色差异不明显时，仅利用像素的颜色信息很难将其区分，容易造成误分割，而本文提出的光滑项融合了超像素的颜色、梯度和方差信息，能够有效地识别像素间的差异，在一定程度上可以降低错误率，提高分割质量。
对于给定的一幅超像素图像B，基于改进Grabcut算法的超像素图像分割步骤如下。
(1)用户框选包含目标的图像区域，框内的超像素集Tu={Zi：ai=1，i=1，…，N}用于初始化前景GMM,框外的超像素集TB={Zi：ai=0，i=1，…，N}用于初始化背景GMM。
(2)利用K-mean算法对Tu和TB中的超像素聚类，聚类数为K，并根据Tu、TB中的聚类结果分别计算前景GMM和背景GMM中各高斯分量的均值μk和协方差∑k。
(3)利用式(5)计算前背景GMM中像素属于各高斯分量的概率gk(zi|μk,∑k)，并将其分配到概率最大的分量中。更新前背景GMM各高斯分量中的像素并重新计算模型参数θ(μk,∑k，Ⅱk)。
(4)利用式(4)、式(7)获得网络图t-link和n-link边的权值，并构建S-T网络图和相应的能量函数。如式(8)所示，能量函数E包含两个约束：数据项约束Edata和光滑项约束Esmooth。其中数据项对应网络图t-link边的权值，是对各个像素点分配标记进行的惩罚。而光滑项对应网络图n-link边的权值，可看作对相邻像素分配不同标记进行的惩罚。C为网络图的一条切割线，容量用ICI表示。基于图割理论的图像分割通过构建能量函数，将图像分割转换成能量函数最小化问题。
(5)依据最大流与最小割的等价性，通过求得网络的最大流解决能量函数最小化问题f10]，从而实现图像的分割，并更新前背景GMM中的像素和像素标记ai。
(6)设定最大迭代次数ξ，若当前迭代次数n小于ξ，则返回步骤(3),否则执行步骤(7)。
(7)输出最终分割结果。
基于对Grabcut算法的改进，提高了左图像的分割精度，从而保证了后续能够获得准确的立体图像分割结果。
3基于视差匹配的右图像分割
在完成左图像的目标分割后，接下来基于视域相关性，采用视差匹配方式实现右图像的分割。首先，利用开闭运算对左图分割对象进行形态学处理以消除内部空洞和外部凹凸区。其次通过追踪对象边界，提取出目标轮廓。然后，利用融合图像颜色和纹理特征的局部匹配算法将左图目标轮廓匹配到右图中，并采用先膨胀后细化的方法，将得到的间断目标边界光滑连接。最后对轮廓内部区域进行填充，通过二值掩膜获得右图分割结果。
由于匹配过程的时间消耗较大，本文仅对目标轮廓中的像素点进行匹配，通过采用减少匹配点数量的方式提高算法效率。对于左图分割结果，将得到的前景目标像素添加标记1．背景像素添加标记0，从而得到前景目标的二值掩膜图。基于该二值图像并采用边界追踪算法提取目标轮廓，具体步骤如下。
(1)设起始点bo为二值图像左上角标记为1的点，co为bo左侧邻点，如图3(a)所示。
(2)从co开始顺时针方向搜索bo的8邻域像素点。bi表示遇到的第一个标记为1的邻点,cl为序列中b1之前的点。令b=b,，C=Cl。
(3)从c开始按顺时针方向搜索6的8邻域点，依次为n1，n2，…，n8，直到标记为1的第一个邻点nk，并令b =nk，c =nk-l，如图3(b)、图3(c)所示。
(4)重复步骤(3)，直到b=bo且找到的下一个边界
点为b1。
传统的局部匹配算法仅依靠窗内像素的颜色信息对像素进行匹配，对于颜色相近区域，误匹配现象较为严重。为进一步提高算法的准确性，本文利用融合图像颜色和纹理信息的代价函数全面衡量像素间的匹配程度。对于图像中不同的低纹理区域，利用窗内像素的MSD(meansquared difference，平均平方误差)能够有效地对其进行区分。而对于颜色相近部分，基于GCM (gaussian color model，高斯颜色模型)并结合Census变换能够准确地对其进行识别。融合Census变换和MSD的窗匹配代价函数C(x，y，d)如下所示：
其中，Cc(·)和CT(·)分别为基于颜色和基于纹理的窗匹配代价，“为二者的权重系数。
图像颜色对于光照变化较为敏感，在不同方位对空间中的同一点拍摄得到的颜色往往也不尽相同。为降低光照变化对图像颜色的影响，提高匹配的顽健性，Census变换并不在RGB颜色空间中进行，而是基于GCMc空间。RGB颜色空间与GCM空间的转换关系如下：
Census变换是一种非参数的局部变换，它将窗内各像素与中心像素进行比较，输出结果为一个0/1比特串。设匹配窗W的大小为(2M+l)x(2N+l)，窗内中心点Xp的坐标为(xp，yp)，对应像素值为I(xp，yp)。G(Xp，xp)代表窗内除中心点外各像素Xq∈N(Xp)与中心点的颜色差异，其均值用M(X表示。视差d的取值范围为D=[dmindmax]。为提高算法的顽健性，将G(Xm，xP)与M(Xp)进行比较。若结果大于0，则相应位置添加标记1，否则添加标记O。对于左图像中以Xp为中心的匹配窗，其Census变换可表示为：
通过Hamming距离计算两匹配窗经过Census变换后输出的比特串之间的差异程度H(Xp，d)，并利用指数形式对其归一化处理，得到基于区域纹理的匹配代价：
H(Xp,d)=llamming(CT1(XP),CTr(X p-d)) (14)
当左图I1为参考图像，右图，r为目标图像时，基于区域颜色的匹配代价可描述为：
其中，Yc和yXSD分别为Hamming距离和MSD的归一化常数。在获得区域匹配代价之后，采用WTA（mnnertakes all，胜者为王）策略选择具有最小匹配代价的候选点作为最优匹配点。此时，像素Xp的视差值dXp可表示为：
通过采用将左图目标轮廓匹配到右图的方法，可以获得右图目标的整体边界。但由于匹配误差、遮挡等问题的存在，获得的右图目标轮廓往往是不连续的。为得到连续且光滑的目标边界，本文采用先膨胀后细化的方法，具体步骤如下。
(1)将匹配得到的右图目标边界进行膨胀处理以确保边界具有连续性。
(2)依次遍历图像中的每个3x3区域，区域中各点标记名称p1，p2，…，p9，其中p1位于区域中心，如图4所示。若pl为前景点，即pl=l且同时满足以下3个条件，则将pl标记为可删除点。
①设N(p1)表示像素点p1的8邻域像素点是前景点的个数，且满足以下关系：2≤N(1)≤6。
②设A(p1)表示按p2,p3，…，p9的排列顺序时，出现01模式的个数，且A(p1)的值为1。
③像素点p6、p8中至少有一个为背景点或像素点p2.p。都为背景点，即p2xp6xp8=0且p4xp6xp8=0。
(3)若步骤(2)中存在可删除点，则令该点为背景点，即将该点标记为0。
(4)重新遍历图像中的每个3x3区域，若p1为前景点且同时满足步骤(2)的①、②和步骤(4)的①3个条件，则将p1标记为可删除点。像素点p2、p4中至少有一个为背景点或像素点p6、p8都为背景点，即p2Xp4xp6=0且p2xp4xp8=0。
(5)若步骤中存在可删除点，则令该点为背景点。
(6)迭代步骤(2)~(5)直到没有可删除点。
(7)输出细化结果。
通过采用先膨胀后细化的方法，不但可以将轮廓间断处有效地连接，而且得到的目标轮廓较为光滑。最后对轮廓内部区域进行填充，依据获得的二值掩膜图提取出右图前景目标，从而完成右图像的分割。
4 实验结果及分析
为验证算法的有效性，基于Visual Studi0 2010平台，对任意选取的网络图片进行了实验测试。实验主要分为两部分：基于改进Slic算法的超像素生成和基于改进Grabcut算法的立体图像分割。
为了验证改进Slic算法的有效性，实验中对一幅分辨率大小为558 dpix369 dpi的大象图进行了测试。其中，设定生成的超像素个数为1 000，权重m为35，测试结果如图5
所示。
图5(a)力Slic算法的分割结果，圆圈区域内部，由于目标与背景的颜色较接近，算法很难对目标和背景像素进行区分，生成的超像素中同时包含前景和背景像素，导致目标边缘信息严重丢失。图5(b)、图5(c)为改进算法且梯度权重A分别为2.5和4.5时的分割结果。不难看出，融合了图像梯度信息的改进算法通过加大将边界两侧的像素点归为一类的惩罚力度，能够对目标边界进行有效的保护，从而提高了分割的准确性。
图6为本文算法对部分测试图像的最终分割结果。
由图6(c)、图6(d)的对比可以看出，本文的Grabcut改进算法对目标整体的提取效果较原算法有了明显改善。通过融合了像素颜色、梯度等特征的光滑项更容易将目标从背景像素中提取出来。同时在生成超像素的预处理过程中添加了保护目标边缘的措施，使得最终分割得到的目标边缘较为平滑，有效避免了以往基于超像素分割造成的目标边缘粗糙的现象。
对于立体图像，右图的分割充分利用了左图的分割结果，采用在右图中寻找左图目标轮廓的匹配点并结合形态学处理的方法获取右图目标。实验中设定权重系数a=0.1，归一化常数Yc、y惜D分别为10和20。如图6(f)所示，通过该方法，不但可以简化右图分割步骤．而且能够准确地提取出右图目标，获得较好的立体图像分割结果。
为了进一步检验算法的性能，在相同实验环境下对Grabcut算法和改进算法的耗时进行了测试。设定生成的超像素个数仍为1 000个，测试结果见表1。
通过对比可以看出，改进算法的分割效率较原算法有了较大的提升。基于超像素域的GMM迭代极大地降低了所需处理的数据量，从而有效地节约了时间资源。
5结束语
为了能够有效地实现立体图像分割，本文基于改进Grabcut算法和视域相关性，提出了一种新颖且高效的立体图像分割算法。算法中左图像的分割是在超像素域中进行，右图像的分割结果是对左图目标有限个轮廓点进行匹配跟踪获得，因而算法具有较高的分割速率。此外，通过在超像素生成过程中添加保护目标边缘的措施，有效改善了分割得到的目标边缘较为粗糙的问题。同时，基于对Grabcut算法中能量函数光滑项的重新定义，更能精确地衡量相邻像素间的相似性，从而进一步提高了立体图像分割的准确性。
6摘要：
立体图像分割是对象基立体图像处理中的关键和难点。基于改进Grabcut图割算法和视域相关性，提出一种新的立体图像分割算法。首先基于改进Slic方法将左图像转换成超像素图像，然后基于Grabcut框架通过重新定义能量函数对其分割以提取出左图像目标。最后，基于左右图像的视域相关性通过融合颜色和纹理特征的轮廓匹配提取右图像目标。实验结果表明，与现有方法相比，所提算法能获得更高的分割效率和更准确的分割结果。
