<meta name="dc.description" content=" 目的
图像显著性检测的目的是为了获得高质量的能够反映图像不同区域显著性程度的显著图,利用图像显著图可以快速有效地处理图像中的视觉显著区域。图像的区域协方差分析将图像块的多维特征信息表述为一个协方差矩阵,并用协方差距离来度量两个图像块特征信息的差异大小。结合区域协方差分析,提出一种新的图像显著性检测方法。
该方法首先将输入的图像进行超像素分割预处理;然后基于像素块的区域协方差距离计算像素块的显著度;最后对像素块进行上采样用以计算图像像素点的显著度。
利用本文显著性检测方法对THUS10000数据集上随机选取的200幅图像进行了显著性检测并与4种不同方法进行了对比,本文方法估计得到的显著性检测结果更接近人工标定效果,尤其是对具有复杂背景的图像以及前背景颜色接近的图像均能达到较好的检测效果。
本文方法将图像像素点信息和像素块信息相结合,避免了单个噪声像素点引起图像显著性检测的不准确性,提高了检测精确度;同时,利用协方差矩阵来表示图像特征信息,避免了特征点的数量、顺序、光照等对显著性检测的影响。该方法可以很好地应用到显著目标提取和图像分割应用中。
<meta name="dc.description" xml:lang="en" content=" Objective
The purpose of image saliency detection is to obtain high-quality saliency maps that can reflect the significance degrees of different image areas. Based on the saliency map, the visually salient regions of the input images can be processed efficiently, which benefits various applications, such as image segmentation, object detection, and object recognition.
According to the theoretical analysis of regional covariance, the intrinsic properties of the image superpixels can be described by the high-dimensional covariance matrix, and thus, the dissimilarity degree between two image superpixels can be determined by the regional covariance distance. Using the regional covariance analysis, a novel method for image saliency detection is proposed. First, the input image is preprocessed by superpixel segmentation. Then, the saliency of superpixels can be calculated using the regional covariance distance. Finally, the saliency of superpixels can be up-sampled to determine the saliency of the image pixels.
In this study, we test 200 images selected from the THUS10000 data set for saliency analysis and compare 4 different detection schemes. Experimental results show that our saliency maps are similar to the ground truth manual calibration results. Our method can effectively estimate the saliency of input images with complex background or with similar color between front and background.
Conclusion
By combining the high-dimensional intrinsic properties of image pixels and superpixels, our approach can not only avoid the negative effect of single noise pixels but also improve the accuracy of saliency detection. Moreover, by using the covariance matrix of image superpixels, the final saliency map can be robust to the number of feature points, sequence of image pixels, and illumination. The regional-covariance-based image saliency map can be applied to salient object extraction and image segmentation.
结合区域协方差分析的图像显著性检测
摘要点击次数:
288全文下载次数: 39
DOI: 10.11834/jig.
2016 | Volumn 21 | Number 5
&&&&图像理解和计算机视觉&&&&
结合区域协方差分析的图像显著性检测
浙江工业大学计算机科学与技术学院, 杭州 310023
图像显著性检测的目的是为了获得高质量的能够反映图像不同区域显著性程度的显著图,利用图像显著图可以快速有效地处理图像中的视觉显著区域。图像的区域协方差分析将图像块的多维特征信息表述为一个协方差矩阵,并用协方差距离来度量两个图像块特征信息的差异大小。结合区域协方差分析,提出一种新的图像显著性检测方法。
该方法首先将输入的图像进行超像素分割预处理;然后基于像素块的区域协方差距离计算像素块的显著度;最后对像素块进行上采样用以计算图像像素点的显著度。
利用本文显著性检测方法对THUS10000数据集上随机选取的200幅图像进行了显著性检测并与4种不同方法进行了对比,本文方法估计得到的显著性检测结果更接近人工标定效果,尤其是对具有复杂背景的图像以及前背景颜色接近的图像均能达到较好的检测效果。
本文方法将图像像素点信息和像素块信息相结合,避免了单个噪声像素点引起图像显著性检测的不准确性,提高了检测精确度;同时,利用协方差矩阵来表示图像特征信息,避免了特征点的数量、顺序、光照等对显著性检测的影响。该方法可以很好地应用到显著目标提取和图像分割应用中。
显著性分析,
区域协方差,
Image saliency detection using regional covariance analysis
Zhang Xudong
Lyu Yanyan
Miao Yongwei
Hao Pengyi
Chen Jiazhou
College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China
Supported by: National Natural Science Foundation of China (303138); Natural Science Foundation of Zhejiang Province, China(LQ15F020008)
The purpose of image saliency detection is to obtain high-quality saliency maps that can reflect the significance degrees of different image areas. Based on the saliency map, the visually salient regions of the input images can be processed efficiently, which benefits various applications, such as image segmentation, object detection, and object recognition.
According to the theoretical analysis of regional covariance, the intrinsic properties of the image superpixels can be described by the high-dimensional covariance matrix, and thus, the dissimilarity degree between two image superpixels can be determined by the regional covariance distance. Using the regional covariance analysis, a novel method for image saliency detection is proposed. First, the input image is preprocessed by superpixel segmentation. Then, the saliency of superpixels can be calculated using the regional covariance distance. Finally, the saliency of superpixels can be up-sampled to determine the saliency of the image pixels.
In this study, we test 200 images selected from the THUS10000 data set for saliency analysis and compare 4 different detection schemes. Experimental results show that our saliency maps are similar to the ground truth manual calibration results. Our method can effectively estimate the saliency of input images with complex background or with similar color between front and background.
Conclusion
By combining the high-dimensional intrinsic properties of image pixels and superpixels, our approach can not only avoid the negative effect of single noise pixels but also improve the accuracy of saliency detection. Moreover, by using the covariance matrix of image superpixels, the final saliency map can be robust to the number of feature points, sequence of image pixels, and illumination. The regional-covariance-based image saliency map can be applied to salient object extraction and image segmentation.
saliency analysis,
regional covariance,
superpixels,
saliency map,
image segmentation,
人类视觉系统一般只能详细处理图像的某些局部视觉显著区域，而对图像的其余部分几乎视而不见[-]。一幅图像中往往含有一个或多个引人注目的显著对象或目标，这些显著性目标通常包含更多有价值的信息。图像显著性检测是计算机视觉和计算机图形学研究的热点之一，它可以应用于基于内容的图像检索[]、图像缩放剪辑[-]、目标识别[]以及针对感兴趣物体的图像分割[-]等。
视觉显著性是神经生物科学、计算机视觉和心理学等多学科交叉的一个研究问题[-]。人类视觉系统研究表明，显著性与物体的唯一性、场景的独特性、基础特征如颜色、纹理、形状等是紧密相关的[-,]。当通过对比度来计算显著度时，显著性往往还和区域或者像素的空间距离相关[-]。一般来说，人类视觉注意机制被分为两个阶段：一个是快速的、下意识的、自底向上的、数据驱动的方法[-]；一个是慢速的、任务相关的、自顶向下的、目标驱动的显著性提取[-]。与人类的视觉显著性检测相对应，计算机可以通过图像显著性区域检测的方法实现图像显著性信息的提取，以获得高质量的显著图并对图像中感兴趣的区域进行快速定位和处理。
许多研究者进行了图像显著性检测方面的研究。为了模仿生物学上的视觉显著性注意机制，Itti和Koch[-]提出了一种视觉注意力计算方法。该方法通过计算图像的强度、颜色和走向生成一系列特征图并且归一化得到最终的显著度图。该方法度量图像显著度时完全依靠于图像的局部信息，使得检测结果产生局部效应，检测效果并不理想。研究人员发现，对比度是引起人们视觉注意的重要因素，图像显著性检测的核心应是对比度的计算。Ma和Zhang[]通过对图像局部区域进行对比度分析得到显著度图，并提出模糊生长算法从显著度图中提取出显著目标。Gao等人[]提出一种可以从杂乱场景中提取显著目标的方法，该方法通过训练学习，最优化地组合多种图像特征。Hou和Zhang[]提出了高效的光谱残留算法，该方法通过分析输入图像的对数谱，从图像的频域提取谱残留，并在对应的空间域构建显著图。Duan等人[]提出了一种基于空间加权差异性的显著性区域检测算法。这些显著性区域检测方法主要关注刺激信号所引起的视觉注意，均属于自底向上方法的图像显著性检测。
另外，自顶向下的图像检测方法主要根据具体任务对自底向上的检测结果进行形状、大小、特征数、阈值等进行调整而实现的。Mokhtarian和Suomela[]提出了基于尺度空间曲率表达的图像角点检测方法。该方法利用Canny[]算法结果来定义角点并在检测过程中用来改进角点位置信息。Dalal和Triggs[]提出了基于梯度直方图特征的人体检测方法。该方法使用梯度方向直方图(HOG)特征来表达人体，并提取人体的外形信息和运动信息，形成丰富的特征集。Tie等人[]提出了3个显著度特征：局部对比度特征、区域中央环绕特征和全局颜色分布特征，通过使用条件随机域模型进行训练，组合3种特征得到最后的显著度图。Achanta等人[]从频率域角度出发，提出了一种基于全局对比的显著区域检测的方法。该方法将经过高斯低通滤波图像中的每个像素值和整幅图像的平均像素值之间的欧几里得距离作为该点的显著值。Cheng等人[]提出了基于全局对比度的显著性检测方法。该方法提出首先利用基于直方图对比度(HC)来检测图像显著性，获取的对比度值根据像素的色彩差异来分配像素的显著值。然后结合空间关系来获取区域显著性(RC)，将图像分割，为每个区域分配一个显著度，从而获得基于区域对比度的显著图。Perazzi等人[]提出了基于滤波器的显著性检测方法，该方法使用滤波器对显著性计算进行加速并且对局部和全局两种显著特征的公式进行了分析，提出了一种可以在线性时间内计算的方法。
此外，近些年研究者将机器学习和深度学习等方法应用到了显著性检测方面也取得了较大进展。Rudoy等人[]提出了利用用户候选关注区域来学习视频的显著性，该方法结合动态视频与静态图像中的显著性特征，利用显著性图采样的方式得到候选关注区域作为静态特征；利用光流的局部对比作为动态特征，人脸、人体、中心位置等作为语义特征；根据分类器学习从一个区域跳转到另一个区域的概率进行视频显著性的检测。基于图像的视觉显著性机制及深度学习模型的思想，祝军等人[]提出了一种融合图像显著性的层次稀疏特征表示，并用于图像分类应用中。通过在图像层次稀疏表示中引入图像显著信息，加强了图像特征的语义信息，得到了图像显著特征的一种表示方法。Siva等人[]提出了一种无监督学习的目标显著性检测方法，该方法基于数据驱动来描述图像的显著度，图像块出现在相似图像集中的概率越小则越显著。基于数据驱动方法，Mai等人[]提出了利用多线索的自适应融合来进行显著性检测，该方法基于数据驱动，选择近似的图像集，并将相似图像上的多种显著性检测结果进行融合得到最终的图像显著图。
虽然显著性检测的研究已取得了许多进展，但还存在一些不足，例如当图像前景和背景颜色特征相近的时候生成的显著度效果图并不明显；当得到显著度图后，指导显著目标的还原效果并不理想等。本文提出一种基于区域协方差对比度的显著性检测(RCS)方法。该方法包括以下步骤：首先利用超像素生成方法对输入图像进行超像素分割预处理；然后对每个超像素块提取区域协方差信息用以计算相邻超像素块之间的对比度；最后基于像素块之间的对比度进行上采样计算像素块中像素点的对比度并映射到图像上，生成最终显著图()。
图 1 利用本文方法的显著度计算
Fig. 1 Saliency maps using our RCS method
根据文献[]中对图像显著图的描述，图像显著性可以理解为在一幅图像中更容易引人注意的部分区域，它们相对于其他区域更加显著；显著值往往是像素点在颜色、亮度、方向等方面与周围背景的对比，图像中所有像素点的显著性值构成一幅显著图。基于文献[]分析，一幅图像可以表述为一个协方差矩阵，两幅图像的差异度可以表述为协方差距离。根据上述显著度分析，将像素点显著性上升到像素块范围，将一幅图像分为若干个区域，每个区域中的像素特征信息可以表述为一个协方差矩阵，并用区域协方差矩阵的距离表示为像素块的显著度，从而提出一种基于区域协方差对比度的图像显著性检测方法。
本文算法利用图像像素颜色、位置等底层特征属性来计算显著度，是一种自底向上的显著度检测方法。由于区域协方差矩阵可以方便地用于描述图像每个小区域块的高维特征信息，可以利用图像区域块的多维特征构造特征矩阵；通过计算区域协方差的距离来衡量区域块之间的对比度，从而计算出像素块的显著度()。为了使计算更加精确，可以对像素块上采样到像素点范围，结合像素点协方差特征向量和像素块的协方差特征矩阵之间的关系计算出基于像素点的显著度值，从而得到最终的像素点显著度估计()。本文方法在对图像预处理时采用基于区域协方差的超像素分割方法将会得到更好的分割效果，并且将像素块和像素点结合来实现图像的显著度计算，使得计算结果更加精确，显著度图更接近人工标定的实际效果()。同时，本文方法在背景复杂的情况下，前景颜色和背景颜色相近的情况下也能取得很好的效果，可以将该方法应用于图像分割中可以较精确的分割和提取感兴趣目标物体。
图 2 本文显著性检测算法步骤
Fig. 2 The pipeline of our image saliency detection algorithm ((a) (b) su (c) saliency estim (d) saliency
(e) ground truth)
基于区域协方差分析的显著性检测
传统基于区域的显著度计算是利用稀疏直方图比较来计算区域的对比度[]，而直方图仅仅包含图像颜色的统计信息，基于直方图比较计算区域对比度显得粗糙且并不精确。由于区域协方差矩阵可以方便地表征图像的多维特征信息，为此提出了一种基于区域协方差计算对比度的方法。对于输入的彩色图像，较典型的图像像素点特征向量zi可以取为${z_i} = {[{r_i},{g_i},{b_i},{x_i},{y_i} \cdots
\cdots]^{\text{T}}}$，式中，r、g、b和x、y分别表示图像像素点的颜色信息和位置信息等。根据图像高维特征信息来构建图像中每个区域的协方差矩阵，从而利用区域块之间的协方差距离来计算区域的对比度。
本文方法首先将输入的图像进行超像素分割预处理，然后基于像素块的区域协方差信息计算像素块的显著度，最后基于像素块的显著度计算像素点的显著度并生成显著图。与其他方法相比，本文方法能够得到显著性目标边界清晰的显著图，显著性检测结果应用在图像分割中得到了较好的效果。
本文方法如下：
输入：图像I。
输出：显著图Imap。
ReadImage (I); //读入图像
RCSegment (I); //图像超像素分割
FOR i:=0 To SegNum //SegNum为超像素个数
CovarianceMatrix(Ri); //计算像素块Ri协方差矩阵
FOR j:=0 To SegNum
Reg_Dis (Rj) = 0; //像素块Rj的对比度初值赋为零
FOR k:=0 To SegNum
Dis_jk = RegionDissimilarity(Rj,Rk);
//计算像素块Rj和Rk的对比度
Reg_Dis (Rj) = Reg_Dis (Rj) + Dis_jk * W_jk
//累加像素块Rj的对比度
ComputeSaliency(Rj); //计算像素块Rj的显著度
UpSample(Rj);//上采样计算像素块Rj中像素点显著度
cvShowImage(“Imap”,img_show); //显示显著图
END//算法结束
基于区域协方差的超像素生成
超像素图像分割是本文方法中重要的一步，通过这一步的预处理可以将图像分成不同大小的像素块从而进行随后的图像像素块的显著性计算和图像像素点的显著图生成，这里采用超像素生成方法，简单介绍如下：
1)首先用K-means方法对输入图像进行初始聚类分割成若干小区域并将得到的每一个区域分别赋予一个特定的标签label[i](i=1,2,…,N)。
2)对每个小区域利用协方差矩阵描述其特征信息为
C = \frac{1}{n}\sum\limits_{i = 1}^n {[{z_i} - \mu]{{[{z_i} - \mu]}^{\text{T}}}}
式中，${\mu
= \frac{1}{n}\sum\limits_{i = 1}^n {{z_i}} }$表示区域块的特征向量均值，且n=M×N为区域块大小。
3)通过区域协方差距离d(·,·)度量小区域之间的相似程度构造相似度矩阵；同时利用谱聚类思想，根据相似度信息对小区域聚类生成超像素块。
d(R,\;S) = \sqrt {{{[{\mu _R} - {\mu _S}]}^{\text{T}}}{{[{C_R} + {C_S}]}^{ - 1}}[{\mu _R} - {\mu _S}]}
式中，R和S表示不相同的两个区域块。
由于区域协方差矩阵可以用于描述图像每个小区域的高维特征信息，利用图像区域的多维特征信息对输入图像进行有效聚类，从而可以更好地生成基于特征信息的图像超像素块。该方法在生成较紧凑超像素的同时能较好地保持图像的边缘特征信息，同时改善了图像欠分割错误，减少了不必要的过分割现象。
图像像素块的显著度计算
本文方法结合像素块和像素点来计算图像显著度。通常的基于像素点的显著性容易受到某个噪声像素点的影响。为了防止单个噪声像素的干扰，考虑把显著性的影响范围扩大到像素块。由于区域协方差矩阵可以很好地融合图像的多种特征信息，在显著性计算过程中可以极大地过滤噪声对特征表示的干扰，并且不包含特征点的数量和顺序信息，对图像的变形以及亮度变化都有很强的适应性，故采用区域协方差矩阵来描述像素块的特征。然而，基于像素块的显著性计算虽然很好地排除了个别像素噪声的干扰，但却降低了计算的精确度。从而结合基于单个像素显著性的优点对像素块再进行一次上采样，将图像区域的对比度上升到像素级别，从而达到更精确的显著性估计效果。
为了刻画图像像素块的显著度，将单个像素块的显著度定义为其相对于图像中其他像素块的对比度[]。利用上述超像素分割生成的图像中每一超像素块R可以表征为三元组，$({n_R},{\mu _R},{C_R})$，nR为像素块R中所含的像素点数目，μR为像素块R中像素点的特征向量均值，CR为像素块R的高维特征信息协方差矩阵，即
{C_R} = \frac{1}{{{n_R}}}\sum\limits_{I = 1}^{{n_R}} {[{z_i} - {\mu _R}]{{[{z_i} - {\mu _R}]}^{\text{T}}}}
式中，${z_i} = {[{r_i},{g_i},{b_i},{x_i},{y_i}]^{\text{T}}}$为像素块中像素点的特征向量。
对于两个不同的像素区域块Ri和Rj，首先定义图像任意两个像素块的对比度值
{S_{dis}}({R_i},{R_j}) = d({R_i},{R_j}) = \sqrt {{{[{\mu _{{R_i}}} - {\mu _{{R_j}}}]}^{\text{T}}}{{[{C_{{R_i}}} + {C_{{R_j}}}]}^{ - 1}}[{\mu _{{R_i}}} - {\mu _{{R_j}}}]}
式中，${{\mu _{{R_i}}},{R_{{R_j}}}}$为像素块的特征向量均值，输入图像中单个像素块的对比度为
S({R_i}) = \sum\limits_{j = 1}^m {{S_{dis}}({R_i},{R_j})}
式中，Rj表示图像中任意一个不同于Ri的区域，m表示超像素块数目。实际上，一幅图像中像素之间的颜色和距离等特征信息也会影响人们对图像的关注度。比如，像素集中颜色越亮的图往往更引人注意。所以，在计算区域对比度中添加权值Wij来对式(2)进一步改进，得到区域块Ri的对比度
S({R_i}) = \frac{1}{K}\sum\limits_{j = 1}^m {{S_{dis}}({R_i},{R_j}) \cdot {W_{ij}}}
{W_{ij}} = \exp \left( { - \frac{1}{{2\delta _1^2}}{{\left\| {{\mu _{{R_i}}} - {\mu _{{R_j}}}} \right\|}^2}} \right),\;{K_i} = \sum\limits_{j = 1}^m {{W_{ij}}}
这里，$\left\|
\right\|$表示向量之间欧氏距离。参数δ1控制像素块对颜色、位置特征的敏感度，通常取5.015.0之间(实验中取为15.0)。最后将得到像素块显著度的值归一化到[0, 1]并映射到图像上获得基于像素块的显著度，如所示。
图像像素点的显著度计算
根据图像像素块的显著度确定图像像素点的显著度，并将图像中像素点显著度映射为显著图，这个过程可以解释为对每个像素块显著度S(Ri)进行上采样的过程[]。利用式(3)，每个像素点显著性si是通过其所在像素块以及周围像素块的对比度进行高斯线性加权，即
{S_i} = \frac{1}{{{L_i}}}\sum\limits_{j = 1}^m {S({R_j}) \cdot {W_{ij}}}
{W_{ij}} = \exp \left( { - \frac{1}{{2\delta _2^2}}{{\left\| {{z_i} - {\mu _{{R_j}}}} \right\|}^2}} \right),\;{L_i} = \sum\limits_{j = 1}^m {{W_{ij}}}
这里，m表示像素块的个数，${z_i} = {[{r_i},{g_i},{b_i},{x_i},{y_i}]^{\text{T}}}$为当前像素点的特征向量，权值Wij的选取可以使得该上采样过程对颜色、位置特征敏感，参数δ2控制像素点对颜色、位置特征的敏感度，通常取20.0~40.0之间(实验中取为35.0)。最后将得到的像素点显著度值归一化到[0, 1]并映射到图像上得到基于像素点的显著度图，如所示。
实验结果分析和讨论
本文算法在Visual C++ 2010开发环境下得到了实现，内存3.00 GB，处理器为Intel(R)Core(TM) 2主频为2.93 GHz的机器上运行，并在Achanta等人[]提供的公开测试集上测试了本文方法。将本文方法与目前较好的4种方法FT(frequency-tuned method)[]、HC[]、RC[]、SF[]进行比较，说明了本文RCS方法在图像显著性检测中的有效性。如所示，为输入的原图图像，为利用Achanta等人[]提出的频率调谐检测显著区域的结果，为利用Cheng等人[]提出的基于直方图统计对比度的显著性检测方法检测显著区域的结果，为利用Cheng等人[]提出的基于区域对比度的显著性检测方法检测显著区域的结果，为利用Perazzi等人[]提出的基于显著度滤波对比度的显著性区域检测方法检测显著区域的结果，是利用本文基于区域协方差的图像显著性区域检测方法的检测结果。从可以看出，和其他方法相比，本文RCS方法计算得到的图像显著图往往具有更清晰的轮廓，其检测效果更好，能够更好地凸显出图像的显著区域。需要指出的是，在构造超像素协方差矩阵的特征信息选取中，本文仅仅用了像素的颜色和位置5维特征。当然也可以尝试增加特征的维数，例如纹理特征、光照信息等，本文综合考虑到图像显著性检测的效果和检测效率，采用了图像5维特征，达到了理想的显著性检测效果。
图 3 不同方法估计得到的显著图对比
Fig. 3 Comparisons of the saliency map implemented with different methods ((a) (b) saliency map using FT[]; (c) saliency map using HC[]; (d) saliency map using RC[]; (e) saliency map using SF[]; (f) saliency map using our RCS method)
与已有的同样基于超像素的显著性方法SF[]相比，本文方法在分割较少超像素块的情况下也能得到理想的显著性检测结果。给出了利用本文RCS方法和SF方法在不同超像素块数目下的显著性检测结果。是利用本文方法分割1 000块超像素并计算显著度的结果，是利用SF方法分割1 000块超像素并计算显著度的结果；是利用本文方法分割30块超像素并计算显著度的结果，是利用SF方法分割1 000块超像素并计算显著度的结果。从中可以看到，本文方法在分割生成较少超像素块的情况下计算像素块的显著性和像素点的显著性，最终也能得到较理想的显著性检测结果。
图 4 不同超像素块数目下RCS方法与SF方法[]显著图对比
Fig. 4 Comparisons of saliency maps using our RCS method and SF method []using different numbers of superpixels ((a) using our RCS; (b) using SF; (c) using our RCS; (d) using SF)
值得指出的是，当输入图像存在复杂背景及纹理图像或其前景背景颜色接近的时候，利用本文方法也都能得到较好的显著性检测结果，如所示。从第1行可以看出当图像背景颜色和前景颜色相近时，本文方法得到的目标显著图更清晰明确、更显著。从第2行可以看出当图像具有复杂纹理背景时，本文方法可以更好地降低背景噪声的影响，使目标图像更显著。
图 5 复杂背景下RCS与SF方法[]显著图估计比较
Fig. 5 Saliency comparison with RCS and SF method [] for the input image with complex background ((a) (b) saliency maps using our RCS; (c) saliency maps using SF)
本文方法利用协方差矩阵来表示图像的特征信息，避免了特征点的数量、顺序、光照等对显著性检测的影响，提高了检测的准确度。由于区域协方差特征描述方法是用区域特征数据之间的协方差来表征图像区域，能方便地实现图像多特征的融合。其中协方差矩阵是一个d×d(其中d为像素点特征的维度)的实对称矩阵，该矩阵中对角线上的值表示每个独立的特征量，非对角线上的值表示特征之间的相关量，矩阵的大小只取决于像素点特征的维度，而与区域的大小、像素点顺序等无关，并且在对协方差矩阵的计算中进行了去均值化，因此它对图像区域亮度变化有较强的适应性，如所示。
图 6 不同光照情况下的显著图
Fig. 6 Saliency maps on different light conditions ((a) images with dif (b) saliency maps)
此外，本文方法将图像像素点信息和像素块信息相结合，避免了单个噪声像素点引起图像显著性检测的不准确性，提高了检测精确度。传统的基于像素点的显著性检测方法中容易受到像素噪声的影响，本文方法基于像素块区域，将显著性检测对象范围扩大到整个区域，在有噪声像素干扰的情况下也能产生较好的显著图，如所示。
图 7 有噪声干扰图像的显著图
Fig. 7 Saliency map of different noisy images ((a) (b) saliency maps)
为了客观地评价本文方法的显著性检测方法，在THUS10000[]数据集上随机选取了200幅图像，将本文方法结果和现有的其他显著性检测结果进行了比较。这些方法包括FT方法[]、HC方法[]、RC方法[]和SF方法[]，如和所示。是在Achanta等人[]提供的包含200幅图像的公开测试集上利用不同方法检测得到的显著图经过阈值分割得到结果的正确率和召回率曲线。表明本文RCS方法在200幅图像数据上的结果具有相对较高的精度和召回率。给出了不同显著图与Ground Truth的比较，其中客观评价准则包括：平均正确率(pre)和平均召回率(rec)。在THUS10000数据集上将本文方法的结果和现有的其他显著性检测的结果的比较来看，利用本文RCS方法的显著性检测结果要优于其他方法。
图 8 不同方法估计的显著图的准确率和召回率
Fig. 8 Accuracy and recall of the saliency map obtained by different methods
图 9 不同方法估计的显著图与GroundTruth比较的平均正确率和平均召回率
Fig. 9 Average precision and average recall between different methods of realization of saliency map and ground-truth map
显著性检测在图像分割中的应用
图像分割是图像处理中的重要任务之一。图像分割的目的是将图像中感兴趣的对象从图像中分离出来，以便进一步的图像处理工作。往往人们感兴趣的区域对于人视觉来说是显著的，因此就可以利用显著度图来决定感兴趣的物体并将其分割出来。目前，显著度已经广泛应用于非监督物体分割[]，这里考虑将本文方法应用于目标图像分割。具体步骤如下：
1)图像显著度计算。对输入图像进行预处理并用本文方法对估计图像像素点显著度得到显著度图。为了保证显著性估计方法的效率，采用图像的5维信息(r,g,b,x,y)T来进行基于区域协方差分析的显著度计算。
2)显著图二值化。对估计得到的显著图进行阈值分割获得二值化图像，使用自适应阈值分割方法来初始化感兴趣的区域。对于给定的归一化显著图，显著度值乘以255，其范围扩大为[0, 255]，最简单的获得二值化图像方法是固定阈值分割，即可以设定一个阈值T，根据显著图中像素的显著值与T的大小关系将图像分成两个部分。这种方法应用广泛，但是效果不稳定，对于不同的图像得到的显著度值是不同的，如果用同样的阈值分割，得到的分割效果质量很难保证。因此，这里采用自适应阈值分割进行显著图二值化。类似于Otsu[]自适应门限方法，首先按照图像的灰度特性对输入的灰度图像直方图进行分析，然后使用某一个阈值将灰度图像根据灰度大小，分成目标部分和背景部分两类，在这两类的类内方差最小和类间方差最大的时候，得到的阈值是最优的二值化阈值，然后根据该阈值对图像进行分割，分割效果如所示。
图 10 基于本文RCS方法的显著目标分割
Fig. 10 Salient object segmentation using our RCS method ((a) (b) saliency maps)
3)图像前后景分割。保留步骤2)得到的二值化图像的背景，并进行前景召回(即将前景像素的颜色值赋值为原图像中像素的颜色值)。方法如下：设val0、val1、val2为初始化图像像素的RGB值，or0、or1、or2为原图像像素的RGB值，T为步骤2)中所采用的阈值，当(val0+val1+val2)/3&T时，将原图像像素的RGB值赋给当前图像像素的RGB，即val0=or0，val1=or1，val2=or2。从而完成显著目标提取和图像分割。
给出了利用不同的显著性检测方法在图像目标分割上的应用，其中不同方法的相应显著度图参考。从可以看出，本文方法在图像目标分割的应用上可以达到较好的效果，而且计算简单。实际上，对于纹理图像以及前景颜色跟背景颜色相近的输入图像，利用本文方法也能达到前景、背景分割。
图 11 基于不同显著性检测方法的显著目标分割
Fig. 11 Salient object segmentation using different saliency detection methods ((a) (b) FT[]; (c) HC[]; (d) RC[]; (e) SF[]; (f) our RCS)
基于区域协方差分析，提出了一种新的图像显著性检测方法，首先用基于区域协方差的超像素生成方法对图像进行超像素分割预处理；然后对每个超像素块提取区域协方差信息用以计算相邻超像素块之间的对比度；利用区域协方差对比度来计算基于超像素块的显著度；最后基于像素块之间的对比度进行上采样计算像素块中像素点的显著性度量。实验表明，该方法可以取得较好的图像显著性检测效果，并且对于具有复杂背景及前景背景颜色相近的图像同样适用，同时该方法可以很好地应用到显著目标提取和图像分割应用中。
然而，由于本文方法需要对输入图像进行超像素分割预处理，所以降低了算法的效率。如何利用高效率的并行计算框架加速图像显著度检测将是未来的进一步工作。同时未来将进一步研究该方法在图像压缩、图像剪辑等的应用。
Triesman A M, Gelade G.
A feature-integration theory of attention[J].
Cognitive Psychology,
Koch C, Ullman S.
Shifts in selective visual attention:towards the underlying neural circuitry[J].
Human Neurobiology,
Chen T, Cheng M M, Tan P, et al.
Sketch2Photo:internet image montage[J].
ACM Transactions on Graphics,
Wang Y S, Tai C L, Sorkine O, et al.
Optimized scale-and-stretch for image resizing[J].
ACM Transactions on Graphics,
Zhang G X, Cheng M M, Hu S M, et al.
A shape-preserving approach to image resizing[J].
Computer Graphics Forum,
Wu H S, Wang Y S, Feng K C, et al.
Resizing by symmetry-summarization[J].
ACM Transactions on Graphics,
Rutishauser U, Walther D, Koch C, et al. Is bottom-up attention useful for object recognition?[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC, USA:IEEE Computer Society Press, -44.
Han J W, Ngan K N, Li M, et al.
Unsupervised extraction of visual attention objects in color images[J].
IEEE Transactions on Circuits and Systems for Video Technology,
Ko B C, Nam J Y.
Object-of-interest image segmentation based on human attention and semantic region clustering[J].
Journal of the Optical Society of America A,
Desimone R, Duncan J.
Neural mechanisms of selective visual attention[J].
Annual Review of Neuroscience,
Itti L, Koch C, Niebur E.
A model of saliency-based visual attention for rapid scene analysis[J].
IEEE Transactions on Pattern Analysis and Machine Intelligence,
Itti L, Koch C.
Computational modelling of visual attention[J].
Nature Reviews Neuroscience,
Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL:IEEE Computer Society Press, 04.
Wolfe J M, Horowitz T S.
What attributes guide the deployment of visual attention and how do they do it?[J].
Nature Reviews Neuroscience,
Mannan S K, Kennard C, Husain M.
The role of visual salience in directing eye movements in visual object agnosia[J].
Current Biology,
Harel J, Koch C, Perona P. Graph-based visual saliency[C]//Proceedings of the 20th Annual Conference on Neural Information Processing Systems. Vancouver, Canada:MIT Press, .
Goferman S, Zelnik-Manor L, Tal A.
Context-aware saliency detection[J].
IEEE Transactions on Pattern Analysis and Machine Intelligence,
Robson J G.
Spatial and temporal contrast-sensitivity functions of the visual system[J].
Journal of the Optical Society of America,
Sun Y R, Fisher R.
Object-based visual attention for computer vision[J].
Artificial Intelligence,
Kanan C, Tong M H, Zhang L Y, et al.
SUN:top-down saliency using natural statistics[J].
Visual Cognition,
Ma Y F, Zhang H J. Contrast-based image attention analysis by using fuzzy growing[C]//Proceedings of the 11th ACM International Conference on Multimedia. Berkeley, CA, USA:ACM, .
Gao D S, Vasconcelos N. Integrated learning of saliency, complex features, and object detectors from cluttered scenes[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA:IEEE Computer Society Press, -287.
Hou X D, Zhang L Q. Saliency detection:a spectral residual approach[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN:IEEE Computer Society Press, .
Duan L J, Wu C P, Miao J, et al. Visual saliency detection by spatially weighted dissimilarity[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI:IEEE Computer Society Press, .
Mokhtarian F, Suomela R.
Robust image corner detection through curvature scale space[J].
IEEE Transactions on Pattern Analysis and Machine Intelligence,
A computational approach to edge detection[J].
IEEE Transactions on Pattern Analysis and Machine Intelligence,
Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA:IEEE Computer Society Press, -893.
Liu T, Yuan Z J, Sun J, et al.
Learning to detect a salient object[J].
IEEE Transactions on Pattern Analysis and Machine Intelligence,
Cheng M M, Zhang G X, Mitra N J, et al. Global contrast based salient region detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI:IEEE Computer Society Press, .
Perazzi F, Krahenbuhl P, Pritch Y, et al. Saliency filters:contrast based filtering for salient region detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI:IEEE Computer Society Press, .
Rudoy D, Goldman D B, Shechtman E, et al. Learning video saliency from human gaze using candidate selection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR:IEEE Computer Society Press, 54.
Zhu J, Zhao J Y, Dong Z Y, et al.
Image classification using hierarchical feature learning method combined with image saliency[J].
Journal of Computer Research & Development,
祝军, 赵杰煜, 董振宇, 等.
融合显著信息的层次特征学习图像分类[J].
计算机研究与发展,
Siva P, Russell C, Xiang T, et al. Looking beyond the image:unsupervised learning for object saliency and detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR:IEEE Computer Society Press, 45.
Mai L, Niu Y Z, Liu F. Saliency aggregation:a data-driven approach[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR:IEEE Computer Society Press, 38.
Austvoll I, Kwolek B. Region covariance matrix-based object tracking with occlusions handling[C]//Proceedings of International Conference on Computer Vision and Graphics. Berlin Heidelberg:Springer, .
Dolson J, Baek J, Plagemann C, et al. Upsampling range data in dynamic environments[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, CA:IEEE Computer Society Press, 48.
Zhang Q R, Jing L, Xiao H M, et al.
Image segmentation based on visual saliency[J].
Journal of Image and Graphics,
张巧荣, 景丽, 肖会敏, 等.
利用视觉显著性的图像分割方法[J].
中国图象图形学报,
A threshold selection method from gray-level histograms[J].
Automatica,
10.11834/jig.
浙江工业大学计算机科学与技术学院, 杭州 310023
浙江工业大学计算机科学与技术学院, 杭州 310023
浙江工业大学计算机科学与技术学院, 杭州 310023
缪永伟,博士生导师,E-mail:
浙江工业大学计算机科学与技术学院, 杭州 310023
浙江工业大学计算机科学与技术学院, 杭州 310023