第25卷第2期2012年4月模式识别与人工智能PR&AIV01.25AprNo.22012基于全局和分离部件融合的双£1稀疏表示人脸图像识别算法胡正平宋淑芬(燕山大学信息科学与工程学院秦皇岛066004)摘要考虑到人脸识别中全局与局部信息的互补作用,提出基于全局和分离部件相结合的双厶稀疏表示人脸图像识别算法.首先在厶稀疏表示的基础上,对人脸进行全局稀疏逼近其次,在分离部件识别模型中,抽取并对齐稍有重叠的几个人脸部件,分别进行稀疏表示。然后使用基于稀疏表示残差的相似度投票方法,将各部件逼近结果综合.最后在决策层上将全局与部件的稀疏表示加权集成,形成双£1稀疏表示分类器.在公用人脸数据库上的实验表明,集成分类器优于各单一模块的识别性能。且由于融合了对光照、表情等变化不敏感的部件信息,系统鲁棒性得到提高.关键词人脸部件,人脸识别,稀疏表示,厶范数中图法分类号TP391,41Bi-LlSparseRepresentationAlgorithmforFaceRecognitionBasedonFusionofGlobalandSeparatedHUZheng・Ping,SONGShu-FenComponents(SchoolofInformationScienceandEngineering,YanshanUniversity,Qinhuangdao066004)ABSTRACTConsideringtheeomplementationonofglobalandlocalcomponents,bi—LIsparseisrepresentationalgorithmforfacerecognitionbasedbasedonfusionofglobalandseparatedinformationisusedarecomponentsglobalproposed.Firstly,Llsparserepresentation,theglobaltoobtainthesparseapproximation.Then,severalslighflyoverlappingfacecomponentssparseextractedandalignedintherecognitionmodelofofareseparatedcomponents.Afterthat,therepresentationallthecomponentsaisobtainedrespectively.Thesparseapproximationresultsofeachcomponentmethodbasedoncombinedwithsimilarityvotingtheresidualsofclassrepresentation.Finally,theweightedintegrationoftheglobalandcomponentsmakingsparserepresentationisusedtoconstructthehi一£1sparserepresentationclassifierindecision.layer.Theexperimentalresultssuperiortoonpublicavailabledatabasedemonstratethattheperformanceofsingletheintegrationclassifieristhatofeachmodule.DueandtothefusionofcomponentinformationwhichisinsensitivesystemisKeytovariationofilluminationexpressionetc.,therobustnessoftheenhanced.FaceWordsComponent,FaceRecognition,SparseRepresentation,£INorm・国家自然科学基金(No.61071199)、河北省自然科学基金(No.V2010001297)、中国博士后自然科学基金(No.20080440124)和第二批中国博士后科学基金(No.200902356)资助项目收稿日期:201l—04—20;修回日期:201I—07—0l作者简介胡正平,男,1970年生,教授,博士后,主要研究方向为稀疏模式识别.E.mail:hzp@ysu.edu.cn.宋淑芬,女,1987年生,硕士研究生,主要研究方向为稀疏表示分类模型.E—mail:songshufen520@163.corn.万方数据2期胡正平等:基于全局和分离部件融合的双厶稀疏表示人脸图像识别算法2571引言表示的人脸识别大部分是基于图像的全局信息.但由于局部信息具有对光照、表情以及遮挡和少量位移等变化不敏感的优点,不少研究关注人脸局部信息.文献[9]提出局部形状模式(1.malShapePatlern人脸识别因为巨大的潜在应用前景以及对多门相关学科极大的促进作用,多年来得到广泛研究.人脸识别问题主要沿着两条主线发展.其一是如何提取人脸的描述特征,理想的描述特征应该只反映人脸由于相貌不同引起的本质属性的变化,而对如表情、光照等外在变化不敏感.除强调特征提取以外,分类函数的研究与设计也对人脸识别的性能有很大影响,因此成为另外一条主线.理论I-.i兑,几乎所有的分类器都可用来对人脸图像进行分类,主要方法包括统计学习分类器、集成学习分类器等.目前一些学者将稀疏表示用于人脸识别,得到国内外学者的广泛关注.文献[1]首先提出基于稀疏表示的鲁棒人脸图像识别算法,基本思想是将待分类图像表示为以训练图像本身作为基原子的字典的稀疏线性组合.但该方法对图像之间的对齐性要求较高,对此文献[2]提出具有平移不变性的稀疏表示分类方法,在求解稀疏表示的同时得到平移参数.文献[3]则针对稀疏表示的优化函数经常得到很多局部极小值的情况,将竞争机制引入到稀疏表示中.此外,针对稀疏表示求解过程计算复杂度高、成本大等问题,文献[4]将稀疏表示分两步进行,首先训练一种用于检测图像中噪声和非人脸像素的度量,将训练集过滤为一个较小的集合,再进行稀疏表示.文献[5]则将同类图像归为一组进行表示,并提出贪婪算法快速求解稀疏优化问题.文献[6]针对图像中包含噪声、遮挡等问题,利用Gabor特征对字典进行压缩,文献[7]、[8]分别提出将字典减少为测试图像的某些近邻而非全体训练图像,从而提高识别速度.对于提取人脸描述特征的问题。通常主要考虑利用人脸全局信息和局部信息两类.目前关于稀疏LSP)描述子的概念,利用该描述子的稀疏表示实现3D图像的识别.文献[10]则将人脸分为等大的小块,分别稀疏表示后用权重投票的方法进行综合.相对于文献[10]直接分块的方法,文献[11]采用抽取分离部件的方法,将研究重点直接定位到有较大判别力的面部区域,这样的局部信息抽取更有利于系统鲁棒性的提高.但仅利用全局信息或局部信息,都不能达到对图像的完整描述.近年来,生理学和心理学的研究表明:全局信息和局部信息对于识别都是必要的,二者的描述内容和作用是不同的””.全局信息描述如面部轮廓等整体属性,局部信息则描述如面部器官特点等细节属性.因此,一些方法利用全局信息和局部信息的互补作用,将两者结合以达到更好的识别效果.例如文献[12]分别提取全局和局部特征,将两者集成进行人脸识别,提高识别精度.基于全局与局部稀疏表示结合的思路会取得什么效果?正是基于双L。稀疏表示的思想,文中提出全局和分离部件融合的双£。稀疏表示人脸图像识别算法.首先将各部件的稀疏逼近结果通过相似度投票的方法综合,然后将全局和部件的逼近结果加权融合,相对于各单一模块,实现系统识别性能的提高.2全局一部件融合的双厶稀疏表示人脸识别算法2.1系统组成文中提出基于全局一部件融合的双厶稀疏表示全局L,.稀疏堪近±局信息崖到||Fig.1厩隧部件1L,.稀疏逼近i}|;件2L.・稀疏逼近雏分离部什信息L查郭件9L.一稀疏堪近图1双L,稀疏表示分类器框图Diagramofbi-L.sparsePepM'sentationclassifier万方数据258模式识别与人工智能25卷分类器,由全局的稀疏逼近和分离部件的综合稀疏逼近并行构成,两部分的稀疏表示结果在决策层上加权集成实现分类器的构建.分类器的组成框图如图l所示.2.2基于稀疏表示的分类思想设第i类训练样本矩阵Ai=[yf.1,yi’2,…,y汕;]∈R““,其中,m表示样本特征维数,rti表示第i类的样本数目.则根据线性子空间原理,来自第i类的测试样本Y∈R“可由该类训练样本的线性组合表示,即Y=oti,l',i,1+di。2Vl。2+…+af.啦,0ti.『∈R,.『=l,2,…,rti.但由于测试样本Y的类别是未知的,因此定义包含整个训练集的字典矩阵A=[A1,A2,…,AI]∈R”8,其中,k表示类别数目,n表示样本总数.则测试样本Y基于过完备字典A的线性组合可表示为j,=Axo∈R“,其中ER“是一个系数向量,‰中除了对应第i类样本空间的系数不为0外,其余项均为0.因此可通过求解线性方程组Y=Ax得到测试样本的类别.但在鲁棒性模式识别中,通常要对原始图像数据降维,以降低运算量.因此,通常情况下线性方程组Y=Ax是欠定的,即m</7,,导致x的解不唯一.由上述讨论可知,理论上测试样本应仅由来自同一类别的训练样本表示,因此在类别数k足够大的情况下,该方程组的解应是稀疏的,且求得的解越稀疏,对于测试样本的准确识别也越有利.因此将方程组的求解问题转化为基于厶范数最小化求最稀疏解,也就是使解中包含的非0项最少,即(厶):芏o=argmin0工0os.t.Y=Ax.但是厶范数最小化是一个NP—hard问题,难以求解.压缩感知和稀疏表示领域的理论证明:在X。足够稀疏的情况下,厶范数最小化问题等价于L。范数最小化问题,且厶范数最小化可在多项式时间内通过线性规划算法求解.为此将稀疏表示问题转化为求解厶范数优化问题:(L1):茹l=argmin0X0l,s.t.Y2Ax.但在实际图像中由于噪声的存在,几乎不可能精确地将测试图像表示为训练图像的稀疏叠加,因此可将上式改写为(厶)IX“l=argmin0工0Is.t.Ily—Ax02≤占,(1)万方数据其中占表示噪声容限.通过上式得到测试样本的稀疏表示系数土,∈R“,理想情况下譬,中非0项应仅与A中与测试样本同类的原子相关,则根据这些非0系数的分布可直接判断测试样本的类别.但由于噪声和模型误差的存在,j}。中许多小的非0项与多个类别相关.为了更好地利用训练样本的子空间结构,本文根据训练样本各类对测试图像的稀疏逼近残差ri(Y)实现分类,将测试样本归类为具有最小逼近残差的类别:撕ity(y’=arg川啤.川(删卜(2)IElI.z.….‘l,,’、ri(Y)=0Y—A8i(量。)II2,其中盈(譬。)表示譬,中对应于第i类样本空间的系数向量.2.3全局数据稀疏表示分类将测试图像和训练图像经剪裁和降维处理,得到测试图像的全局特征向量Y和由所有训练图像的特征向量构成的过完备基A,然后由式(1)、式(2)得到测试图像的全局稀疏表示系数譬。,并得到各类训练图像对测试图像的逼近残差向量(1,r2,…,屯).2.4基于分离部件的稀疏表示分类模型由于分离部件对于人脸图像的发型、光照、表情变化及一定程度的位移有较好的稳定性,为了使分类器具有较高的鲁棒性,提出基于分离部件的稀疏识别模型.由图l所示集成分类器框图可看出,对于分离部件稀疏识别模型而言,如何抽取对识别有利并基本对齐的部件信息以及如何将各部件的稀疏逼近结果综合是问题的关键.2.4.1分离部件的抽取及对齐首先标注测试图像中人脸的几个关键特征点(眼睛、鼻尖和嘴角)的位置,然后以这些特征点的位置为基准,抽取包含人脸面部主要信息的9个分离部件区域¨¨:前额、眉毛(左右)、眼睛(左右)、脸颊(左右)、鼻子和嘴.为了保证各部件区域的完整性及其判别力,抽取的各分离部件之间有一定程度的重叠.但由于测试图像与训练图像之间存在表情变化及少量位移,各图像之间并不是完全对齐.如果对训练图像也仅以相同的位置抽取部件,必然会导致部件信息之间缺少合理的相关性,影响识别精度.因此本文采用自动搜索各分离部件最佳对齐位置的方法,将图像的对齐处理转化为各部件的对齐.具体方法如下.设抽取的测试图像某一部件为6)及宽高(钾,h)为基准,对每幅训练图像的上下左工o=[0,0,…,0,nu,“i.2,…,af^,0,0,…,0]。rY妇’(P=l,2,…,9),然后以该部件的起点位置(口,2期胡正平等:基于全局和分离部件融合的双厶稀疏表示人脸图像识别算法259右4个方向寻找t个像素,即(口+伽±t,b+h±t)范围内与测试图像部件Y(P’距离最近的区域.以一幅训练图像r为例,自动搜索到的对齐部件,∞为F9’=T(a+W+s,b+h+s),其中s=argm!n0Y”’一T(a+w+-,,b+h+歹)II2,J_『=一t,一t+l,…,t.2.4.2各部件的L,优化稀疏逼近及综合对于测试图像的某部件Y(P),P=1,2,…,9,与该部件自动对齐之后的所有训练图像的相应部件为A妇’=[A:川,A≯’,…,AP’]=[1,::?,l,}皇,…,l,:皇。]ERmp“.其中,m。表示部件P的特征维数,k表示类别数目,n表示训练样本总数.同样由稀疏求解式(1)、式(2)得到各部件的稀疏解芏(P)及各类训练样本对该部件的逼近残差p∥,i=1,2,…,k.由于各部件对于识别的贡献程度不同,因此对部件的综合应体现出各部件不同的作用¨0|.我们在各部件综合的决策层上,采用基于稀疏逼近残差的相似度投票方法,利用稀疏表示本身体现的各部件对测试图像的逼近程度,综合稀疏逼近结果.相似度投票方法具体描述如下.1)将k类训练样本对测试图像各部件(工。,厶,…,厶)的逼近残差p;"表示为以下矩阵形式:k类训练样本对测试图像某部件的逼近残差向量构成矩阵的行向量(p:川,p{p’,…,p:∞),P=1,2,…,9,所有部件的残差向量构成如下的残差矩阵:训练样本类别12…七人Llp:”JDi¨…P:”脸厶p}2’pi2’…p:2’部;;;;i件厶p:”p{引…p:∞2)由残差矩阵可看出,为了将输入测试图像归类为k个类别中的某一类,应取残差矩阵的列向量为研究对象.以第i个类别为例,残差p∥的大小代表第i类训练图像的某部件P与测试图像相应部件的逼近程度,残差|p∥越小,说明它与第i类部件越相似.因此,将残差的倒数lip:一来度量该部件的相似度,定量表示该部件对测试图像的表示能力,记作埘:川,即埘:一=lip”3)最后将每类的9部件相似度以相加的形式实现投票综合,即万方数据毗=∑埘:力=∑而1,p=IP=1Pi从而得到k类样本对测试图像的综合逼近度向量(tt,。,W:,…,W。).根据部件稀疏表示模型,将测试图像归类为综合逼近度向量中最大值对应的类别,即identity(y)=arg川m.2a.x一.IIWi・2.5全局・部件融合双L。稀疏表示根据集成学习理论,将全局分类器和局部分类器进行某种形式的集成可有效降低分类错误率,研究证明在多种分类器集成方式中,加权求和的方式最简单.因此,我们将全局和部件的稀疏逼近结果加权融合,对测试图像进行判别.设全局稀疏表示逼近残差向量为(1,r2,…,“),将其转化为全局逼近度向量(s。,s:,…,s。),其中si=1/r;.部件稀疏表示的综合逼近度向量为(W,,W:,…,W。),则加权集成的整体逼近度向量(u。,u:,…,‰)可表示为(ul,11,2,…,‰)=WG(s1,s2,…,sI)+W£(Wl,W2,…,埘I),其中,W。表示全局稀疏表示的权值,W。=1一W。表示局部综合稀疏表示的权值,权值的分配可通过实验获得.那么测试图像的类别为集成后的整体逼近度向量中最大值所对应的类别,即identity(y)=arg洲m.2a.x…地・,k3实验仿真研究为了检验上述算法的有效性,采用AR人脸数据库进行实验,使用AR人脸库中100个目标人脸的14张图片,前7张用于训练,后7张用于测试,数据包括人脸的多种表情、发型及光照等细节变化.由于目标类别数较多且每类的训练样本数较少,因此本人脸库对于人脸识别方法的测试是较有挑战性的.实验中,每幅图片的初始大小为100x80像素,在抽取全局信息时,将图像剪切为84×60像素大小,以去除背景及发型变化的影响,抽取的每个分离部件的初始大小如下:前额为46X14,眉毛(左、右)为28X18,眼睛(左、右)为28X24,脸颊(左、右)为24×20,鼻子为24X30,嘴为46×20.实验中对图像进行均匀下采样实现降维.由于全局信息主要反映人脸的整体属性,较低分辨率即可满足要求.相反,局部部件反映人脸的细节变化,需要较高的分辨率.因此在全局和部件的融合处理中,对全局信息采用1/4的下采样率,对部件信息采用1/2的下采样率.模式识别与人工智能25卷3.1基于分离部件稀疏表示的识别结果对分离部件识别模型的测试主要包括以下方面,如图2所示.首先,测试在不同的采样率,即各部件的维数之和不同的情况下,经过对齐之后的分离部件稀疏表示识别性能的改变,可知识别性能随着各部件特征维数之和的变大而提高,即各部件包含的细节信息越多,其判别力也随之变大.其次,与文献[8]中将图像直接分成等大区域小块的方法进行比较,并同时经过对齐处理,在特征维数足够的情况下,分成等大的小块再进行综合判别之后的识别率较分离部件方法稍差,由此可知,提取的分离部件有更好的判别力.最后测试部件经过本文的自动搜索最佳对齐位置前后的识别情况,在同样采样率的条件下,各部件未经对齐的情况较对齐之后的识别率相差很大,由此可知,本文的自动搜索对齐位置对于图像的正确识别起着至关重要的作用.图2不同分块和对齐方法对识别率影响Fig.2Effectofdifferentmethodsofpartitioning““alignment011recognitionrates冰彝磊匿∞如踯加∞∞柏o前右左右左右左鼻嘴综额眉眉眼眼脸脸子合颊颊图3单一部件与部件综合的识别性能对比Fig.3Recognitionperformancecomparisonofcomponentandcomponentcombination另一方面,由于基于分离部件的稀疏表示是多个部件稀疏表示的综合,因此测试在相同采样率的条件下,经过对齐之后的各单一部件的识别性能,如万方数据图3所示,图中最后一列为各部件综合之后的识别性能.可看出,各单一部件的识别性能较差,而各部件综合之后达到较理想的识别效果.3.2全局-部件融合的双厶稀疏表示识别结果本文利用加权集成的方法将全局和部件稀疏表示结果融合,权重埘。和训。通过实验获得,实验结果如图4所示.可看出,集成分类器达到较好的识别效果,不同的权重设置时,识别率在91,7%和96.4%之间变化,在加。=0.4的时候,集成分类器达到最好的识别效果.图4不同权值对集成分类器识别性能的影响Fig.4Effectofdifferentweightonrecognitionratesofintegratedclassifier本文三种方法与文献[1]中列出的最优识别性能的比较如下:基于全局L.稀疏表示方法为90.4%,基于部件厶稀疏表示方法为92.4%,全局一部件双厶稀疏表示为96.4%,文献[1]方法为94.7%,最近邻(NearestNeighbor,NN)为89.7%,近邻子空间(NearestSubspace,NS)为90.3%.可看出双厶稀疏表示分类器达到最高的识别效果,且明显高于基于全局和部件各单一模块的稀疏表示,验证本文全局和部件信息融合思路的合理性,证明利用全局和部件的互补作用可提高稀疏表示的识别性能.同时结合图3中权重的分配可知,在达到最优的识别效果时,部件稀疏表示的权重大于全局稀疏表示的权重.可见在集成稀疏表示分类器中,部件特征反映的细节信息起到更大的判别作用.4结束语受到生理学和心理学研究成果的启发,提出全局和部件信息融合的稀疏表示人脸识别思路,基于全局信息和部件信息的互补作用,提出双L。稀疏表示人脸图像识别算法.首先,根据£。优化算法得到2期胡正平等:基于全局和分离部件融合的双厶稀疏表示人脸图像识别算法261全局的稀疏逼近,然后构建分离部件的稀疏表示模型,分离部件的识别模型主要分为以下步骤.首先抽取人脸中稍有重叠的9个重要部件,自动搜索最佳对齐位置,实现各部件的对齐处理.然后将各部件分别进行稀疏表示.最后采用基于稀疏表示残差的相似度投票方法,将各部件稀疏表示结果综合逼近.分别得到两者的稀疏表示后,将其加权集成,实现双L。稀疏表示分类器的构建.实验结果表明本文方法具有较好效果.但由于稀疏表示将所有训练图像作为过完备字典的原子,算法运算量较大,因此如何将图像数据更好降维和如何将过完备字典中的元素更好压缩,是值得迸一步研究的问题.参考文献[I]WrightJ,YangAY,GaneshA,eta/.RobustFaceRecognitionviaSparseRepresentation.IEEETmnsonPanernAaalysisandMachineInteUigence,2009.31(2):210—227[2]HuangJunzhou,HuangXianlei,MetaxasD.SimultaneousInM唱eTransformationandSparseRepresentationRecovery,,ProcoftheIEEEConferenceonComputerVisionandPatternRecognition.Anchorage,USA,2008:1—8[3]ChengFing,LiuHaitian,ZhaoJiaqun.ANovelSparseRepresenta—tionAtsorithmBasedonLocalCompetitions//ProcoftheIEEEInternationalConferenceonInformationTheoryandInformationSecurity.Beijing。China,2010:798—801[4]HeBan,HuBangang,ZhengWeishi,et越.Two・StageSparseRep—resentatlonforRobustRecognitionon姆一ScaleDatabase//Procofthe24thAAAIConferenceonArtificialIntelligence.Atlanta,万方数据USA.2010:475—480[5]MajumdarA,WardRK.FastGroupSparseClassification.Canadi一蛐JournalofElectricalandComputerEngineering.2009,34(4):136—144[6]YangMeng,ZhangLei.GaborFeatureBasedSparseRepresentationforFaceRecognitionwithGaborOcclusionDictionary//PmcofthellthEuropeanConferenceonComputerVision.Heraldion,Greece,2010:448—461[7]LiChunguang,GuoJun,ZhangHonggang.LocalSparseRepresen—tationBasedClassification//Procofthe20出InternationalConfer-enceonPattemRecognition.1stanbul,Turkey,2010:649—652[8]ZhangNan+YangJian.KNearestNeighborBasedLocalSpan*RepresentationClassifier//ProcoftheChineseConferenceonPat—ternRecognition.Chongqing,China。2010:400—404[9]HuangDi,OujiK,ArdabilianM,甜讲.3DFaceRecognitionBasedonLocalShapePaaernsandSparseRepresentationClassifier//Proeofthe17thInternationalMultimediaModelingConference.Taipei,China,201l:206—216[10]CotterSF.WeightedVotingofSparseRepresentationClassifiersforFacialExpressionRecognition//Procofthe18thEuropeanSignalProcessingConference.Aalborg,Demnark,2010:1164一1168[11]CanZhimin,YinQi,TangXiaeou,etd{.FaceRecognitionwithlearning・BasedDescriptor//PrecoftheIEEEConferenceonComputerVisionandPatternRecognition.SanFrancisco,USA,2010:2707—2714[12]sIIYu,ShanShiguang,ChenXilin,eta/.IntegrationofGlobalandLocalFeatureforFaceRecognition.JournalofSoftware,2010.21(8):1849—1862(inChinese)(苏煜,山世光,陈熙霖,等.基于全局和局部特征集成的人脸识另lj.软件学报,2010,21(8):1849—1862)