搜索
您的当前位置:首页正文

基于单目立体视觉的NAO机器人的目标定位与抓取

来源:抵帆知识网
第31卷 第2期 2017正 五邑大学学报(自然科学版) JOURNAL OF wUYI UNIVERSITY (Natural Science Edition) v0l 31 No 2 May 2017 5月 文章编号i 1006.7302(2017)02.0020.07 基于单目立体视觉的N AO机器人的 目标定位与抓取 李鹤喜。张长亮 (五邑大学 计算机学院,广东 江门 529020) 摘要:为了实现NAO机器人对空间目标的定位与抓取,提出了一种单目立体视觉的导航方法. 首先利用机器人上部摄像机的平动获取两幅目标图像,等效于双目立体视觉,采用FFT频域 互相关和累加求和快速算法,进行两幅目标图像的立体匹配,实现目标位置的快速检测;然后 根据测得的目标高度,运用视野中心算法和三角测量原理计算出目标距离,进行目标的跟踪逼 近,当机器人到达目标邻近区域时使用下部摄像机进行目标检测并进行姿态调整,直到距离误 差落在目标中心许可的圆形区域内,进行目标抓取,实际测试表明采用这种视觉导航方法的 NAo机器人抓取成功率在90%以上 关键词:立体匹配;互相关;目标定位;目标抓取 中图分类号:TP242 6 文献标志码:A Object Locating and Grasping of NAO Robot Based on Monocular Stereovision LI He-xi,ZHANG Chang-liang (School of Computer Science,Wuyi university,Jiangmen 529020,China) Abstract:A monocular stereovision——based navigation technique is presented in order to implement the object locating and grasping of NAO robot.First,two images of an object are acquired using an upper camera on robot head through translational motion of NAO robot,which is equivalent to a binocular vision,and FFT-based cross correlation in frequency domain and fast integral sum arithmetic are used for the stereo—matching of two images to achieve rapid measurement of object position,then according to the measured object height NAO robot approaches the object using the vision—field—center method and triangular surveying,when the robot arrive in the adjacent area of object,the lower camera on NAO head is applied to determine the object position and robot posture is adjusted until the distance error fell in a tolerant circular area surrounding the object center,finally the NAO robot will grasp the object.The test results show that the grasping SHCCeSS rate of NAO robot is over 90%using proposed vision navigation. Key words:stereo matching;cross correlation;object locating;object grasping 近年来智能人形机器人的研究与应用逐渐兴起,特别是让人形机器人配上视觉已是一种必然趋 收稿日期:20l7-02-08 基金项目:广东省自然科学基金资助项目(2016A03031 3003) 作者简介:李鹤喜(1961一),男,辽宁昌图人,副教授,博士,主要研究方向为机器视觉与智能机器人 第31卷第2期 李鹤喜等:基于单目立体视觉的NAO机器人的目标定位与抓取 21 势….NA0机器人是一款用于科研、竞赛、娱乐的双足类人形机器人,有25个自由度和36个传感 器,其中头部有上下两个视觉传感器,用于视觉导航.传统上,对NAO机器人视觉导航的研究与应 用主要是集中在地面捡球与踢球竞技上[2-5],对于位于空间任何位置的目标(非地面目标)的定位、 追踪、抓取等操作缺乏有效的方法,一些研究将空间目标贴上标记以便识别 ],显然这种方法在实 际应用中很不方便.本文针对目标空间定位与抓取问题提出了一种解决方法,主要思想是:利用 NAO头部摄像机的横向平动形成立体视觉,采用FFT频域互相关与累加求和快速算法进行立体匹 配,并通过立体视觉的测量原理计算得到目标特征点的空间高度,再根据高度利用视觉追踪算法快 速逼近目标.考虑到NAO机器人行走时产生的偏转角度和距离误差,需要选择合适的控制策略来完 成目标的追踪与抓取.NA0机器人头部有两个上下成一定角度的摄像头,当距离较远时,采用上部 摄像头,应用视野中心法和透视三角原理实现远距离测距,当机器人走到目标附近时,采用下部摄 像头,并根据目标距离图像中心的位置来调整NAO机器人到误差允许的范围,最后实现目标的抓 取操作. 1 NAO机器人头部摄像机内参数的标定 虑的是目标相对摄像机的位置关系,故这里只考虑图像坐标系( ,v)和摄像机坐标系( , ,z )的映射 [ ]= [喜昙辜][茎]. c 图1 标定所用的平面靶标 541 697 0 f . 0 000 0 314 545 i. .   fA=l 0.000 0 536.228 2 233.531 5l J 0.0000 0.000 0 1.000 0 J (2) 2 NAO机器人的立体视觉匹配 设NAO机器人在位置1获取的图像为 (“,1,),在垂直于目标深度方向平行移动距离B,到位 置2获取图像为 @,v),按顺序约束,采用区域匹配算法进行两幅图像同名点的匹配计算.设右图 五邑大学学报(自然科学版) 2017正 像 (“,v)上目标的特征点为( ,v2),选择包括 (“:,v2)的匹配区域为g:( ,V),选择左图像fii(u,V) 的搜索区域为gl ,v),包含了(材 ,v:)对应的同名点 为( ,1, ),区域尽量达到水平方向的最大覆盖,如 图2. 设搜索的目标图像g ,v)的像素尺寸为 ×Ⅳ,匹配区域g:(“,v)的像素尺寸为mxn,则 图2左右图像的区域匹配 g2( ,v)在图像gl( ,v)中第(,, )点两者的相似性可以用函数互相关来表征,考虑归一化处理后,其 离散形式的相关可以表达为 ∑∑g。(,+ ,J+j)g:(f, ) R(I, )=旦 —————一. (3) ∑g (nf, + R(1, )就是传统的NCC(Normal Cross Correlation)归一化互相关系数表达式,在空间域内计算 R(I,I,)是非常消耗时间的,难以满足机器人视觉的实时性要求,一种改进方法是将其变换到频率域 利用FFT快速傅里叶变换提高计算效率,R(I, )的分子部分正是两函数相关的定义,按相关运算与 傅里叶变换的关系有 g1(“, )。g2( ,V):F {(i(国 ,∞ )(12(co ,∞ )), (4) 就是先把gl( ,v)和g:(甜, )分别进行FFT变换,得到G ̄(co ,∞ )和G2(co ,09 ),在频率域计算G(co ,国 )与 G:(co ,03 )共轭的乘积,然后再进行F 逆FFT变换得到空间域的相关系数.R(I, )归一化的分母部 分无法转到频率域处理,只能在空间域里进行单独计算,为此令R(I, )的分母为 s(i, )=【∑∑g +f, + . 则由公式(3)得到 (5) )= 由于式(6)的分母s(i,J)求和是随模板的移动动态 变化的,在模板到达的每个位置( , ),都需要计算这个 能量和,非常耗时.因此,能够快速计算这个能量和就可 以加快归一化处理的速度,提高匹配效率.这里利用 业. (6) Viloa的积分求和思想进行快速递推【8j,下面分析式(6) 分母S(I,J)的快速递推求和方法. 如图3,当m×n的匹配模板g2(zf,v)在搜索图像g。( ,v) 上沿 方向移动一个像素单位,该能量和 方向只有新一 列移入,旧一列移出,其他保持不变.因此对于第一行有: s0,2)=S(1,1)一Y(1,1)+】,(1,n+1) S(1,3)=S(1,2)一y(1,2)+】厂(1,n+2) S(1, )=S(1,J—1)一Y(1,J—1)+Y(1,n+J一1) (7) 第31卷第2期 李鹤喜等:基于单目立体视觉的NAO机器人的目标定位与抓取 23 这里Y(1, )为第一行上按模板覆盖下面 列的灰度平方和,由下式决定: J,(1, )= , )】 . (8) 对于任意一行 ,可以得到 IS(I,J)=s(i,J—1)一Y(I,J一1)+J,(,,n+J一1) , 【gl(I+k-l,J)]: k=l ‘ L 与行类似,对于任意一列 ,可以得到 Is(1,J):s(I—l, )一y(I—l,l,)+ ( 2+ 一l, ) 1 (LJ): (I,J+k-1)]: L k=l ‘ (11) 在式(10)的第一式中由,一l代替,得 s(I—l,J)=S(I~1,J一1)一Y(I一1, 一1)+Y(i-1,以+L,一1), 将式(11)代人式(9)的第一式,得到到(,,J)>=2任意一点灰度平方和的递推公式为 S(I,J)=s(i一1, —1)+【X(m+,一1, )一 (,一1, )】+ 【Y(I—l,n+ 一1)一Y(1—1,J—1)】. l 0 O 8 0 6 0 4 O 2 O (12) 完成空间域的灰度快速求和后应用式(4)的频 域FFT变换首先求得g。(“,v)和g (“,v)未归一化处理 的互相关,然后按式(6)除以S(I,J)便得到归一化 的互相关系数R(I,J).与传统NCC匹配方法相比, 本法计算效率高,一个匹配点的检测<300 Ills,满足 机器人视觉的实时性要求.一个典型的匹配点相关 系数R(1,J)的计算实例如图4所示.取R(I,J)达到最 大值的点作为与特征点( ,,v,)匹配的点( ,v ),即 (”l,V1)=argmax (,,J)e(1,I)-(M,Ⅳ) (,,l,)}. 图4 匹配点检测的相关系数尺的分布图 3 目标红球的定位与抓取试验 这里以NAO机器人定位与抓取空间中任意高度的红球作为实例,选择红球的中心为识别特征 点,试验按以下步骤进行: 1)目标图像的检测 进行红球目标定位,首先要在NAO机器人摄像头拍摄的整幅场景图像中检测出目标红球.一般 在室内环境条件下,基于颜色的空间分割易受光照的影响,这里采用YuV颜色空间[引,因为它受光 照的影响小.目标的Yuv颜色空问图像如图5,通过对YUV图像的颜色滤波处理,就能快速检测 出红球. a原图像 b.YUv图像 c Y通道图像 d u通道图像 e V通道图像 图5 目标的YUV颜色空间的图像 24 五邑大学学报(自然科学版) 2017年 2)目标特征点的确定 根据试验确定红色的YuV各通道的阈值,得 到二值图像,先按canny算子进行边缘检测,再进 行霍夫圆检测[1ol,得到红球的圆心坐标,作为目标 特征点.如图6所示. a二值图像 b.Canny边缘检测 c.霍夫圆检测 3)利用立体视觉获取红球高度 图6 目标红球特征点的检测 取红球目标上的同心特征点。利用NAO上部摄像机水平移动B距离,产生左右两幅图像,( 。,v。) 和( !.v!)为红球目标上采用立体匹配技术确定的一对匹配点,则根据式(I)得到两个方程组: x一.B +甜0 Ul ax + 0 2=a 一Zc : +v。 Y c+V2:a V ̄ Z o)解之得到空间目标上特征点在摄像机坐标系下的坐标为(t, , ),其中t:—B(ulU -—Ba (v ,-Vo):—, , “l一“2 -L l一 2 : . 就是目标红球到NAO头顶摄像机中心的高度h(即h=Yc).在已知h的情形下,就 U1——112 可以利用NAO机器人头部上下两个摄像机采用单目视觉方式,快速逼近目标. 4)逼近控制策略 下面讨论在在高度h确定后,NAO机器人的目标逼近控制策略.NAO机器人头部有上下两个摄 像头,其夹角为固定的39 7。,如图7所示.在NAO机器人跟踪逼近时,离红球较远时采用上摄像 头,较近时采用下摄像头. 厂~图7 NAO机器人头部摄像机参数图 图8 单目测距原理图  因机器人的视角 在距离较远时,采用视野中心法来测量NAO机器人与红球之间的距离.首先, 有限,只能看到有限的视野空间.所以必须通过上下左右摆动摄像头来寻找红球, 当视野中检测到 红球的时候,通过单目成像原理,如图8所示,计算出红球的偏转角度0. 228 2, 由于NAO摄像机使用的是固定焦距,通过标定已得到的ax=541.697 0, a =536.(Uo,Vo)=314.545 1,233.531 5.所以臼角的计算公式可表达为臼=arctan( ]. 调整NAO机器人的头部,让摄像机的光轴坐标(通过摄像机标定出来的)(甜。,Vo)对准红球的 球心坐标,调整时设置图像横轴和纵轴像素误差之和为20个像素,因为考虑到机器人每次的最小 偏转角度,所以误差之和不宜过小,否则将无法确定红球的最终偏转角度.方向调节时由NAO机器 第31卷第2期 李鹤喜等:基于单目 体视觉的NAO机器人的目标定位与抓取 25 人自身传感器获得机器人头部的左右偏转角度为 和上下偏转角度为 ,让机器人身体偏转 角 度,头部偏转一 角度,町使NAO机器人整个身体对准红球.为了让NAO机器人走到红球前,须 测出两者之问的距离.这里利用前面立体视觉测得的目标高度和头部偏转角来计算,测距原理如图 9.O为红球距离地而的高度,Ⅳ为NAO机器人摄像机到地面的高度,h(即 )为NAO机器人 摄像机光轴中心距离红球的高度, 为NAO机器人头部摄像机上下的偏转角度,则NAO机器人与 红球的距离d的汁算公式为:d=h×tan(p1.在距离较近时, 采用下面的摄像头来定位红球,在高度h确定的情况下,NAO 机器人准备抓取红球前,调整NAO的头部上下左右旋转的角 度都为0。,并保持不变,拍下目标图像,钡0得红球中心点坐标 为( , ),如图10所示. 图9测距原理图 最后通过设定误差半径的方式确定( 。, )到指定坐标(“!,v:)的误差范围,如图11,r为误差半 径,通过让NAO机器人不断走动来使红球的中心坐标达到允许的误差范围.即( 一/12) + 一v2): ,. . 经试验验证,,|取小于50个像素的时候,可以抓取目标红球. 、\ ) /、 。 a舍Il标的原图像 fb检测的目标中心 v .图1O抓取前目标图片及检测出的中心 图11 目标中心落入的误差圆 5)抓球动作的设计 确定目标红球在误差圆内,通过预先编程设计的机器人视觉伺服程序,完成手臂及手指的动作 控制,通过控制NAO长臂的伸出摆动,短臂的回转下落、手指的抓握等系列动作,完成红球的抓 取操作.图12所示为NAO机器人到达目标区后,目标中心在误差圆内的抓取动作截图. e手指抓球 罄 f小臂抬起 g.大臂摆起h回归原位 图12 NAO机器人抓球动作图 6)目标抓取试验结果 试验的目标红球采用两种高度265 mln和290 mill,距离设定为两个区段:1 000~2 000 mm和 26 五邑大学学报(自然科学版) 2017年 2 000~3 000 1TlIn,然后利用前面讨论的技术由NAO机器人完全自主地在两种高度和不同距离范围 内,分别进行红球的定位与抓取试验50次,试验结果列于表l,其抓取的成功率可达90%以上,一 般在NAO机器人手臂可达的范围,NAO机器人可以完成任意位置的红球目标的抓取. 表1 两种高度不同距离的红球定位与抓取的试验结果 4 结论 通过NAO机器人头部摄像机的横向平动实现的单目立体视觉,可以检测目标特征点在空间的 任何位置,其中的立体匹配采用了FFT频域变换和快速积分求和算法计算互相关系数,和传统的区 域NCC方法比较,更能有效地提高立体匹配的效率,满足机器人视觉的实时性要求.在机器人逼近 目标策略上,使用远近两种视觉控制策略,定位准确性较高,对红球目标试验结果表明,目标抓取 的成功率可以达到90%以上. 参考文献 【1]CLAUD10 G,SPINDLER F,CHAUMETTE F Vision.based manipulation with the humanoid robot Romeo 【C]//IEEE-RAS 16th International Conference on Humanoid Robotics,Cancun,Mexico:IEEE,2016:286.293. [2】TAMURA K,NOZAKI T,KAWAMURA A.Visual servo system for ball dribbling by using bipedal robot ‘ ̄Nao”[C]//41st Annual Conference ofthe IEEE Industrial Electronics Society,【S.1.】:IEEE,2015:3461.3466 [3】MIRANDA S,REIS L P,SOUSA A.Impact of color spectrum reduction in object detection on the RoboCup Standard Platform League[C]//8th Iberian Conference on Information Systems and Technologies(CISTI)【s l】 IEEE,2013:1.6. [4】ZHAO Shuying,WANG Xiaotao,SU Han,et al Target recognition and localization of international standard platform humanoid robot[C]//24th Chinese Control and Decision Conference(CCDC).Taiyuan:Is n】,20 12: 1930 l934 【5]GUAN Jingwei,MENG Q H Study on distance measurement for NAO humanoid robot『C]//IEEE International Conference on Robotics and Biomimetics(ROBIO),[S 1.】:IEEE,2012:283.286 [6]袁丽,田国会,李国栋NAO机器人的视觉伺服物品抓取操作[J】山东大学学报(工学版),201444(3): ,58.62 【7]ZHANG Zhengyou.A flexible new technique for camera calibration[J1.IEEE Trans Pattern analysis and machine intelligence,2000,22(11):l 330-1 334. 【8】VILOA P,JONES M.Robust real—time object detection【J】l International Journal of Computer Vision,2004, 57(2):1 37—1 54. [9】王昕,孙莹莹,杜旭基于YUV颜色空间的图像去雾算法[J】吉林大学学报(信息科学版),2015,33(6): 658.661 【1O]高煜妤,王春芳.基于欧氏距离图的随机Hough变换椭圆检测方法【JJ现代电子技术,201639(2]):61.64 ,【责任编辑:韦 韬】 

因篇幅问题不能全部显示,请点此查看更多更全内容

Top