JournalofMechanical&ElectricalEngineering
机 电 工 程
Vol.36No.6Jun.2019
DOI:10.3969/j.issn.1001-4551.2019.06.011
基于单应性矩阵的线结构光测量
∗
快速标定方法研究
(广东工业大学机电工程学院ꎬ广东广州510006)
摘要:针对线结构光三维测量中的测量系统标定问题ꎬ对相机成像与畸变模型、单应性矩阵模型、线结构光移动扫描等方面进行了研究ꎬ对现有的线结构光测量系统标定方法的特点进行了归纳ꎬ提出了一种基于单应性矩阵的线结构光测量快速标定方法ꎮ利用机械辅助装置ꎬ使标定板和结构光平面平行并且共面ꎬ避免了多次调整位置ꎬ实现了线结构光三维测量系统的快速标定ꎻ利用标定板对扫描过程中单帧时间间隔内线结构光测量模块的位移量进行了计算ꎬ完成了对被测物整体扫描后全局点云的拼接ꎻ利用移动平台对单应性矩阵和测量点云数据的准确性进行了测试ꎮ研究结果表明:该方法能够快速建立线结构光测量系统的测量模型ꎬ标定过程简单、高效ꎬ能够满足有一定精度要求的三维扫描ꎮ关键词:线结构光ꎻ单应性ꎻ三维扫描ꎻ点云中图分类号:TP391ꎻTH74 文献标志码:A
文章编号:1001-4551(2019)06-0613-05
彭谦之ꎬ杨雪荣∗ꎬ成思源ꎬ吕文阁
Fastcalibrationmethodforlinestructurelightmeasurementbasedonhomographymatrix
(SchoolofMechatronicsEngineeringꎬGuangdongUniversityofTechnologyꎬGuangzhou510006ꎬChina)
Abstract:Aimingatthecalibrationproblemofmeasuringsysteminthree ̄dimensionalmeasurementoflinestructuredlightꎬthecameraima ̄gingmodelꎬdistortionmodelꎬhomographymatrixmodelandlinestructuredlightmovingscanningwereresearchedꎬthecharacteristicsofthelightmeasurementbasedonhomographymatrixwasproposed.Themechanicalauxiliarydevicewasusedtomakethecalibrationplateandthestructurallightplaneparallelandcoplanarꎬavoidingmultiplepositionadjustmentꎬandrealizingrapidcalibrationofthelinestructurelightthree ̄dimensionalmeasurementsystem.Inadditionꎬthecalibrationplatewasusedtocalculatethedisplacementofthelinestructurelightmeasurementmoduleinthesingleframetimeintervalduringthescanningprocessꎬandthesplicingoftheglobalpointcloudaftertheoverallmeasurementpointclouddata.Theresearchresultsindicatethatthemethodcanquicklyestablishthemeasurementmodelofthelinestruc ̄turelightmeasurementsystem.Thecalibrationprocessissimpleandefficientꎬandmeetsacertainprecisionofthe3Dscanning.Keywords:linestructuredlightꎻhomographyꎻ3Dscanningꎻpointcloud
scanningoftheobjectwascompleted.Inthetestꎬthemobileplatformwasusedfortestingtheaccuracyofthehomographymatrixandtheexistinglinestructurelightmeasurementsystemcalibrationmethodsweresummarizedꎬandthefastcalibrationmethodforlinearstructured
PENGQian ̄zhiꎬYANGXue ̄rongꎬCHENGSi ̄yuanꎬLVWen ̄ge
收稿日期:2018-12-18
基金项目:广东省科技计划项目(2013B061000007)ꎻ广东省研究生教育创新计划项目(2015SFKC23)ꎻ广州市高校创新创业教育项目(20170422)作者简介:彭谦之(1994-)ꎬ男ꎬ湖南岳阳人ꎬ硕士研究生ꎬ主要从事机器视觉测量方面的研究ꎮE ̄mail:1250612412@qq.com通信联系人:杨雪荣ꎬ女ꎬ副教授ꎬ硕士生导师ꎮE ̄mail:8395762@qq.com
614机 电 工 程第36卷
0 引 言
快、抗干扰能力强等特点ꎬ在高速在线检测[1]、视觉引导[2]、逆向工程[3]等领域有着广泛的应用ꎮ
线结构光测量系统标定主要分为相机内部参数标线结构光视觉测量具有柔性好ꎬ测量精度高、速度
1.1 相机参数标定
相机成像是将三维空间物理点映射到二维空间像
素点的过程ꎬ如图2所示ꎮ
(XWꎬYWꎬZW)(YCꎬYCꎬZC) (XꎬY)
世界刚体变化摄像机透射变化图像单位转化像素
→→→
坐标坐标坐标坐标
图2
相机成像流程
(UꎬV)
定和结构光投射器参数标定ꎬ目前建立合理的视觉测量模型主要包括基于简单三角法和应用透视投影变换理论建立的测量模型[4]ꎮ基于简单三角法ꎬ利用相机和激成像流程涉及4个坐标系:世界坐标系、相机坐标系、图像平面坐标系、像素坐标系以及4个坐标系之间光投射器的空间几何位置关系建立了光平面的几何方程ꎬ结合相机成像模型ꎬ建立了二维像素点与三维物理点的映射关系ꎮ这种方法需要准确的相机和激光投射器的位置关系ꎬ操作难度大ꎬ在实际应用中可行性不高ꎮ透视投影理论模型是以相机内参、结构光平面方程为基础的检测模型ꎬ其建立的是结构光平面和相机成像平面的透视投影映射关系ꎬ在实际应用中的适用性更广ꎮ
在透视投影理论模型中ꎬ如何获取光平面上的标定点是建立模型的重点ꎬ众多学者对其进行了广泛的研究ꎬ其中经典的有拉丝标定法[5]的标定法[6]、锯齿靶标定法[7]、基于交比不变性调整辅助装置的位置ꎬ标定过程较为复杂ꎮ这3种方法需要多次ꎮ吴福理等人
[8]
提出了基于单应性矩阵的标定方法ꎬ利用2块相
互平行且与线结构光投射方向垂直的平板ꎬ在空间中获取所需的4个控制点ꎬ直接计算了光平面在图像像素坐标系与世界物理坐标系之间的映射关系ꎬ该方法需要多次调整平板位置并且得到的控制点较少ꎬ控制点的坐标偏差对单应性矩阵的准确性产生较大影响ꎻ贾华宇、崔海华等人[9]提出了通过双目视差原理获取激光条纹的三维空间坐标ꎬ计算三维坐标到像素坐标的单应性矩阵的标定方法ꎬ该方法需要两个相机配合使用ꎬ成本较高ꎬ且两个相机成像中光条纹中心像素点的匹配对三维坐标的精度影响较大ꎮ
本文将提出一种改进的基于单应性矩阵的线结构光测量标定方法ꎮ
1 线结构光测量模型的建立
基于单应性矩阵的结构光测量模型是设定结构光平面上Z=0ꎬ直接建立了二维像素坐标(uꎬv)与光平面上二维物理坐标(XꎬY)唯一的对应关系ꎮ
建立模型流程如图1所示ꎮ
标定相机参数和畸变系数
→畸变校正→
计算单应像素坐标映射性矩阵
→
到物理坐标
图1
建立模型流程
的转换ꎮ坐标系之间的转换关系实质就是需要标定得出的相机的内外参数ꎮ
理想的相机成像模型可用小孔成像模型来描述ꎬ但成像过程中ꎬ由于透镜的外形制造工艺和透镜安装与成像平面不平行ꎬ会导致相机成像出现径向畸变和切向畸变ꎮ
对于径向畸变和切向畸变可以用多项式函数来近似描述畸变前后的坐标变化ꎬ即:
xcor=x(1+kk1r2+k2r4+k3r6)+2p1xy+p+2y2(2)r2+2x2y+2p)
cor=y(1+1r2+k2r4+k3r6)+p1(r2(1)
2xy式中:k校正前的坐标1ꎬk2ꎬk3ꎬꎻpx1ꎬp2—畸变系数ꎻr—透镜半径ꎻxꎬy—目前ꎬ相机内外参和畸变系数的标定方法主要有直
corꎬycor—校正后的坐标ꎮ
接线性法(DLT)、两步标定法[10]采用张氏标定法对相机内外参数和畸变系数进行标定、张氏标定法[11]ꎮ本文ꎮ1.2
单应性矩阵模型的建立
单应性变换可以理解为一个平面到另一个平面的映射关系ꎬ线结构光测量系统单应性矩阵的计算需要已知结构光平面上的物理坐标点和对应的像素坐标点ꎮ
为了实现快速标定ꎬ本文自制了辅助标定仪ꎬ利用辅助标定仪使结构光平面和棋盘格平面平行且共面ꎬ如图3所示ꎮ
图3
辅助标定仪
第6期彭谦之ꎬ等:基于单应性矩阵的线结构光测量快速标定方法研究
615
辅助标定仪的使用方法是:
开始粗调调节辅助标定仪上的调节器ꎬ使得线结构光发射器投射出来的光平面能从辅助标定仪的挡板上面的透光缝隙中穿过ꎻ之后再细调辅助标定仪上的调节器ꎬ使得线结构光投射器投射出来的激光平面和辅助标定仪上的棋盘格平行且共面(平行且共面判断标志是棋盘格上被激光均匀覆盖ꎬ并且在棋盘格下方挡板上ꎬ有一条水平均匀的细激光条纹)ꎻ棋盘格平面上的内角点可以近似为结构光平面上的点ꎬ从而结构光平面到像素平面的单应性矩阵计算可近似为棋盘格平面到像阵元素的2个约束方程ꎬ为了计算单应矩阵的唯一解ꎬ至少需要共面的4对匹配点提供8个约束方程ꎮ对于4对匹配点可以采用直接线性变换(DLT)方法计算单应矩阵ꎬ计算多对二维点之间的单应性矩阵ꎬ可以采用最小均方误差或者随机抽样一致性算法(RANSAC)优化计算ꎮ
实际应用中ꎬ匹配点难免会出现像素偏差ꎬ如果仅用4个点来计算单应性矩阵ꎬ会对结果造成较大偏差ꎬ采用更多的匹配点来对单应性矩阵进行优化计算ꎬ有利于降低某个匹配点像素误差对计算结果造成的影响ꎬ从而使单应性矩阵的计算结果更加准确ꎮ
素平面的单应性矩阵计算ꎮ
定义棋盘格平面位于结构光测量系统中模块坐标系ZL=0的平面ꎬ单应性矩阵即描述了棋盘格平面到像素平面之间的映射关系ꎬ其数学模型为:
éêuγcxr12rtxùéXL
êêvùúséê
fxùêrr13túêùêyúë1úú=û
êcúéêr11
yúêYúLúë00
fy0
1úêêr21
úûër31
r2232
r2333
túzûêêë0=X1úúû
LsK[r réêùúéêXLùú
12 t]êêYLú=HêYLë1úûêú
ë1úû
(2)
式中:uꎬv—像素坐标ꎬPixelꎻs—尺度因子Xꎻfγ—相机内参ꎻrꎬrxꎬfyꎬCxꎬCyꎬ12ꎬt—相机外参向量ꎻLꎬYLꎬZL坐标系中的坐标(棋盘格平面位于模块坐标系中—Z模块L=0的平面)ꎬmꎻK—相机内参矩阵ꎻH—单应性矩阵ꎮ1.3
单应性矩阵的计算
由式(2)可知单应矩阵H为3×3的矩阵ꎬ即:
éêuXLùéhvùúéêúêh1
hêêú=HêYLú=êh3ùúéêXLùYúë1úûêë1úû
êhh2ëh46úêLú7
h58
h9úûêë式中:h1úû
(3)
1~h由于式(3)9—使用的是齐次坐标单应性矩阵H的9ꎬ个未知变量则进行任意尺度
ꎮ
的缩放ꎬ也就是H矩阵乘以任意非零常数s并不会改变结果ꎬ如下式所示:ìïu=hh1XXL
+h2YL+7L+h+hh3ìïsh+ïí8YL9
ï
u=sh1XL
+sh2YL7XL+sh+shsh3ïïîv=hh4XXL+h5YL++h8YLh6⇒íïïshX+7L+h8YL
9îv=sh4L
+sh5YL
7XL+sh8YL+sh9
sh6(4)
9
由式(3ꎬ4)可知:
单应性矩阵有9个自由变量和一个尺度不确定性
约束ꎬ所以实际上1个单应矩阵只有8个自由度[12]对匹配点的像素坐标和物理坐标可以提供关于单应矩
ꎮ一本文建立模块坐标系ZL=0平面为棋盘格平面ꎬ按
照棋盘格单元大小得到内角点的物理坐标(XL棋盘格图像的内角点像素坐标进行提取得到亚像素坐标ꎬYLꎬ0)ꎬ对(此uꎬꎬ可以用v)ꎮ本文所使用的棋盘格标定板存在多对匹配点RANSAC算法对单应性矩阵进行优化计算ꎬꎮ
因由式(2)可知:单应性矩阵仅涉及相机的内外参数ꎬ并没有涉及相机成像过程中的非线性畸变ꎬ因此ꎬ先利用相机标定得到的相机畸变系数对内角点像素坐标(uꎬv)进行畸变校正ꎬ之后再进行单应性矩阵的计算ꎮ
2
整体扫描和全局点云的拼接
2.1
扫描过程单帧间隔位移量的计算
如需得到被测物整体表面数据ꎬ还要外部驱动装
置作为载体来对被测物进行扫描ꎮ扫描方式主要分为相机和线激光传感器相对位置固定ꎬ相对被测物做移动或者旋转运动两种ꎬ本文主要针对移动扫描方式ꎮ
移动扫描如图4所示ꎮ
图4
移动扫描
在结构光平面平行的某一平面放置棋盘格ꎬ定义世界坐标系原点为棋盘格原点ꎬ世界坐标系Zw=0平面为棋盘格平面ꎮ相机和线结构光投射器组成线结构光测量模块ꎬ定义模块坐标系ZL=0平面为结构光平面ꎮ线结构光测量模块匀速向上移动ꎬ移动过程中ꎬ世界坐标系位置固定ꎬ模块坐标系位置不断发生改变ꎮ
单应性矩阵的计算建立了线结构光测量模块中结
616机 电 工 程第36卷
构光平面和像素平面的映射关系ꎬ可以将单帧图像光条纹中心像素坐标(uꎬv)转换为模块坐标系上的物理坐标(XLꎬYLꎬ0)ꎮ
但扫描过程中ꎬ每帧线结构光测量模块的位置都
式中:XoffsetꎬYoffsetꎬZoffset—单帧时间间隔内模块坐标系的位移量ꎮ2.2
点云的拼接
计算出单帧时间间隔内线结构光测量模块的位移量后ꎬ对被测物体进行整体扫描ꎬ提取每帧图像中的光条纹中心像素ꎮ对光条纹中心像素坐标进行计算ꎬ最终得到每帧扫描图像在世界坐标系下的测量坐标ꎬ即:
XL_iùuiùééêúêú-1
êYL_iú=Hêviúêêë0úûë0úû
(7)
在发生改变ꎬ因此ꎬ需要计算单帧时间间隔内线结构光测量模块相对于世界坐标系的位移量ꎬ最终将模块坐标系上的计算坐标转换到世界坐标系上ꎮ又因为相机坐标系和模块坐标系相对位置固定ꎬ在世界坐标系中相机坐标系位移量模块坐标系位移量相同ꎮ相机边匀速移动边采集在世界坐标系上的棋盘格图像ꎬ共采集N帧图像ꎬ利用张氏标定法对第1帧和第N帧棋盘格图像分别标定外参ꎬ记为Hcal2camer_1和Hcal2camer_nꎮ
对相机坐标系的的原点坐标进行计算ꎬ得到在第
1帧和第N帧位置时相机坐标系原点在世界坐标系中的位置ꎬ即:
Xw_iù0ù0ùéééêúêúêú-1
êYw_iú=Hcamer2word_iê0ú=Hcal2camer_iê0ú
êúêúêúë0ûë0ûëZw_iû
(5)
式中:uiꎬvi—第i帧光条纹中心像素坐标ꎬPixelꎻXL_iꎬYL_i—模块坐标系上的物理坐标ꎬmꎻH-1—单应性矩阵的逆矩阵ꎻXw_iꎬYw_iꎬZw_i—世界坐标系下的物理坐标ꎬmꎮ
若定义的世界坐标系ZL=0面和结构光平面不平行ꎬ还需利用棋盘格计算两个坐标系的转换矩阵ꎬ将模块坐标系上的测量坐标转换到世界坐标系上之后再进行计算ꎮ
éXw_iù
êúêYw_iú=êúëZw_iû
éXL_iùéXoffsetùêúêú
+(i-1)∗êYL_iúêYoffsetúêúêúë0ûëZoffsetû
(8)
式中:Hcamer2word_i—第i帧位置时相机坐标系到世界坐标系的转换矩阵ꎻHcal2camer_i—第i帧位置时相机外参矩阵ꎬ即从世界坐标系上的棋盘格坐标系到相机坐标系的转换矩阵ꎻXw_iꎬYw_iꎬZw_i—第i帧时相机坐标系原点在世界坐标系的坐标ꎮ位移量ꎬ即:Xoffsetùéêú
êYoffsetú=êëZoffsetúû
[X
w_n
计算扫描时单帧时间间隔内线结构光测量模块的
Yw_n Zw_n]T-[Xw_1 Yw_1 Zw_1]T
N-1
(6)
3 实验及结果分析
该实验采用西安思拓ST-01线激光器、映美精工业相机、焦距6mm的镜头和移动平台ꎬ用计算得出的单应性矩阵H对49个像素坐标点进行反透视投影ꎬ反透视投影误差如表1所示ꎮ
表1 反透视投影误差
理论X坐标/m
-0.024 -0.0160.0-0.008
计算X坐标/m-0.0240505-0.0160051
-0.00799462.011×10-5
X坐标误差/m-5.054×10-5 5.326×10-6 2.011×10-5-7.626×10-6
-5.102×10-6
理论Y坐标/m
-0.024-0.024-0.024-0.024-0.024
计算Y坐标/m-0.0240443-0.0240161-0.02398
-0.0239998-0.0239582
Y坐标误差/m-4.426×10-5 1.599×10-7 1.997×10-5 4.183×10-52.82526×10-5
-1.609×10-5
0.008 0.00799237
X坐标平均误差/m3.48947×10-5Y坐标平均误差/m
从表1可以看出:
均误差在0.035mm左右ꎬY坐标平均误差0.028mm左右ꎮ
为了检验本文基于单应性矩阵对三维点云数据获
49个像素点反透射投影成物理坐标点的X坐标平
取的可行性ꎬ笔者选取瓶子为待测量模型ꎬ将线激光投射到瓶子表面ꎬ对瓶子进行整体扫描ꎬ利用计算好的单应性矩阵和单帧时间间隔内线结构光测量模块的移动量对瓶子全局点云数据拼接ꎮ
扫描过程和结果点云如图5所示ꎮ
第6期彭谦之ꎬ等:基于单应性矩阵的线结构光测量快速标定方法研究
617
造熔积层三维测量[J].工具技术ꎬ2018ꎬ52(4):123 ̄127.[2] 金振扬ꎬ孟正大.基于线结构光视觉传感的焊缝跟踪系统
研究[J].工业控制计算机ꎬ2008(4):63 ̄65.
[3] 赵从容.以线结构光视觉测量为基础的逆向工程技术探
索[J].现代制造技术与装备ꎬ2017(11):69 ̄70ꎬ73.[4] 张广军ꎬ魏振忠ꎬ孙志武ꎬ等.基于BP神经网络的结构光
三维视觉检测方法研究[J].仪器仪表学报ꎬ2002ꎬ23(1):31 ̄35.
图5 扫描过程和结果点云
[5] DEWARR.Self ̄generatedtargetsforspatialcalibrationof
externalcoordinatesystem[C].Proc.RobotsandVision788ConfꎬDetroit:IEEEꎬ1988.
观察图5可以看出:
扫描瓶子得到的点云数据效果良好ꎬ数据完整且无明显失真ꎬ可较为准确地反映瓶子的部分表面模型ꎮ
structuredlightopticalsectioningsensorswithrespecttoan
4 结束语
本文提出了一种改进的基于单应性矩阵的线结构光测量标定方法ꎬ利用自制的辅助标定装置使得结构光平面和棋盘格标定板平面平行共面ꎬ使结构光平面到像素平面的单应性矩阵的计算近似成棋盘格标定板到像素平面的单应性矩阵的计算ꎬ简化了线结构光测量系统的标定流程ꎬ并且在棋盘格平面上可以得到较多的对应匹配点ꎬ降低了单个匹配点的像素偏差对计算结果的影响ꎬ有利于提高单应性矩阵的准确性ꎮ
笔者对被测物体进行整体扫描时ꎬ建立了世界坐标系和测量模块坐标系ꎬ利用棋盘格对单帧时间间隔内模块坐标系的移动量进行了计算ꎬ最后完成了全局点云的拼接ꎮ
经过实验验证ꎬ单应性矩阵和点云数据准确性良好ꎬ满足一定精度要求的线结构光三维扫描ꎮ参考文献(References):
[1] 李友浩ꎬ张海鸥ꎬ张 弓ꎬ等.基于线结构光的电弧增材制
[6] HUYNHDQ.Calibrationastructuredlightstripesystem:
anovelapproach[J].InternationalJournalofComputerVisionꎬ1999ꎬ33(1):73 ̄86.
[7] 段发阶ꎬ刘凤梅ꎬ叶声华.一种新型线结构光传感器结构
参数标定方法[J].仪器仪表学报ꎬ2000ꎬ21(1):108 ̄110.获取方法[J].浙江工业大学学报ꎬ2018ꎬ46(5):522 ̄527.[8] 吴福理ꎬ吴嘉盛ꎬ丁维龙.基于线结构光和单应性的点云[9] 贾华宇ꎬ崔海华ꎬ程筱胜ꎬ等.基于单应性矩阵的线结构光
150ꎬ154.
传感器标定方法[J].传感器与微系统ꎬ2018ꎬ37(9):148 ̄
[10] TSAIRY.Aversatilecameracalibrationtechniquefor
shelfTVcamerasandlenses[J].IEEEJournalonRobot ̄ics&Automationꎬ2003ꎬ3(4):323 ̄344.
high ̄accuracy3Dmachinevisionmetrologyusingoff ̄the ̄
[11] ZHANGZ.Aflexiblenewtechniqueforcameracalibration
[J].IEEETranscationsonPatlernAnalysisanMa ̄chineIntelligenceꎬ2000ꎬ22(1):1330 ̄1334.VisionIꎬ2007(CSE252A):1 ̄3.
[12] KRIEGMAND.Homographyestimation[J].Computer
[编辑:李 辉]
本文引用格式:
彭谦之ꎬ杨雪荣ꎬ成思源ꎬ等.基于单应性矩阵的线结构光测量快速标定方法研究[J].机电工程ꎬ2019ꎬ36(6):613-617.
PENGQian ̄zhiꎬYANGXue ̄rongꎬCHENGSi ̄yuanꎬetal.Fastcalibrationmethodforlinestructurelightmeasurementbasedonhomographymatrix[J].JournalofMechanical&ElectricalEngineeringꎬ2019ꎬ36(6):613-617.
«机电工程»杂志:http://www.meem.com.cn
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- dfix.cn 版权所有 湘ICP备2024080961号-1
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务