一种基于双目结构光的黑色表面物体深度图像测量方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112729246 A(43)申请公布日 2021.04.30

(21)申请号 202011422503.X(22)申请日 2020.12.08

(71)申请人 广东省科学院智能制造研究所

地址 510070 广东省广州市先烈中路100号

大院15号楼(72)发明人 徐晨　刘伟鑫　周松斌　(74)专利代理机构 广州容大知识产权代理事务

所(普通合伙) 44326

代理人 刘新年(51)Int.Cl.

G01C 11/02(2006.01)G01C 11/30(2006.01)

权利要求书4页 说明书12页 附图6页

CN 112729246 A()发明名称

一种基于双目结构光的黑色表面物体深度图像测量方法(57)摘要

本发明是关于一种基于双目结构光的黑色表面物体深度图像测量方法。该方案包括将黑色表面物体图像获取设备和黑色表面物体调整至

将所述黑色表面物体图像获取设备和初始状态；

所述黑色表面物体从所述初始状态调整至曝光状态；进行拍摄，获得彩色图像；根据所述彩色图片获取黑色物体的灰度均值和标准差，并利用深度融合方法和多张深度图像融合算法获得第一深度图像和第二深度图像；通过图像融合算法获得黑色表面物体目标深度图像。该方案通过多目结构光的多次曝光、光圈和功率调整，并利用多图数据融合克服了目前3D测量技术无法准确测量黑色表面物体尺寸、测量容易丢失点云数据问题，具有操作简单、效率高、通用性强的优点。

CN 112729246 A

权　利　要　求　书

1/4页

1.一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，包括：将黑色表面物体图像获取设备和黑色表面物体调整至初始状态，其中，所述黑色表面物体图像获取设备包括第一彩色相机、第二彩色相机、红外投影装置、红外相机、底座平台；

将所述黑色表面物体图像获取设备和所述黑色表面物体从所述初始状态调整至曝光状态；

通过处于所述曝光状态的所述黑色表面物体图像获取设备和所述黑色表面物体进行拍摄，获得彩色图像；

根据所述彩色图片获取黑色物体的灰度均值和标准差；根据所述黑色物体的灰度均值和标准差，利用第一深度融合方法和多张深度图像融合算法获得第一深度图像；

根据所述黑色物体的灰度均值和标准差，利用第二深度融合方法和多张深度图像融合算法获得第二深度图像；

通过图像融合算法将所述第一深度图像和所述第二深度图像融合获得黑色表面物体目标深度图像。

2.根据权利要求1所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述将黑色表面物体图像获取设备和黑色表面物体调整至初始状态，具体包括：

将所述红外投影装置、所述第一彩色相机、所述第二彩色相机和所述红外相机都安装在所述底座平台上，其中，所述红外投影装置的功率可变，所述第一彩色相机、所述第二彩色相机和所述红外相机均为配置有电动光圈的镜头；

将所述红外投影装置安装在所述底座平台的中间位置；将所述红外相机装在所述红外投影装置的旁边位置；

将所述第一彩色相机和所述第二彩色相机安装在所述底座平台两侧；其中，所述配置有电动光圈的镜头具体为利用微电机控制镜头光圈大小调节。

3.根据权利要求1所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述将所述黑色表面物体图像获取设备和所述黑色表面物体从所述初始状态调整至曝光状态，具体包括：

将所述第一彩色相机、所述第二彩色相机和所述红外相机的曝光时间设置为最大值曝光时间的一半；

将所述第一彩色相机、所述第二彩色相机和所述红外相机的电动光圈设置为最大电动光圈的一半。

4.根据权利要求1所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述根据所述彩色图片获取黑色物体的灰度均值和标准差，具体包括：

将所述彩色图片转换为灰度图；

采用canny算子提取所述灰度图的图像边缘；根据所述图像边缘计算边缘周长信息，并筛选出黑色表面物体边缘轮廓；

利用在所述黑色物体边缘轮廓内的所述灰度图计算所述黑色物体的灰度均值和标准差。

5.根据权利要求1所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述根据所述黑色物体的灰度均值和标准差，利用第一深度融合方法和多张深

2

CN 112729246 A

权　利　要　求　书

2/4页

度图像融合算法获得第一深度图像，具体包括：

根据所述黑色物体的灰度均值和标准差利用第一曝光时间、电动光圈和发射功率调整规则，调节所述红外相机的曝光时间和电动光圈，并调节所述红外投影装置的发射功率；

当每一次曝光时间、电动光圈和发射功率调节完成后，利用所述红外相机拍摄所述红外投影装置投射在所述黑色表面物体上的第一结构光图案；

利用所述第一结构光图案，根据所述第一彩色相机、所述第二彩色相机和所述红外相机的相机标定参数进行结构光图案解码，计算获得若干张第一黑色表面物体深度图像；

利用所述多张深度图融合算法将所有的所述第一黑色表面物体深度图像融合，获得所述第一深度图像。

6.根据权利要求5所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述第一曝光时间、电动光圈和发射功率调整规则包括：

利用第一计算公式调整曝光时间；利用第二计算公式调整电动光圈；利用第三计算公式调整发射功率；所述第一计算公式为：

其中，expi为调节后的曝光时间，i代表调节次数，mean为所述黑色物体的灰度均值，std为所述黑色物体的标准差，expmax为所述红外相机的最大曝光时间；

所述第二计算公式为：

其中，Fi为调节后的电动光圈，i代表调节次数，mean为所述黑色物体的灰度均值，std为所述黑色物体的标准差，Fmax为所述红外相机的电动光圈；

所述第三计算公式为：

3

CN 112729246 A

权　利　要　求　书

3/4页

其中，TXi为调节后的发射功率，i代表调节次数，mean为所述黑色物体的灰度均值，std

TXmax为所述红外投影装置的最大发射功率。为所述黑色物体的标准差，

7.根据权利要求1所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述根据所述黑色物体的灰度均值和标准差，利用第二深度融合方法和多张深度图像融合算法获得第二深度图像，具体包括：

根据所述黑色物体的灰度均值和标准差利用第二曝光时间、电动光圈和发射功率调整规则，调节所述红外相机的曝光时间和电动光圈，并调节所述红外投影装置的发射功率；

当每一次曝光时间、电动光圈和发射功率调节完成后，利用所述红外相机拍摄所述红外投影装置投射在所述黑色表面物体上的第二结构光图案；

利用所述第二结构光图案，根据所述第一彩色相机、所述第二彩色相机和所述红外相机的相机标定参数进行结构光图案解码，计算获得若干张黑色表面物体深度图像；

利用所述多张深度图融合算法将所有的所述第二黑色表面物体深度图像融合，获得所述第二深度图像。

8.根据权利要求7所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述第二曝光时间和电动光圈调整规则包括：

利用第四计算公式调整曝光时间；利用第五计算公式调整电动光圈；所述第四计算公式为：

其中，expi为调节后的曝光时间，i代表调节次数，mean为所述黑色物体的灰度均值，std为所述黑色物体的标准差，expmax为所述红外相机的最大曝光时间；

所述第五计算公式为：

4

CN 112729246 A

权　利　要　求　书

4/4页

其中，Fi为调节后的电动光圈，i代表调节次数，mean为所述黑色物体的灰度均值，std为

Fmax为所述红外相机的电动光圈。所述黑色物体的标准差，

9.根据权利要求1所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述多张深度图像融合算法具体为利用第六计算公式获得新图片，所述第六计算公式为：

其中，Im g为融合后的深度图像，Im gi为第i张深度图像，i代表调节次数。

10.根据权利要求1所述的一种基于双目结构光的黑色表面物体深度图像测量方法，其特征在于，所述图像融合算法具体为利用第七计算公式获得新图片，所述第七计算公式为：

其中，Mix为所述黑色表面物体目标深度图像，Mix1为所述第一深度图像，Mix2为所述第二深度图像，std为所述黑色物体的标准差。

5

CN 112729246 A

说　明　书

1/12页

一种基于双目结构光的黑色表面物体深度图像测量方法

技术领域

[0001]本发明涉及3D结构光测量技术领域，尤其涉及一种基于双目结构光的黑色表面物体深度图像测量方法。

背景技术

[0002]快速发展的计算机视觉技术日益影响甚至是改变着人们的生活，并广泛应用于工业与制造业领域。三维视觉成像与检测作为计算机视觉领域中重要的分支，因为其效率高、精度高以及能满足自动化生产线的各种应用要求，在近年来已经被在多领域内应用。3D结

其原理采用投影装置对被测物投射具有构光测量技术作为三维视觉技术的一个重要分支，

编码信息的结构光图案，相机记录下结构光图案信息进行解码，还原物体三维信息。3D结构光测量技术具有较高精度、非接触、检测速度快、操作简单等优点，在工业场景中正应用得越来越广泛。[0003]但是，现有的3D结构光测量技术在对于黑色物体成像时容易因为黑色吸收光线、反射率低的问题，造成无法准确测量黑色表面物体尺寸，可能会在最终测量时产生测量数据丢失、进而出现测量盲区的情况。发明内容

[0004]为克服相关技术中存在的问题，本发明提供一种基于双目结构光的黑色表面物体深度图像测量方法，从而解决黑色吸收光线、可能会在测量时产生测量数据丢失进而出现测量盲区的缺陷。

[0005]根据本发明实施例，提供一种基于双目结构光的黑色表面物体深度图像测量方法。该方法包括：

[0006]将黑色表面物体图像获取设备和黑色表面物体调整至初始状态，其中，所述黑色表面物体图像获取设备包括第一彩色相机、第二彩色相机、红外投影装置、红外相机、底座平台；

[0007]将所述黑色表面物体图像获取设备和所述黑色表面物体从所述初始状态调整至曝光状态；

[0008]通过处于所述曝光状态的所述黑色表面物体图像获取设备和所述黑色表面物体进行拍摄，获得彩色图像；

[0009]根据所述彩色图片获取黑色物体的灰度均值和标准差；[0010]根据所述黑色物体的灰度均值和标准差，利用第一深度融合方法和多张深度图像融合算法获得第一深度图像；

[0011]根据所述黑色物体的灰度均值和标准差，利用第二深度融合方法和多张深度图像融合算法获得第二深度图像；

[0012]通过图像融合算法将所述第一深度图像和所述第二深度图像融合获得黑色表面物体目标深度图像。

6

CN 112729246 A[0013]

说　明　书

2/12页

在一个或多个实施例中，优选地，所述将黑色表面物体图像获取设备和黑色表面

物体调整至初始状态，具体包括：[0014]将所述红外投影装置、所述第一彩色相机、所述第二彩色相机和所述红外相机都安装在所述底座平台上，其中，所述红外投影装置的功率可变，所述第一彩色相机、所述第二彩色相机和所述红外相机均为配置有电动光圈的镜头；

[0015]将所述红外投影装置安装在所述底座平台的中间位置；[0016]将所述红外相机装在所述红外投影装置的旁边位置；

[0017]将所述第一彩色相机和所述第二彩色相机安装在所述底座平台两侧；[0018]其中，所述配置有电动光圈的镜头具体为利用微电机控制镜头光圈大小调节。[0019]在一个或多个实施例中，优选地，所述将所述黑色表面物体图像获取设备和所述黑色表面物体从所述初始状态调整至曝光状态，具体包括：[0020]将所述第一彩色相机、所述第二彩色相机和所述红外相机的曝光时间设置为最大值曝光时间的一半；

[0021]将所述第一彩色相机、所述第二彩色相机和所述红外相机的电动光圈设置为最大电动光圈的一半。

[0022]在一个或多个实施例中，优选地，所述根据所述彩色图片获取黑色物体的灰度均值和标准差，具体包括：

[0023]将所述彩色图片转换为灰度图；

[0024]采用canny算子提取所述灰度图的图像边缘；[0025]根据所述图像边缘计算边缘周长信息，并筛选出黑色表面物体边缘轮廓；[0026]利用在所述黑色物体边缘轮廓内的所述灰度图计算所述黑色物体的灰度均值和标准差。

[0027]在一个或多个实施例中，优选地，所述根据所述黑色物体的灰度均值和标准差，利用第一深度融合方法和多张深度图像融合算法获得第一深度图像，具体包括：[0028]根据所述黑色物体的灰度均值和标准差利用第一曝光时间、电动光圈和发射功率调整规则，调节所述红外相机的曝光时间和电动光圈，并调节所述红外投影装置的发射功率；

[0029]当每一次曝光时间、电动光圈和发射功率调节完成后，利用所述红外相机拍摄所述红外投影装置投射在所述黑色表面物体上的第一结构光图案；[0030]利用所述第一结构光图案，根据所述第一彩色相机、所述第二彩色相机和所述红外相机的相机标定参数进行结构光图案解码，计算获得若干张第一黑色表面物体深度图像；[0031]利用所述多张深度图融合算法将所有的所述第一黑色表面物体深度图像融合，获得所述第一深度图像。

[0032]在一个或多个实施例中，优选地，所述第一曝光时间、电动光圈和发射功率调整规则包括：[0033]利用第一计算公式调整曝光时间；[0034]利用第二计算公式调整电动光圈；[0035]利用第三计算公式调整发射功率；

7

CN 112729246 A[0036]

说　明　书

3/12页

所述第一计算公式为：

[0037]

[0038]

其中，expi为调节后的曝光时间，i代表调节次数，mean为所述黑色物体的灰度均

值，std为所述黑色物体的标准差，expmax为所述红外相机的最大曝光时间；[0039]所述第二计算公式为：

[0040]

其中，Fi为调节后的电动光圈，i代表调节次数，mean为所述黑色物体的灰度均值，

std为所述黑色物体的标准差，Fmax为所述红外相机的电动光圈；[0042]所述第三计算公式为：

[0041]

[0043]

[0044]

其中，TXi为调节后的发射功率，i代表调节次数，mean为所述黑色物体的灰度均

值，std为所述黑色物体的标准差，TXmax为所述红外投影装置的最大发射功率。[0045]在一个或多个实施例中，优选地，所述根据所述黑色物体的灰度均值和标准差，利用第二深度融合方法和多张深度图像融合算法获得第二深度图像，具体包括：[0046]根据所述黑色物体的灰度均值和标准差利用第二曝光时间、电动光圈和发射功率调整规则，调节所述红外相机的曝光时间和电动光圈，并调节所述红外投影装置的发射功

8

CN 112729246 A

说　明　书

4/12页

率；

[0047]

当每一次曝光时间、电动光圈和发射功率调节完成后，利用所述红外相机拍摄所

述红外投影装置投射在所述黑色表面物体上的第二结构光图案；[0048]利用所述第二结构光图案，根据所述第一彩色相机、所述第二彩色相机和所述红外相机的相机标定参数进行结构光图案解码，计算获得若干张黑色表面物体深度图像；[0049]利用所述多张深度图融合算法将所有的所述第二黑色表面物体深度图像融合，获得所述第二深度图像。

[0050]在一个或多个实施例中，优选地，所述第二曝光时间和电动光圈调整规则包括：[0051]利用第四计算公式调整曝光时间；[0052]利用第五计算公式调整电动光圈；[0053]所述第四计算公式为：

[00]

[0055]

其中，expi为调节后的曝光时间，i代表调节次数，mean为所述黑色物体的灰度均

值，std为所述黑色物体的标准差，expmax为所述红外相机的最大曝光时间；[0056]所述第五计算公式为：

[0057]

其中，Fi为调节后的电动光圈，i代表调节次数，mean为所述黑色物体的灰度均值，

std为所述黑色物体的标准差，Fmax为所述红外相机的电动光圈。[0059]在一个或多个实施例中，优选地，所述多张深度图像融合算法具体为利用第六计算公式获得新图片，所述第六计算公式为：

[0060][0061]

[0058]

其中，Im g为融合后的深度图像，Im gi为第i张深度图像，i代表调节次数。

9

CN 112729246 A[0062]

说　明　书

5/12页

在一个或多个实施例中，优选地，所述图像融合算法具体为利用第七计算公式获

得新图片，所述第七计算公式为：

[0063]

其中，Mix为所述黑色表面物体目标深度图像，Mix1为所述第一深度图像，Mix2为所述第二深度图像，std为所述黑色物体的标准差。

[0065]本发明的实施例提供的技术方案可以包括以下有益效果：[0066]1、本方案通过双目结构的彩色相机进行拍摄，并通过多重的曝光时间、电动光圈和发射功率获得多个图像，进而通过图像深度处理获得深度图像，克服了目前3D结构光无法准确测量黑色表面物体尺寸信息的缺点，实现对黑色表面物体的清晰、准确测量。[0067]2、本方案中仅使用2台彩色相机和1台红外相机进行图像获取，通过预设的规则进行相机调整和图片深度融合，可实现为多各类黑色表面物体通用获取方式，且由于重复性运算少、运算量较小，利用此方案进行工件深度图像获取经济、可靠的特点。[0068]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能本公开。

附图说明

[0069]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0070]图1是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法的流程图。

[0071]图2是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的将黑色表面物体图像获取设备和黑色表面物体调整至初始状态的流程图。

[0072]图3是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的黑色表面物体图像获取设备和黑色表面物体的示意图。

[0073]图4是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的从所述初始状态调整至曝光状态的流程图。

[0074]图5是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的获取黑色物体的灰度均值和标准差的流程图。

[0075]图6是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的利用第一深度融合方法和多张深度图像融合算法获得第一深度图像的流程图。[0076]图7是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的利用第二深度融合方法和多张深度图像融合算法获得第二深度图像的流程图。

[00]

10

CN 112729246 A

说　明　书

6/12页

具体实施方式

[0077]为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

[0078]在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。[0079]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0080]2D视觉虽为当前主流，但随着测量精度要求越来越高，被测物体条件越来越复杂，2D系统的缺陷也愈发突出，而3D视觉技术不断获得突破，在精度、灵活性方面都是2D无可比拟的，目前已经逐渐开始展示出其在各个领域中的优势。

[0081]3D结构光测量技术作为三维视觉技术的一个重要分支，其原理采用投影装置对被测物投射具有编码信息的结构光图案，相机记录下结构光图案信息进行解码，还原物体三维信息。3D结构光测量技术具有较高精度、非接触、检测速度快、操作简单等优点，在工业场景中正应用得越来越广泛。目前，3D结构光测量技术在工业工件尺寸测量领域应用较多。[0082]但是，现有的3D结构光测量技术存在如下缺陷：现有的3D结构光测量技术在对于黑色物体成像时容易因为黑色吸收光线、反射率低的问题，造成无法准确测量黑色表面物体尺寸，可能会在最终测量时产生测量数据丢失、进而出现测量盲区的情况。

[0083]本发明技术方案提供一种基于双目结构光的黑色表面物体深度图像测量方法，使通过双目结构光获得多组图像数据，各个图像数据之间相互补充，且由图像深度融合的方法最终获得目标深度图像，使由于黑色吸收光线而且反射率低造成的图像信息缺失无法影响3D结构光测量黑色物体的测量精度。

[0084]图1是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法的流程图。

[0085]如图1所示，在一个或多个实施例中，优选地，所述基于双目结构光的黑色表面物体深度图像测量方法，具体包括：[0086]S101、将黑色表面物体图像获取设备和黑色表面物体调整至初始状态，其中，所述黑色表面物体图像获取设备包括第一彩色相机、第二彩色相机、红外投影装置、红外相机、底座平台；[0087]S102、将所述黑色表面物体图像获取设备和所述黑色表面物体从所述初始状态调整至曝光状态；[0088]S103、通过处于所述曝光状态的所述黑色表面物体图像获取设备和所述黑色表面物体进行拍摄，获得彩色图像；[00]S104、根据所述彩色图片获取黑色物体的灰度均值和标准差；

11

CN 112729246 A[0090]

说　明　书

7/12页

S105、根据所述黑色物体的灰度均值和标准差，利用第一深度融合方法和多张深

度图像融合算法获得第一深度图像；[0091]S106、根据所述黑色物体的灰度均值和标准差，利用第二深度融合方法和多张深度图像融合算法获得第二深度图像；[0092]S107、通过图像融合算法将所述第一深度图像和所述第二深度图像融合获得黑色表面物体目标深度图像。[0093]本发明实施例中，通过黑色表面物体图像获取设备和所述黑色表面物体状态的初始化、曝光、拍摄、图像深度处理、重新调整获得第二组图像、多组图像数据融合等一系列步骤，完成对黑色表面物体全面的拍摄，进而获取不丢失信息的双目结构光目标深度图像，准确完成黑色表面物体尺寸测量。[0094]进一步地，在图2‑7中，分别对初始状态调整至曝光状态、通利用深度融合方法和多张深度图像融合算法获得第一深度图像和第二深度图像等各步骤进行详细介绍。

[0095]图2是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的将黑色表面物体图像获取设备和黑色表面物体调整至初始状态的流程图。[0096]如图2所示，在一个或多个实施例中，优选地，所述将黑色表面物体图像获取设备和黑色表面物体调整至初始状态，具体包括：[0097]S201、所述第一彩色相机、所述第二彩色相机和所述红外相将所述红外投影装置、机都安装在所述底座平台上，其中，所述红外投影装置的功率可变，所述第一彩色相机、所述第二彩色相机和所述红外相机均为配置有电动光圈的镜头；[0098]S202、将所述红外投影装置安装在所述底座平台的中间位置；[0099]S203、将所述红外相机装在所述红外投影装置的旁边位置；[0100]S204、将所述第一彩色相机和所述第二彩色相机安装在所述底座平台两侧；[0101]其中，所述配置有电动光圈的镜头具体为利用微电机控制镜头光圈大小调节。[0102]本发明实施例中，通过将所述红外投影装置、所述第一彩色相机、所述第二彩色相机和所述红外相机配置在相应位置上，进行设备状态的初始化。

[0103]图3是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的黑色表面物体图像获取设备和黑色表面物体的示意图。[0104]在一个或多个实施例中，所述黑色表面物体图像获取设备包括第一彩色相机301、第二彩色相机302、红外投影装置303、红外相机304、底座平台305；红外投影装置303的投射范围黑色表面物体306下方用虚线标识。其中，第一彩色相机301、第二彩色相机302是两个200万像素的彩色相机，红外投影装置303是红外投影装置，分辨率为100万像素，红外相机304是200万像素的红外相机。通过本实施例中的配置方式，可以进行黑色表面物体的拍摄，但也可采用超过本实施例中像素的相机设备进行拍摄。

[0105]图4是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的从所述初始状态调整至曝光状态的流程图。[0106]如图4所示，在一个或多个实施例中，优选地，所述将所述黑色表面物体图像获取设备和所述黑色表面物体从所述初始状态调整至曝光状态，具体包括：[0107]S401、将所述第一彩色相机、所述第二彩色相机和所述红外相机的曝光时间设置为最大值曝光时间的一半；

12

CN 112729246 A[0108]

说　明　书

8/12页

S402、将所述第一彩色相机、所述第二彩色相机和所述红外相机的电动光圈设置

为最大电动光圈的一半。[0109]本发明实施例中，通过在曝光之前先进行了曝光时间和电动光圈的设置，以最大值的一半进行曝光时间和电动光圈的设置，保证整个曝光过程中的可靠性，具体为，能够使得曝光时间和电动光圈的调节增加和缩小的范围最大化，并且确保可以调节缩小和增大的程度相同。

[0110]图5是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的获取黑色物体的灰度均值和标准差的流程图。[0111]如图5所示，在一个或多个实施例中，优选地，所述根据所述彩色图片获取黑色物体的灰度均值和标准差，具体包括：[0112]S501、将所述彩色图片转换为灰度图；[0113]S502、采用canny算子提取所述灰度图的图像边缘；[0114]其中，所述canny算子为边缘检测计算理论(computational theory of edge detection)，canny算子的目标是找到一个最优的边缘检测算法。[0115]S503、根据所述图像边缘计算边缘周长信息，并筛选出黑色表面物体边缘轮廓；[0116]S504、利用在所述黑色物体边缘轮廓内的所述灰度图计算所述黑色物体的灰度均值和标准差。

[0117]本发明实施例中，通过彩色相机拍摄了工件表面的彩色图片，进而用于利用色彩变化进行灰度划分，并通过canny算子提取图像边缘，获得待测试的所述黑色物体的边缘，最终裁剪后获得只有黑色物体的图像，进而将该部分的图像进行灰度的均值计算和标准差计算。

[0118]图6是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的利用第一深度融合方法和多张深度图像融合算法获得第一深度图像的流程图。[0119]如图6所示，在一个或多个实施例中，优选地，所述根据所述黑色物体的灰度均值和标准差，利用第一深度融合方法和多张深度图像融合算法获得第一深度图像，具体包括：[0120]S601、根据所述黑色物体的灰度均值和标准差利用第一曝光时间、电动光圈和发射功率调整规则，调节所述红外相机的曝光时间和电动光圈，并调节所述红外投影装置的发射功率；[0121]S602、当每一次曝光时间、电动光圈和发射功率调节完成后，利用所述红外相机拍摄所述红外投影装置投射在所述黑色表面物体上的第一结构光图案；[0122]S603、利用所述第一结构光图案，根据所述第一彩色相机、所述第二彩色相机和所述红外相机的相机标定参数进行结构光图案解码，计算获得若干张第一黑色表面物体深度图像；

[0123]S604、利用所述多张深度图融合算法将所有的所述第一黑色表面物体深度图像融合，获得所述第一深度图像。[0124]本发明实施例中，通过调节所述红外相机的曝光时间和电动光圈，并调节所述红外投影装置的发射功率可以获得新的深度图像，该新的深度图像由于在不同的曝光、电动光圈和发送功率下，因此对于黑色物体对光的吸收程度也不太相同，因此会产生新的特征，当图片的数量多时，黑色物体表面对光的吸收将会被平均化，最终无法影响到测量结果。

13

CN 112729246 A[0125]

说　明　书

9/12页

在一个或多个实施例中，优选地，所述第一曝光时间、电动光圈和发射功率调整规

则包括：[0126]利用第一计算公式调整曝光时间；[0127]利用第二计算公式调整电动光圈；[0128]利用第三计算公式调整发射功率；[0129]所述第一计算公式为：

[0130]

[0131]

其中，expi为调节后的曝光时间，i代表调节次数，mean为所述黑色物体的灰度均

expmax为所述红外相机的最大曝光时间；值，std为所述黑色物体的标准差，

[0132]所述第二计算公式为：

[0133]

其中，Fi为调节后的电动光圈，i代表调节次数，mean为所述黑色物体的灰度均值，

std为所述黑色物体的标准差，Fmax为所述红外相机的电动光圈；[0135]所述第三计算公式为：

[0134]

[0136]

[0137]

其中，TXi为调节后的发射功率，i代表调节次数，mean为所述黑色物体的灰度均

14

CN 112729246 A

说　明　书

10/12页

值，std为所述黑色物体的标准差，TXmax为所述红外投影装置的最大发射功率。[0138]本发明实施例中，根据求出黑色表面物体的灰度均值和标准差按照所述第二曝光时间和电动光圈调整规则调节红外相机的曝光时间、镜头的电动光圈和红外投影发射功率。

[0139]图7是本发明一个实施例的一种基于双目结构光的黑色表面物体深度图像测量方法中的利用第二深度融合方法和多张深度图像融合算法获得第二深度图像的流程图。[0140]如图7所示，在一个或多个实施例中，优选地，所述根据所述黑色物体的灰度均值和标准差，利用第二深度融合方法和多张深度图像融合算法获得第二深度图像，具体包括：[0141]S701、根据所述黑色物体的灰度均值和标准差利用第二曝光时间、电动光圈和发射功率调整规则，调节所述红外相机的曝光时间和电动光圈，并调节所述红外投影装置的发射功率；[0142]S702、当每一次曝光时间、电动光圈和发射功率调节完成后，利用所述红外相机拍摄所述红外投影装置投射在所述黑色表面物体上的第二结构光图案；[0143]S703、利用所述第二结构光图案，根据所述第一彩色相机、所述第二彩色相机和所述红外相机的相机标定参数进行结构光图案解码，计算获得若干张黑色表面物体深度图像；

[0144]S704、利用所述多张深度图融合算法将所有的所述第二黑色表面物体深度图像融合，获得所述第二深度图像。

[0145]在一个或多个实施例中，优选地，所述第二曝光时间和电动光圈调整规则包括：[0146]利用第四计算公式调整曝光时间；[0147]利用第五计算公式调整电动光圈；[0148]所述第四计算公式为：

[0149]

[0150]

其中，expi为调节后的曝光时间，i代表调节次数，mean为所述黑色物体的灰度均

值，std为所述黑色物体的标准差，expmax为所述红外相机的最大曝光时间；[0151]所述第五计算公式为：

15

CN 112729246 A

说　明　书

11/12页

[0152]

其中，Fi为调节后的电动光圈，i代表调节次数，mean为所述黑色物体的灰度均值，

Fmax为所述红外相机的电动光圈。std为所述黑色物体的标准差，

[01]本发明实施例中，根据求出的黑色表面物体的灰度均值和标准差，进而按照所述第二曝光时间和电动光圈调整规则调节彩色相机的曝光时间和镜头的电动光圈。[0155]在一个或多个实施例中，优选地，所述多张深度图像融合算法具体为利用第六计算公式获得新图片，所述第六计算公式为：

[0156]

[0153]

其中，Im g为融合后的深度图像，Im gi为第i张深度图像，i代表调节次数。[0158]在一个或多个实施例中，优选地，所述图像融合算法具体为利用第七计算公式获得新图片，所述第七计算公式为：

[0157]

[0159]

Mix1为所述第一深度图像，Mix2为所其中，Mix为所述黑色表面物体目标深度图像，述第二深度图像，std为所述黑色物体的标准差。[0161]本发明实施例中，通过图像融合算法将所述第一深度图像和所述第二深度图像最终处理为一个单一的目标深度图像。该目标深度图像既能够显示出所测量的所述工件的尺寸，同时又通过多次图像融合降低了不同曝光时间和不同电动光圈下的黑色物体表面吸收光对深度图像的影响，实现对黑色物体表面的深度图像的获取。[0162]本发明实施例中，提供基于双目结构光的黑色表面物体深度图像测量方法，使双目结构的彩色相机数据通过多次调整、数据融合。可产生如下效果：[0163]1、本方案通过双目结构的彩色相机进行拍摄，并通过多重的曝光时间、电动光圈和发射功率获得多个图像，进而通过图像深度处理获得深度图像，克服了目前3D结构光无

实现对黑色表面物体的清晰、准确测量。法准确测量黑色表面物体尺寸信息的缺点，

[01]2、本方案中仅使用2台彩色相机和1台红外相机进行图像获取，通过预设的规则进行相机调整和图片深度融合，可实现为多各类黑色表面物体通用获取方式，且由于重复性运算少、运算量较小，利用此方案进行工件深度图像获取经济、可靠的特点。[0165]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不

16

[0160]

CN 112729246 A

说　明　书

12/12页

能本公开。

[0166]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

[0167]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0168]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0169]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0170]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

17

CN 112729246 A

说　明　书　附　图

1/6页

图1

18

CN 112729246 A

说　明　书　附　图

2/6页

图2

19

CN 112729246 A

说　明　书　附　图

3/6页

图3

图4

20

CN 112729246 A

说　明　书　附　图

4/6页

图5

21

CN 112729246 A

说　明　书　附　图

5/6页

图6

22

CN 112729246 A

说　明　书　附　图

6/6页

图7

23