一种基于图像识别技术的人因工程设计验证方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 111949263 A(43)申请公布日 2020.11.17

(21)申请号 202010651684.7(22)申请日 2020.07.08

(71)申请人 中核武汉核电运行技术股份有限公

司

地址 430223 湖北省武汉市东湖新技术开

发区民族大道1021号(72)发明人 鲁星言　张才科　聂红伟　张绪怡　

祁蔚　谢成龙　尹继超　刘培邦　刘纯　(74)专利代理机构 核工业专利中心 11007

代理人 陈早璟(51)Int.Cl.

G06F 8/38(2018.01)G06K 9/00(2006.01)

权利要求书2页 说明书4页 附图1页

()发明名称

一种基于图像识别技术的人因工程设计验证方法(57)摘要

本发明属于人机界面画面的人因工程设计验证和确认领域，具体涉及一种基于图像识别技术的人因工程设计验证方法。目前，人机界面画面的验证和确认不能批量的完成，在设计变更后迭代进行验证和确认时，重复投入的人力过高。本发明包括：步骤一：对人机界面进行规范设计；步骤二：图像识别预处理；步骤三：进行设计确认。本发明可以提高核电厂人机界面设计验证的效率和效果，缩短核电厂人机界面人因设计和验证的时间和准确性。

CN 111949263 ACN 111949263 A

权　利　要　求　书

1/2页

1.一种基于图像识别技术的人因工程设计验证方法，其特征在于：包括如下步骤：步骤一：对人机界面进行规范设计；步骤二：图像识别预处理；步骤三：进行设计确认；其中，步骤三：进行设计确认，具体包括如下步骤：(1)确认颜色要素设计；(2)确认画面固定位置设计；(3)确认画面内容是否超出人因元素；(4)确认画面是否出现未知部件；(5)确认画面线条布局是否合理；(6)确认非本系统部件和画面的部件；(7)确认画面部件间隔。

2.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的步骤一：对人机界面进行规范设计，具体包括：(1)对人机界面的画面设计要素进行规范设计，包括静态文本要素设计，日期要素设计，时间要素设计，颜色要素设计，线条要素设计；(2)对人机界面的画面基本信息、画面部件规范及画面固定布局进行规范，包括画面基本信息，画面部件规范，画面固定布局。

3.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的步骤二：图像识别预处理，具体包括：(1)人机界面画面验证的预处理方法；(2)人机界面画面截图进行图像识别预处理；其中(1)人机界面画面验证的预处理方法，包括屏幕截图，截图分类和画面显示区域定位；(2)人机界面画面截图进行图像识别预处理，包括区域识别，画面缩放比例和画面信息识别。

4.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的确认颜色要素设计和画面固定位置设计，具体包括：a.识别出画面各像素点的RGB值，判断所有的RGB值是不是在颜色要素的设计范围内，如果发现出现颜色要素设计时未定义的颜色，则提示颜色要素设计确认出现未知颜色；b.画面描述文本信息的显示位置是否存在符合格式要求的画面描述文本，如果不存在或格式与设计不符合，则进行告警提示；c.日期和时间的显示位置是否存在符合格式要求的日期和时间显示，如果不存在或格式与设计不符合，则进行告警提示；d.页间连接部件的显示位置是否存在符合格式要求的页间连接部件，如果不存在或格式与设计不符合，则进行告警提示。

5.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的确认画面内容是否超出人因元素设计：画面中若出现设计未定义的文本格式、线条格式，则提示设计确认出现未知设计要素；画面中非固定位置若出现日期和时间的显示，则进行告警提示。

6.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的确认画面是否出现未知部件：画面中不能出现尺寸与设计不符合的部件，否则提示部件尺寸错误；画面中不能出现设计未定义的部件，否则提示出现未知部件。

7.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的确认画面线条布局是否合理：管线只有一种颜色，否则进行告警提示；管线必须是直线，否则进行告警提示；管线必须是垂直或者水平分布，否则进行告警提示；对管线的交接处进行计数，设置能够允许的最大交接数，如果超过阈值则进行告警提示；部件与周边管线必须存在交接点，不能存在像素空白的虚连；非阀门部件左右的管线纵坐标必须相同，否则进行告警提示；非阀门部件上下的管线横坐标必须相同，否则进行告警提示。

8.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的确认画面内非本系统的部件：对画面存在的非本系统label的文本进行计数，设置能够允许的最大个数，一般设置为0，如果超过限值则及进行告警提示。

2

CN 111949263 A

权　利　要　求　书

2/2页

9.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的确认画面内的所有部件：a.对画面分类设置每种部件的最大限值或设置所有部件的总限值，如果超过限值则及进行告警提示；b.设置画面的空白处与非空白处的比例限值，如果超过限值则及进行告警提示。

10.根据权利要求1所述的一种基于图像识别技术的人因工程设计验证方法，其特征在于：所述的确认画面部件间隔：设置画面中部件的水平和垂直方向最小间隔限值，如果超过限值则及进行告警提示；设置画面中部件的水平和垂直方向最大间隔限值，如果超过限值则及进行告警提示；设备代号文本与设备的最大间隔限值，如果超过限值则及进行告警提示。

3

CN 111949263 A

说　明　书

一种基于图像识别技术的人因工程设计验证方法

1/4页

技术领域

[0001]本发明属于人机界面画面的人因工程设计验证和确认领域，具体涉及一种基于图像识别技术的人因工程设计验证方法。

背景技术

[0002]目前进行人机界面的工程验证和确认时，人机界面画面的验证和确认工作主要通过人工进行，没有合适的方法对画面使用的设计元素进行精确的验证和确认，也容易产生人因错误，验证效率较低，且对人机界面画面的验证和确认不能批量的完成，在设计变更后迭代进行验证和确认时，重复投入的人力过高。发明内容

[0003]1.目的：

[0004]本发明要解决的技术问题在于，提供一种用于核电厂人机界面画面的人因设计验证和确认方法。

[0005]2.技术方案：

[0006]对人机界面的画面设计要素、画面信息、画面部件规范以及画面固定布局进行规范设计要求，并利用图像识别技术对人机界面画面截图的信息进行提取和识别，进行合规性检查，验证和确认人机界面画面设计要求在工程中的实施情况，同时对画面布局过于紧凑，影响人因效果的情况进行提示。[0007]本发明方案包括：步骤一：对人机界面进行规范设计；步骤二：图像识别预处理；步骤三：进行设计确认。[0008]步骤一：对人机界面进行规范设计，具体包括：(1)对人机界面的画面设计要素进行规范设计，包括静态文本要素设计，日期要素设计，时间要素设计，颜色要素设计，线条要素设计；(2)对人机界面的画面基本信息、画面部件规范及画面固定布局进行规范，包括画面基本信息，画面部件规范，画面固定布局。[0009]步骤二：图像识别预处理，具体包括：(1)人机界面画面验证的预处理方法；(2)人机界面画面截图进行图像识别预处理；其中(1)人机界面画面验证的预处理方法，包括屏幕截图，截图分类和画面显示区域定位；(2)人机界面画面截图进行图像识别预处理，包括区域识别，画面缩放比例和画面信息识别。[0010]步骤三：进行设计确认，具体包括如下步骤：(1)确认颜色要素设计；(2)确认画面固定位置设计；(3)确认画面内容是否超出人因元素；(4)确认画面是否出现未知部件；(5)确认画面线条布局是否合理；(6)确认非本系统部件和画面的部件；(7)确认画面部件间隔。[0011]所述的确认颜色要素设计和画面固定位置设计，具体包括：a.识别出画面各像素点的RGB值，判断所有的RGB值是不是在颜色要素的设计范围内，如果发现出现颜色要素设计时未定义的颜色，则提示颜色要素设计确认出现未知颜色；b.画面描述文本信息的显示位置是否存在符合格式要求的画面描述文本，如果不存在或格式与设计不符合，则进行告

4

CN 111949263 A

说　明　书

2/4页

警提示；c.日期和时间的显示位置是否存在符合格式要求的日期和时间显示，如果不存在或格式与设计不符合，则进行告警提示；d.页间连接部件的显示位置是否存在符合格式要求的页间连接部件，如果不存在或格式与设计不符合，则进行告警提示。[0012]所述的确认画面内容是否超出人因元素：画面中若出现设计未定义的文本格式、线条格式，则提示设计确认出现未知设计要素；画面中非固定位置若出现日期和时间的显示，则进行告警提示。

[0013]所述的确认画面是否出现未知部件：画面中不能出现尺寸与设计不符合的部件，否则提示部件尺寸错误；画面中不能出现设计未定义的部件，否则提示出现未知部件。[0014]所述的确认画面线条布局是否合理：管线只有一种颜色，否则进行告警提示；管线必须是直线，否则进行告警提示；管线必须是垂直或者水平分布，否则进行告警提示；对管线的交接处进行计数，设置能够允许的最大交接数，如果超过阈值则进行告警提示；部件与周边管线必须存在交接点，不能存在像素空白的虚连；非阀门部件左右的管线纵坐标必须相同，否则进行告警提示；非阀门部件上下的管线横坐标必须相同，否则进行告警提示。[0015]所述的确认画面内非本系统的部件：对画面存在的非本系统label的文本进行计数，设置能够允许的最大个数，一般设置为0，如果超过限值则及进行告警提示。[0016]所述的确认画面内的所有部件：a.对画面分类设置每种部件的最大限值或设置所有部件的总限值，如果超过限值则及进行告警提示；b.设置画面的空白处与非空白处的比例限值，如果超过限值则及进行告警提示。[0017]所述的确认画面部件间隔：设置画面中部件的水平和垂直方向最小间隔限值，如果超过限值则及进行告警提示；设置画面中部件的水平和垂直方向最大间隔限值，如果超过限值则及进行告警提示；设备代号文本与设备的最大间隔限值，如果超过限值则及进行告警提示。

[0018]3.效果：

[0019]该发明所述方法及软件可以提高核电厂人机界面设计验证的效率和效果，缩短核电厂人机界面人因设计和验证的时间和准确性；[0020]可以对人因设计和验证的流程进行管理，提高人因设计验证工作的工作效率。附图说明

[0021]图1人机界面人因设计验证方法流程图

具体实施方式[0022]一、步骤一：对人机界面进行规范设计

[0023]1.对人机界面的画面设计要素进行规范设计，设计时需要明确的内容如下：[0024]1)静态文本要素设计：规定静态文本的颜色、中英文字体、以及字号；[0025]2)日期要素设计：规定日期的显示格式，比如YYYY/MM/DD；[0026]3)时间要素设计：规定时间的显示格式，比如24小时显示，HH:MM:SS:ddd(hour,minute,second,millisecond)；[0027]4)颜色要素设计：规定画面中点线面等绘图所能够适用的颜色，用RGB值表示颜色；

5

CN 111949263 A[0028]

说　明　书

3/4页

5)线条要素设计：规定线条的宽度以及线型。

[0029]2.对人机界面中的画面基本信息、画面部件规范以及画面固定布局进行规范设计，设计时需要明确的内容如下：[0030]1)画面基本信息：[0031]·画面底色信息；[0032]·画面边框和尺寸。[0033]2)画面部件规范：

[0034]·规定每类部件外观形状，包括颜色、线条，并在设计文件中以图像的形式进行呈现；

[0035]·规定每类部件尺寸。[0036]3)画面固定布局：

[0037]·画面描述文本信息的显示位置；[0038]·日期和时间的显示位置；[0039]·页间连接部件的显示位置。[0040]步骤二：图像识别预处理

[0041]1.人机界面画面验证的预处理方法如下：[0042]1)屏幕截图：在人机界面画面显示机器上对所有的显示画面进行屏幕截图，并保存；

[0043]2)截图分类：如果截图时的分辨率不同，则对所有人机界面画面截图按照分辨率进行分类，同一个分辨率的截图可进行批量识别。[0044]3)画面显示区域定位：对于同一个分辨率下的所有截图，任意选择其中一张截图，以截图左上角为原点，记录其画面显示区域的四个顶点坐标，作为图像识别的输入。[0045]2.对人机界面画面截图进行图像识别的预处理，处理方法如下：[0046]1)区域识别：

[0047]·对于同一个分辨率下的截图，首先根据画面显示区域的四个顶点坐标定位到截图中的画面有效显示区域，后续仅对画面有效显示区域内的画面进行识别和验证。[0048]2)画面缩放比例：

[0049]·根据画面的四个顶点坐标与画面设计尺寸进行比对，得到缩放比例，在设计确认时需要先将设计的尺寸信息按比例进行转换处理。[0050]3)画面信息识别

[0051]·根据画面固定布局的设计在固定位置查找文本信息、日期和时间、页间连接部件；

[0052]·识别出画面中的部件；

[0053]·识别出画面中的线条以及颜色；[00]步骤三：进行设计确认根据：[0055]1)颜色要素设计要求，进行设计确认：[0056]·识别出画面各像素点的RGB值，判断所有的RGB值是不是在颜色要素的设计范围内，如果发现出现未颜色要素设计时未定义的颜色，则提示颜色要素设计确认出现未知颜色。

6

CN 111949263 A[0057]

说　明　书

4/4页

2)根据画面的固定位置设计要求，进行设计确认：

[0058]·画面描述文本信息的显示位置是否存在符合格式要求的画面描述文本，如果不存在或格式与设计不符合，则进行告警提示；

[0059]·日期和时间的显示位置是否存在符合格式要求的日期和时间显示，如果不存在或格式与设计不符合，则进行告警提示；

[0060]·页间连接部件的显示位置是否存在符合格式要求的页间连接部件，如果不存在或格式与设计不符合，则进行告警提示。

[0061]3)画面的内容是否超出人因元素设计：

[0062]·画面中不能出现设计未定义的文本格式、线条格式，否则提示设计确认出现未知设计要素。

[0063]·画面中非固定位置不能出现日期和时间的显示，否则进行告警提示。[00]4)画面是否出现未知部件：

[0065]·画面中不能出现尺寸与设计不符合的部件，否则提示部件尺寸错误；[0066]·画面中不能出现设计未定义的部件，否则提示出现未知部件。[0067]5)画面的线条布局是否是合理：[0068]·管线只有一种颜色，否则进行告警提示；[0069]·管线必须是直线，否则进行告警提示；[0070]·管线必须是垂直或者水平分布，否则进行告警提示；[0071]·对管线的交接处进行计数，设置能够允许的最大交接数，如果超过阈值则进行告警提示；

[0072]·部件与周边管线必须存在交接点，不能存在像素空白的虚连；[0073]·非阀门部件左右的管线纵坐标必须相同，否则进行告警提示；[0074]·非阀门部件上下的管线横坐标必须相同，否则进行告警提示。[0075]6)非本系统部件是否过多：

[0076]·对画面存在的非本系统label的文本进行计数，设置能够允许的最大个数，一般设置为0，如果超过限值则及进行告警提示。[0077]7)画面的部件是否过多：

[0078]·分类设置每种部件的最大限值或设置所有部件的总限值，如果超过限值则及进行告警提示；

[0079]·设置画面的空白处与非空白处的比例限值，如果超过限值则及进行告警提示。[0080]8)画面的部件间隔是否过大或过小：

[0081]·设置画面中部件的水平和垂直方向最小间隔限值，如果超过限值则及进行告警提示。

[0082]·设置画面中部件的水平和垂直方向最大间隔限值，如果超过限值则及进行告警提示；

[0083]·设备代号文本与设备的最大间隔限值，如果超过限值则及进行告警提示。

7

CN 111949263 A

说　明　书　附　图

1/1页

图1

8