基于注意力机制的DenseNet模型的树种识别应用

ＲＥＳＥＡＲＣＨＡＮＤＥＸＰＬＯＲＡＴＩＯＮＩＮＬＡＢＯＲＡＴＯＲＹ

　Ｖｏｌ．３９Ｎｏ．７

３９卷７期２０２０年７月第第　

Ｊｕｌ．２０２０　

ＤｅｎｓｅＮｅｔ模基于注意力机制的型的树种识别应用

（东北林业大学信息与计算机工程学院，哈尔滨１５００４０）

　要摘：随着图像识别分类技术的发展，该技术被人们应用到工农业生产各个领域，以提高其工作质量和效率。在特殊领域背景复杂数据集分类任务中，为增强神经网络的分类能力，降低参数冗余，提高训练效率，提出一种基于注意力机制的ＤｅｎｓｅＮｅｔ模型。该神经网络能够通过添加注意力机制获取图像重要信息，以解决

Ｌｅａｆｓｎａｐ和数据敏感问题，提高网络整体性能。在复杂树种叶片公开数据集公共

ＳＶＨＮ上９１．２５％和９８．２７％的数据集分别取得了分类精确率。实验结果表明，基

ＤｅｎｓｅＮｅｔ模型分类效果明显优于其他网络模型。于注意力机制的

关键词：图像分类；卷积神经网络；密集神经网络；注意力机制；树种识别

ＴＰ３９１．４　　　文Ａ　　　中图分类号：献标志码：１００６－７１６７（２０２０）０７－０１２２－０６文章编号：

ＡｐｐｌｉｃａｔｉｏｎｏｆＴｒｅｅＳｐｅｃｉｅｓＩｄｅｎｔｉｆｉｃａｔｉｏｎＢａｓｅｄｏｎ

ＤｅｎｓｅＮｅｔＭｏｄｅｌｗｉｔｈＡｔｔｅｎｔｉｏｎＭｅｃｈａｎｉｓｍ

ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＮｏｒｔｈｅａｓｔＦｏｒｅｓｔｒｙ，Ｈａｒｂｉｎ１５００４０，Ｃｈｉｎａ）（

Ａｂｓｔｒａｃｔ：Ｗｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎａｎｄｃｌａｓｓｉｆｉｃａｔｉｏｎｔｅｃｈｎｏｌｏｇｉｅｓ，ｐｅｏｐｌｅｇｒａｄｕａｌｌｙａｐｐｌｙｔｈｅｔｅｃｈｎｏｌｏｇｉｅｓｔｏｖａｒｉｏｕｓｆｉｅｌｄｓｔｏｉｍｐｒｏｖｅｔｈｅｉｒｗｏｒｋｑｕａｌｉｔｙａｎｄｗｏｒｋｅｆｆｉｃｉｅｎｃｙ．Ｉｎｔｈｅｔａｓｋｏｆｃｌａｓｓｉｆｙｉｎｇｃｏｍｐｌｅｘｄａｔａｓｅｔｓｉｎｓｐｅｃｉａｌｆｉｅｌｄｓ，ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｂｉｌｉｔｙｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ｒｅｄｕｃｅｐａｒａｍｅｔｅｒｒｅｄｕｎｄａｎｃｙａｎｄｉｍｐｒｏｖｅｔｒａｉｎｉｎｇｅｆｆｉｃｉｅｎｃｙ，ａｍｏｄｅｌｏｆＤｅｎｓｅＮｅｔｗｉｔｈａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｉｓｐｒｏｐｏｓｅｄ．Ｔｈｅｎｅｔｗｏｒｋｃａｎａｃｑｕｉｒｅｉｍｐｏｒｔａｎｔｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｉｍａｇｅｔｈｒｏｕｇｈｔｈｅａｄｄｅｄａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ，ｓｏｌｖｅｔｈｅｄａｔａｓｅｎｓｉｔｉｖｉｔｙｐｒｏｂｌｅｍ，ａｎｄｉｍｐｒｏｖｅｔｈｅｏｖｅｒａｌｌｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｎｅｔｗｏｒｋ．ＴｈｅａｃｃｕｒａｔｅｒａｔｅｓｉｎＬｅａｆｓｎａｐｔｒｅｅｌｅａｆｐｕｂｌｉｃｄａｔａｓｅｔｓａｎｄＳＶＨＮｏｆｐｕｂｌｉｃｄａｔａｓｅｔｓａｃｈｉｅｖｅ９１．２５％ａｎｄ９８．２７％，ｒｅｓｐｅｃｔｉｖｅｌｙ．ＴｈｅｅｆｆｅｃｔｏｆＤｅｎｓｅＮｅｔｗｉｔｈａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｉｓｓｕｐｅｒｉｏｒｔｏｏｔｈｅｒｎｅｔｗｏｒｋｍｏｄｅｌｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｃａｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；ｄｅｎｓｅｎｅｕｒａｌｎｅｔｗｏｒｋ；ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ；ｔｒｅｅｓｐｅｃｉｅｓｉｄｅｎｔｉｆｉｃａｔｉｏｎ

ＳＯＮＧＹｕｐｅｎｇ　ＢＩＡＮＪｉｌｏｎｇ　ＡＮＸｉａｎｇ　ＺＨＡＮＧＸｉｙｉｎｇ

　边　安　翔　张宋宇鹏，继龙，，锡英

，，，

收稿日期：２０１９０７２８

基金项目：国家自然科学基金项目（Ｎｏ．３１５００５８７）；高校基本科研业务费专项资金项目（Ｎｏ．２５７２０１６ＢＢ１１）；黑龙江省科学基金项目Ｎｏ．Ｆ２０１８００２）（作者简介：１９９５－）宋宇鹏（，男，青海西宁人，硕士生，主要研究方向为图像处理，深度学习。Ｔｅｌ．：187****3239；Ｅｍａｉｌ：ｓｏｎｇｙｕｐｅｎｇ＠ｎｅｆｕ．ｅｄｕ．ｃｎ通信作者：１９７１－）张锡英（，女，黑龙江哈尔滨人，硕士，副教授，主要研究方向为图像处理，数据挖掘，现代信息技术及网络应用，数据库技术。Ｔｅｌ．：131****9429；Ｅｍａｉｌ：ｚｈａｎｇｘｙ＠ｎｅｆｕ．ｅｄｕ．ｃｎ

０　

图像识别分类是计算机视觉领域内的一项关键技

术。近几年硬件设备和理论水平不断发展，图像识别分类技术被人们广泛地应用在医疗疾病检测、工程灾

［］。图害预警和林业监测评估等各个领域像识别分

类技术能够有效地提取图像中的特征，并根据所提取的特征判断图像所属类别。随着图像识别分类数据规模和特征维度的增加，传统机器学习方法已经不能完

１６

引　言

ＤｅｎｓｅＮｅｔ模宋宇鹏，等：基于注意力机制的型的树种识别应用１２　３

全满足需要，因此以神经网络为主流的深度学习方法练。由于柔性注意力能够实现自动训练，现阶段图像

２０１２年Ｈｉｎｔｏｎ团队提出分成为发展的方向。自类任务中较多使用柔性注意力机制。根据注意力域

ＡｌｅｘＮｅｔ［］模型后，使用深度卷积神经网络进行图像识的不同，将柔性注意力机制分为空间域（Ｓｐａｔｉａｌ别分类成为热点，不同的网络模型陆续被提出，如Ｄｏｍａｉｎ）、通道域（ＣｈａｎｎｅｌＤｏｍａｉｎ）和混合域（ＭｉｘｅｄＶＧＧ［］、ＮＩＮ［］、Ｉｎｃｅｐｔｉｏｎ［］、ＲｅｓＮｅｔ［］、ＤｅｎｓｅＮｅｔ［］。基于空间域注意力机制的典型网络就是空Ｄｏｍａｉｎ）ＮＡＳＮｅｔ［］等和，在各个网络模型识别分类精度不断间映射网络（ＳｐａｔｉａｌＴｒａｎｓｆｏｒｍＮｅｔｗｏｒｋ，，该网络ＳＴＮ）

［］提提高的同时，模型训练的各个阶段也进行相应地改进，模型由出，通过注意力机制２０１５年Ｊａｄｅｒｂｅｒｇ等

其中包括数据预处理、损失函数设计、网络结构调整和提取重要的原始图像空间信息，并将其保存在新的空模型优化等方面。网络模型深度的增加使网络参数量间信息中。基于通道域注意力机制的典型网络，即变大，更容易导致网络模型出现“网络退化”，难以２０１７年ＳＥＮｅｔ［］，提出的该网络通过得到每个通道与训练。重要信息之间的关联度，产生基于通道域的注意力机　

７期第

７８

９

１０

１１

１２

１３

１８

１９

领题域由的于分不类同任领务域中背，例景如的，林数业据工集程各中有复差杂异树，某种些分特类定类。仅余任，甚务使，而用简上单述地的增神加经网网络络的并层不数能会很导好致地网完络成参识别问数分力机机就至制此出，更，现提网有出络效在退地神化冗提经现象。高网网络络模型ＤｅｎｓｅＮｅｔ中引入注意而制域出去现更网好络地退获化取的数问据题。提特征的整体性能。通过注意力出，同时模型不会因为过深了内类网复任络杂务训数，以练据此效集率识。针别分对林类业效果的不模理型想既的解问决题了，还特定提领高ＤｅｎｓｅＮｅｔ用能力，使模

用型背公，取景共得开数了展据集较实工程中多类别复杂树种分好验的，使结用果基。为于注意力机制的ＳＶＨＮ相关知识验证模型证的明鲁模棒型性的。通１　１．１　发注注意意力力机制制。人的能够类快在机速进制同神经网络一样都是受到仿生学启扫化发展过程中逐渐形成的视觉注意力机非注捉感意兴，能够较描好图地像获，判取感断兴出趣感区兴域趣的区详域细并信投息入，更对多于学信趣区域则较少关注，从而更准确地帮助人们捕

使习息中，提高自身事务处理能力。注意力机制在深度关用注的意应力用机同制人更类快注速、意准力确机地制获相取似重，要其信目息的，是忽通略过无图信域像息领，域以中提提高出工，作经效发率展。注现已意被力应机用制在最许早多由计计算算机机领像的分研类究方向，如：机器翻译，文本分类，图像分１４１７

力（注等意［力机］制。割和图训练过程将注意力机制分为硬性注意ＨａｒｄＡｔｔｅｎｔｉｏｎ）机制和柔性注意力Ａｔｔｅｎｔｉｏｎ动完态过程）机，在制训。硬练过性程注中不意可力微是分一，种大非多确通定过性增的（强随Ｓｏｆｔ学机习大成。柔性注意力是一种确定性的注意力机制，其最的的，能特够点通在过于网该络注梯意度力及机反制馈在，训实练现过端程到中端是的可自微动分训制（。混合域注意力机制的典型网络—残差注意力２０

过Ｒｅｓｉｄｕａｌ权使较重用ＡｔｔｅｎｔｉｏｎＮｅｔｗｏｒｋ，ＲＡＮ）

［］，该网络模网型络

通，并“形残成差基方于式空”间去和学通习道其双内向部的每注一意个力特机征制元素的参好数地冗获余取度原。始图像信息，在一定程度上降低了，能网够络１．２　学密Ｄｅｎｓｅｎｅｔ神经网络２０１７深、中层清华集大神学经、网络（ＤｅｎｓｅＮｅｔ）是年由康奈尔大ＦａｃｅｂｏｏｋＦＡＩＲ实验到室联合提出的一种ＲｅｓＮｅｔ模型结构“于前“层跳卷传跃积递连神”接经的”网方的络式特。征ＤｅｎｓｅＮｅｔ传递方式受所启发，提出了一种络模后的块“前中层该传层递前，即网络模块中每层的输入都来自

”面所有层的传递。ＤｅｎｓｅＮｅｔ神经网弥续散网”问络题，同。

时还方能式避能免够因有为效网地络将过原深始导特致征的传“递梯给

度传递ＲｅｓＮｅｔ，防止梯神度经弥网散络。通过恒等映射的方式进行特征ＲｅｓＮｅｔ特征传递方式：Ｘｌ

＝Ｈｌ

（Ｘｌ－１

）＋Ｘｌ－１

（１）　　ＤｅｎｓｅＮｅｔ征的传特递征方则式是使用前层之间的传递方式，ＤｅｎｓｅＮｅｔ特式ｌ

ｌ

０

１

ｌ－１

数

中［：

…，）（ｌ

ｌ

后

；［：·Ｘ］为为第Ｘ＝各ｌ层的Ｈ输（出Ｘ；，Ｘ，Ｈ（·）Ｘ为每］层的非线性２函）少相层的密集连接。相比于ＲｅｓＮｅｔ络

，有且加更更的好有特的利征鲁于传棒网递方式，ＤｅｎｓｅＮｅｔ的网络参恒数等量映射较性络。中信息的传递，使得ＤｅｎｓｅＮｅｔ网ＤｅｎｓｅＮｅｔ每实现神经网

网络络主的要密通集过连内接部，如密图集模块示（。其ＤｅｎｓｅＢｌｏｃｋ）１所中

元个元个数Ｄｅｎｓｅ根据Ｂｌｏｃｋ内部都包含一定数量的神经元，神经

数主（（要由批网归络一任化务（不同而有所区别。其中每个神经

ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ，ＢＮ）、激活函ＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔｓ，ＲｅＬＵ）经Ｃｏｎｖｏｌｕｔｉｏｎ元（连接，对，于Ｃｏｎｖ含有）组成，每个神经元都与和其之卷前积的层神Ｌ个神经元的则有Ｌ＋１）／２个连接。其中ＤｅｎｓｅＢｌｏｃｋＤｅｎｓｅＢｌｏｃｋ的

增长，Ｌ×率表　１２４

３９卷　第

度，提高网络的分类识别效率。与此同时，ＤｅｎｓｅＮｅｔ

是经典的图像分类模型，其“前层传递”的特征传递方式能将原始特征传递给后层网络，有效减缓“梯度弥散”现象，能较好地完成大多数图像分类识别任务。受到两者特性所启发，提出了基于注意力机制的ＤｅｎｓｅＮｅｔ模ＤｅｎｓｅＮｅｔ结型，该模型将注意力机制引入

ＤｅｎｓｅＮｅｔ进行改进，形成最终的新型构中，将原有的

网络结构，如图示。２所于注意力机制的型（见图的核　　基ＤｅｎｓｅＮｅｔ模２）心是提出了模型内部的注意力密集模块（Ａｔｔｅｎｔｉｏｎ

２　基ＤｅｎｓｅＮｅｔ模于注意力机制的型ＤｅｎｓｅＢｌｏｃｋ，ＡＤＢ）ＡＤＢ的。具有网络有更强的特征

原始特征的“不破提取能力，同时保留了２．１　基ＤｅｎｓｅＮｅｔ模ＤｅｎｓｅＮｅｔ对于注意力机制的型

性”传递的特点，在特定领域背景分类任务的数据注意力机制能提高网络模型对图像特征的提取能坏中表现出色。力，帮助网络获取兴趣区域，减少对非重要信息的关注集

示每层输出的特征图个数。为了实现更好的效果，提

高网络计算效率，每个神经元中都会添加一个卷积层

瓶颈层（ＢｏｔｔｌｅｎｅｃｋＬａｙｅｒ）减少特ＤｅｎｓｅＢｌｏｃｋ的作为

ＢＮ＋Ｒｅｌｕ＋Ｃｏｎｖ（１×１）征图数量，形成最终的神经元

＋ＢＮ＋Ｒｅｌｕ＋Ｃｏｎｖ（３×３）。ＤｅｎｓｅＮｅｔ模型在相邻的ＤｅｎｓｅＢｌｏｃｋ之ＴｒａｎｓｌａｔｉｏｎＬａｙｅｒ降间添加低网络整体

ＴｒａｎｓｌａｔｉｏｎＬａｙｅｒ由一层卷积层和一层池化层参数量，（构成。经过实验验证表明，ＰｏｏｌｉｎｇＬａｙｅｒ）ＤｅｎｓｅＮｅｔ不仅能够提升目标分类准确率，还能有效防止梯度弥散。

１　图

ＤｅｎｓｅＮｅｔ

模型结构

分为主干分支和标记分支。主干分支以

基础进行设计，采用经元前ＤｅｎｓｅＢｌｏｃｋ为ＤｅｎｓｅＮｅｔ神

层传递的方式进行特征传递，尽可能地保证了网络有较好的特征信息处理能力。其中每个主干分支设计包含神经元，每个神经元都添加了６个ＢｏｔｔｌｅｎｅｃｋＬａｙｅｒ，最终形成单个神经元结构为ＢＮ＋Ｒｅｌｕ＋Ｃｏｎｖ（１×１）＋ＢＮ＋Ｒｅｌｕ＋Ｃｏｎｖ（３×３）。这种结构使得偏后的网络层也能获得较多的特征信息，能够避免梯度弥

　　ＡＤＢ

图于注意力机制的型结构图２　基ＤｅｎｓｅＮｅｔ模

２０

ＡＤＢ还散的发生，具有较好的分类性能。同时设计了

标记分支部分。该部分受到残差注意力网络所启［］。基发于混合域的残差注意力机制，采用空间域和通道域两个方向同时学习，通过输出与主干分支数量一致的标记分支特征图，最后同网络中主干分支相结

的每一个标记分合，实现网络的注意力机制。ＡＤＢ中

支不仅仅在前向传播时作为特征选择器对图像特征进行筛选，在网络训练反向传播阶段时，该部分还可以作为梯度更新的过滤器。标记分支通过下采样（ｄｏｗｎ

ＤｅｎｓｅＮｅｔ模宋宇鹏，等：基于注意力机制的型的树种识别应用１２　５

和上采样（算实现，标记下ｕｐｓａｍｐｌｅ）运ＡＤＢ的ｓａｍｐｌｅ）降。３组Ｃｏｎｖ（３×３）ＭａｘＰｏｏｌｉｎｇ（３×３）和分支部分通过

完成标记分支部分下采样运算。其中下采样运算能够帮助网络快速搜索全局特征，获取兴趣区域信息。上采样使用双线性插值完成，该运算能获取特征图中的兴趣区域信息同原始信息相结合，并使用两个连续的

运算使得标记分支部分的特征图尺寸和Ｃｏｎｖ（１×１）主干分支特征图尺寸相同，其后通过激活函数将特征图数据进行归一化，以点乘的方式与主干分支的特征信息相结合，实现了端到端的联合训练。　

７期第

最终根确据定林整业体工网程络的包复含杂树种分类任务，经实验对比４个ＡＤＢ中、３每个个

ＴｒａｎｓｌａｔｉｏｎＬａｙｅｒ和１个ＣｌａｓｓｉｆｉｃａｔｉｏｎＬａｙｅｒ。其ＴｒａｎｓｌａｔｉｏｎＬａｙｅｒ由Ｃｏｎｖ（３×ＣｌａｓｓｉｆｉｃａｔｉｏｎＬａｙｅｒ络全连接层包

（括３全）和局平Ｐｏｏｌｉｎｇ均池化（（２×２）组

成。ＧｌｏｂａｌＡｖｅｒａｇｅＰｏｏｌｉｎｇ）和ＦｕｌｌｙＣｏｎｎｅｃｔｅｄＬａｙｅｒ）。整个网结使断果用结归果一Ｓｏｆｔｍａｘ。化，并对作结为果输进出行层概激率活判函定数，最，将终得得到到的类分别类判２．２　务且时面注，仅对意使背力用景机一杂制个乱的、残场差景学复习方式以杂、外观变化较大的分类任出只现能错对误图信像息重，难点ＡＤＢ信以息难关获取图像中的重要信息，修注正一次，标记分支部分一旦ＤｅｎｓｅＮｅｔ模型使用了多个。基于注意力机制的ＡＤＢ单地添加多个意因力机制为，网反络而标会记导分致支网的络方模式型并。简ＡＤＢ作的性不能能下起降到，有其效主的要注原后是特会通ＡＤＢ过激中活经函过数下进采行样归、上采样和卷积等一系列运算分征数据都将变为［０，１］

范一围化之处间理，的标数记值分，支之部后分标的

记算支的特征数据同主干分支中的特征数据进行点乘运值，在这一过程中会逐渐降低主干分支部分特征数据与，特征数据在传递过程中逐渐衰减，造成训练困难。取此同时，标记分支判断图像原始特征的全局信息获低兴趣区域时，经过归一化后非重要区域数据得到较征的权重，与主干分支数据结合传递时造成对原始特习数方据式的破坏。针对以上问题，在ＡＤＢ中

使用残差学等注去意降力低机其制对的数残据差的学干习扰方。

ＲｅｓＮｅｔ中制映网学射络习的对得思于到想重权所点重启信后发息直，的接如关注作图式：

用在原示是始。大受到图像多中数恒３所，注以意此力提机高式中：Ｈｉ，ｃ

（ｘ）＝Ｍｉ，ｃ

（ｘ）Ｔｉ，ｃ

（ｘ）（

３）出Ｈｉ，ｃ

（ｘ）ｉ层ｃ通的；渐输ｘ导出为致；主干分为特Ｍ（征ｘ）

图为支第信标和息记标记分支道的经输过入注；意力机制后的输Ｔ（ｘ）

为主干分支越分来支越输小出，。这使得样网的络学模习型方的式性会逐能图３　残差学习方式图　　注意恒等力映机射制的的方残法差进学行习改方进：式提出使用类似于ＲｅｓＮｅｔｉｃ

ｉｃ

ｉｃ

　的　标记Ｈ分，支（ｘ的）输＝［１＋Ｍ，（ｘ）］Ｔ，（ｘ）（４）记防将止网络模型在训出练过构程造中为出相现同退的化映现射象，能够有效的分过特支征输数出据，Ｍ对（于ｘ）标为０时，该部分并不影响主。即干使分标支制注意

的

意力机制后重要记特分征支会判变定得为更重加要显信著息。注的特意征力，经力残机差验制学对习于方数式据保的证干扰了问网题络。整体性能，还解决了机注３　实３．１　实使验

用本次验实数验据以集林户

。该Ｌｅａｆｓｎａｐ数据集共网包站业含所工提程供复的杂树树木种叶识片别数分据类集为进背行景实，７７１９张通过移动设备所拍摄的树外为木环网了叶境片中图的像树，图木像叶的片原图始像尺，其寸中为共有１８４种类别的主络提，对高该网络模型的泛化能力，使用８００更多×６００的数（像据素训）练。滑

要张和通噪过声：数扰伽据动马集变进换、行空数间据几增何强变操换作、。数低据增强方式练像。经素）过的数实据验增通滤波图像平数强据操集作，，共计获得２７８６３在集２２４和原，×２２４（测试集。经过数据其增中强２６后２５３的数张据做集训１６１０张做，据调始的整数可亮据靠度集性等基和操础真作上实，尽经可过能缩符放合、旋真转实、环裁境剪，、提平高移实、加验噪数３．２　实现

。硬实验验件环对配置境比如为及分性析。下Ｌｉｎｕｘ：内存系统，使用Ｋｅｒａｓ框架设计实２５６ＧＢ，ＣＰＵ：Ｉｎｔｅｌ（Ｒ）Ｘｅｏｎ　１２６

３９卷　第

（Ｒ）ＣＰＵＥ５２６３０Ｖ４。ＧＰＵ：ＴｅｓｌａＶ１００（１６ＧＢ）×

验以林业工程复杂树种识别分类任务为研究背４。实景，对实验图片，类别的树木叶片进行２７８６３张１８４个

型进分类识别。使用基于注意力机制的ＤｅｎｓｅＮｅｔ模

行实验，实验过程设置迭代周期，模型增长率设１００个置为初始学习率设置为采用阶梯式衰减，１２，０．００１，

５０和７５时当迭代周期达到，当前学习率分别降低到加快模型收敛，反向传递阶段采用批目前的１／１０。为

次随机梯度下降法，其中动量参数为批量大小０．９，

设置为验首先对标记分支（ｂａｔｃｈｓｉｚｅ）６４。实ＡＤＢ中不同的采样方式和采样次数进行实验对比。针对不同

对特征信息做标准化处理，只保留关于空间信

息的空间域函数为

１

ｆ（ｘ，）＝７）（１＋ｅｘｐ（－（ｘ，－ｍｅａｎ）／ｓｔｄ）ｉ为ｃ为在空间位置上的取值；在通道位置的取式中：

第道的特征图所对应的特征值和值ｍｅａｎ；ｓｔｄ为ｃ通

方差。经过实验比较混合域、通道域和空间域的Ｔｏｐ

２，８．７５％、９．６７％和９．２５％。基１错误率见表分别为于混合域的激活函数网络模型性能最优。

　　ｆ３

３

ｉｃ

ｉｃ

ｃ

ｃ

ｃ

ｃ

注意力域类型２　不表同注意力域模型分类错误率注意力函数／％错误率的定注用基意于力注域意进力行分析对比，得到最优ＡＤＢ结ＤｅｎｓｅＮｅｔ模型的的具体结构构。使，确做基据比于集较注，并意根力机据机制实制的

验的结ＤｅｎｓｅＮｅｔ果进行分模析型。同同其他网络模型支采部（分主要包样网括方络下式模采和型样采进和样行上次分数析时使用公共数ＳＶＨＮ对实验验证。

１）采。标记分上样性采能样，运对比分析

实算验，以下双采线样性方式插和下

网采次络样数的方都分式会类，性比影能较响，不ＡＤＢ选同取下最采的

优样下次采数样和方不式同和下下采采样方值式为下　均　池由化表（１可知，实验选取最大池化（样次数Ｍａｘｐｏｏｌｉｎｇ）、。平Ａｖｅｒａｇｅｐｏｏｌｉｎｇ）和重叠池化（ｐｏｏｌｉｎｇ比）３种池化方式，分别下采样Ｏｖｅｒｌａｐｐｉｎｇ

１实验对络，模发型现性在能标最记优分，支确中定使网用、２和３次

络ＭａｘｐｏｏｌｉｎｇＡＤＢ的

标记池分化支部３次分时使网

用３组Ｍａｘ表Ｐｏｏｌｉｎｇ不同采。

１　样方式和采样次数模型次分数类错误率％

采样１２３Ｍａｘｐｏｏｌｉｎｇ１０．２３９．１１８．７５Ａｖｅｒａｇｅｐｏｏｌｉｎｇ１０．２３１０．０９９．８５Ｏｖｅｒｌａｐｐｉｎｇｐｏｏｌｉｎｇ１０．６６１０．１７９．３２着　　

（２）不同。标记分支随机主的制干力输能分出够支的注不意同力而域有的所实差验别对。标比分记析分支中的注意力依根靠据其主激干活分函支数而将进数行据自进适行应归改一变化。标，不记分支验域最对的优比注注不意意同力力注机意制力在域网激络活中函表现也有所不同。设同注计意实Ｓｉｇｍｏｉｄ的混域合的域注数的网络模型性能，选择函意数力为机制。基于通道域和空间域的

ｆ１ｉｃ

于通道域（ｘ的，）＝１

１一＋化ｅｘｐ去（限－制ｘ空ｉ，ｃ

）　通　道基域函数为

Ｌ２归间信息激活（５的）ｆ（ｘ，）＝ｘｉ，ｃ２ｉｃ

‖ｘｉ

‖（６）混ｆ１８．７５通合（ｘ２９．６７空道域间域域（）ｆｘ）ｆ３（ｘ）９．２５　实　

３）同。经过实验（１）和型验（网的（具２体）确结定其构基他。为于网注络了意模验力型证机对比分析

模制型的的ＤｅｎｓｅＮｅｔ神经网络模５

１２

验络下，分析］和性能，使用卷积神经ＲｅｓＮｅｔ２６［使用ＤｅｎｓｅＮｅｔ４０相同的数据［］集网在络相进同行迭对比实３种网络价模型的精确率（代次数Ｐｒｅｃｉｓｉｏｎ）、召回率（Ｒｅｃａｌｌ和综合评型指测标试集精（确率如图。判定网络模型的性）

Ｆ１ＦＭｅａｓｕｒｅ）能，各模４所

示。图４　各模型Ｔｏｐ１测试集精　　如表３所ＤｅｎｓｅＮｅｔ４０的注神基示，经过实验对比确发率现图，ＲｅｓＮｅｔ２６、最

意经优力网。机络制模和的型，于在注相意同力数机制的ＤｅｎｓｅＮｅｔ３种不同ＤｅｎｓｅＮｅｔ模型据测集试相集同的迭模代型次数综下合基评于价％

网络模型（评价）表３　各网络模型的测试集结果ＰｒｅｃｉｓｉｏｎＲｅｃａｌｌＦＭｅａｓｕｒｅＲｅｓＮｅｔ２６［５］８２．１１８３．０４８２．５７ＤｅｎｓｅＮｅｔ４０［１２］８７．０５８８．０５８７．５４Ｏｕｒ９１．２５８８．３１８９．７６３．３　为网证络明模基型于验注证意力机制的ＤｅｎｓｅＮｅｔ模型的可行

ＤｅｎｓｅＮｅｔ模宋宇鹏，等：基于注意力机制的型的树种识别应用１２　７

性，设计实验在公共数据集验证网络模型。ＤｅｎｓｅＮｅｔ的良好特性，使得网络有较强的特征提取能ＳＶＨＮ上ＳＶＨＮ数ＭＮＩＳＴ的１８４种据集是一个类似于数字识别数据力树木叶片分类过程中取得了较好的实验，对集，包括训练集图片果，证明了基于注意力机制的，测试集图片，效型的可行７３２５７张２６０３２张ＤｅｎｓｅＮｅｔ模此外还有图片用于额外训练。ＳＶＨＮ数据性。与此同时，实验在备上训练，训练时间较５３１１３１张ＧＰＵ设集共包括类别，其中每个样本对应该类别所属类长，今后还需对网络模型及训练方法进行调整，提高网１０个别标签。ＳＶＨＮ数模型的训练效率。形成实体产品应用在林区工作和据集是从景图像中得到的络Ｇｏｏｇｌｅ街

业院校教学中，提高林业工程效率。自然场景下门牌号码图像，图像中具有简单的自然场林

景和数字，与此次实验研究任务相近，因而选择ＳＶＨＮ

考文献（Ｒｅｆｅｒｅｎｃｅｓ）：数据集做模型验证数据集。由于据集中图片参ＳＶＨＮ数

，张石清基于和迁移学习的食物图像识别［］实３２×３２（尺寸都为像素）大小，根据数据集情况，模型［］验室研究与探索，，（）：使用行实验分析。实验基于注意力机制［］张３组ＡＤＢ进锡英，宋宇鹏，陈曦，等融合和的深度学习　

７期第

１　　

．

ＤＣＮＮ

Ｊ．

２０１９３８６１１１１１４．

的实集验ＤｅｎｓｅＮｅｔ基上参的数模型，使不，同迭迭代代周期个用文章３．２中相同的实验设备和１００的周测期试，得集到该模型在ＳＶＨＮ数示据。试于集注中意精力确度机为制的精证明该型确网在度，如图５络的可行性据所ＤｅｎｓｅＮｅｔ模ＳＶＨＮ数。

集测９８．２７％，图５　

ＳＶＨＮ

测试集精确率图

模　　

经过实验分析发现，基于基型实于中５

１２

基验混ＡＤＢ标记分支部分采注用意力机制的ＤｅｎｓｅＮｅｔ

３组ＭａｘＰｏｏｌｉｎｇ时，环合境注下意对力比域时网络模型性能最优。通过在本相文同制于注意力机制的ＲｅｓＮｅｔ２６［］、ＤｅｎｓｅＮｅｔ４０［］和的ＤｅｎｓｅＮｅｔ型，发现基于注意力机为的进了验ＤｅｎｓｅＮｅｔ证所提模

型识别分类模精确率最高。与此同据时集，可行测试，证明出了的基神于经注网意络力模机型制，使用ＳＶＨＮ数

地行和解性决。基网络于注意力机制的的ＤｅｎｓｅＮｅｔ模型的ＤｅｎｓｅＮｅｔ模型能够较好任网务络上退取化模得问型了题过较。在于复好的林分业杂造成的参数冗余、训练困难类工效程果领。

域复杂树种识别分类４　

结　语

发受到注意力机制和ＤｅｎｓｅＮｅｔ卷积神经网络模，林型提因出数了据基特于注意力机制的

ＤｅｎｓｅＮｅｔ模型，解的决启

了意业力工机程制领的域殊复而杂出树现种识识别别效分果类不为佳研的究问背题景。实。基验于以注ＤｅｎｓｅＮｅｔ模型结合注意力机制和

２　

．

ＳＴＮＤｅｎｓｅＮｅｔ

［］网络及其　ＺｈａｎｇＺ，应用［Ｊ］ＬｉａｎｇＸ，．

计算机ＤｏｎｇＸ，

工程与应用，２０１９，５５（１７

）：１３１１３６．

３ｅｔａｌ．ＡｓｐａｒｓｅｖｉｅｗＣＴｒｅｃｏｎｓｔｒｕｃｔｉｏｎ

ｍｅｔｈｏｄＢａｓｅｄｏｎｃｏｍｂｉｎａｔｉｏｎｏｆｄｅｎｓｅＮｅｔａｎｄｄｅｃｏｎｖｏｌｕｔｉｏｎ［Ｊ．

［４］　

陈ＩＥＥＥ苏婷Ｔｒａｎｓａｃｔｉｏｎｓ，牛宇宁，张ｏｎＭｅｄｉｃａｌ闯，等基Ｉｍａｇｉｎｇ于，２０１８多特，３７征（选６

）择：

］

的１４０７１４１７．

［目标检测［　

．

ＳＦＦＳ

航拍图像Ｊ］．实验室研究与探索，２０１９，３８（３）：５１０，２８．５］

　ＹｕＳ，ＹｕａｎＬ，ＧｕａｎＷ，ｅｔａｌ．Ｄｅｅｐｌｅａｒｎｉｎｇｆｏｒｐｌａｎｔｉｄｅｎｔｉｆｉｃａｔｉｏｎｉｎｎａｔｕｒａｌｅｎｖｉｒｏｎｍｅｎｔ［Ｊ］

．ＣｏｍｐｕｔａｔｉｏｎａｌＩｎｔｅｌｌｉｇｅｎｃｅａｎｄ［Ｎｅｕｒｏｓｃｉｅｎｃｅ６］张，范若，怡２０１７，宫（若４）宁：，１６．　　铮等．基于图像处理的智能小车无线远程

［灭火［Ｊ］．实验室研究与探索，２０１８，３７（１）：

３３３７．７］

　ＫｒｉｚｈｅｖｓｋｙＡ，ＳｕｔｓｋｅｖｅｒＩ，ＨｉｎｔｏｎＧＥ，ｅｔａｌ．ＩｍａｇｅＮｅｔｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｊ］．ｎｅｕｒａｌ

［］

ｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｓ，２０１２，１４１（５）：１０９７１１０５．

８　ＳａｉｎａｔｈＴＮ，ＫｉｎｇｓｂｕｒｙＢ，ＳａｏｎＧ，ｅｔａｌ．Ｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌ［（ｎｅｔｗｏｒｋｓ：ｆｏｒｌａｒｇｅｓｃａｌｅｓｐｅｅｃｈｔａｓｋｓ［Ｊ］．ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，２０１５６４）３９４８．

９］　ＬｉｎＭ，ＣｈｅｎＱ，ＹａｎＳ．Ｎｅｔｗｏｒｋｉｎｎｅｔｗｏｒｋ．ａｒＸｉｖ：１３１２．［

］４４００，２０１３．１０　ＣｈｅｎＬ，ＰａｐａｎｄｒｅｏｕＧ，ＳｃｈｒｏｆｆＦ，ｅｔａｌ．Ｒｅｔｈｉｎｋｉｎｇａｔｒｏｕｓｃｏｎｖｏｌｕｔｉｏｎｆｏｒｓｅｍａｎｔｉｃｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎ［Ｊ］．ａｒＸｉｖ：Ｃｏｍｐｕｔｅｒ

［

］ＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，

２０１７．１１　ＨｅＫ，Ｚｈａｎｇ［Ｘ，ＲｅｎＳ，ｅｔａｌ．ＤｅｅｐｒｅｓｉｄｕａｌｌｅａｒｎｉｎｇｆｏｒｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎＣ］∥ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒ，Ｖｉｓｉｏｎ＆ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ＬａｓＶｅｇａｓ，Ｎｅｖａｄａ，ＵＳＡＪｕｎｅ２６Ｊｕｌｙ１，（ＣＳ）［

］２０１６：７７０７７８．１２　ＨｕａｎｇＧ，ＬｉｕＺ，ＭａａｔｅｎＬＶ，ｅｔａｌ．Ｄｅｎｓｅｌｙｃｏｎｎｅｃｔｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓ［Ｃ］∥ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ＆ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，ＵＳＡ，Ｊｕｌｙ２２Ｊｕｌｙ２５，［

］（ＣＳ）２０１７：２２６１２２６９．１３　ＺｏｐｈＢ，ＶａｓｕｄｅｖａｎＶＫ，ＳｈｌｅｎｓＪ，ｅｔａｌ．ＬｅａｒｎｉｎｇＴｒａｎｓｆｅｒａｂｌｅＡｒｃｈｉｔｅｃｔｕｒｅｓｆｏｒＳｃａｌａｂｌｅＩｍａｇｅＲｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥：ｃｏｍｐｕｔｅｒ［ｖｉｓｉｏｎ

ａｎｄｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ．ＳａｌｔＬａｋｅＣｉｔｙ，Ｕｔａｈ，ＵＳＡｓ．ｎ．］，Ｊｕｎｅ

［

］１８２２，２０１８：８６９７８７１０．１４　ＳｒｉｖａｓｔａｖａＲＫ，ＧｒｅｆｆＫ，ＳｃｈｍｉｄｈｕｂｅｒＪ，ｅｔａｌ．Ｔｒａｉｎｉｎｇｖｅｒｙｄｅｅｐ［

ｎｅｔｗｏｒｋｓ．ａｒＸｉｖ：Ｌｅａｒｎｉｎｇ，２０１５．１５］　ＬｕｏｎｇＭＴ，ＰｈａｍＨ，ＭａｎｎｉｎｇＣＤ．ＥｆｆｅｃｔｉｖｅＡｐｐｒｏａｃｈｅｓｔｏＡｔｔｅｎｔｉｏｎｂａｓｅｄＭａｃｈｉｎｅＴｒａｎｓｌａｔｉｏｎ．Ｃｏｍｐｕｔｅｒ

Ｓｃｉｅｎｃｅ，

Ｎｅｕｒａｌ２０１５．（下转第１７３页）

　洋于，等：声发射技术在岩土工程研究生实验教学过程中的应用１７　３

神，对于促进学生知识、思维、能力和素质的全面协段以及裂缝产生阶段数增加较为平稳，大理岩在精ＡＥ个

［］。发展具有重要意义ＡＥ信号迅速增加，岩石颗粒相互摩擦调应力达到峰值后，

的活跃度增大，这是由于细颗粒状大理岩构造产生的。参文献（Ｒｅｆｅｒｅｎｃｅｓ）：主裂缝基本贯通后，号随后逐渐趋于平稳。结果考ＡＥ信表明岩石在变形、损伤直至破坏的过程中，内部颗粒也［］

［］，：发生着相对位移，以波的形式向外释放能量，声发射的，频数也反映出岩石能量最大化释放是在破坏阶段。［］何满潮，赵菲，张昱，等瞬时应变型岩爆模拟试验中花岗岩

７期第

１５

１　ＡＳＴＭＩｎｔｅｒｎａｔｉｏｎａｌ．ＡＳＴＭＥ１３１６１０ｓｔａｎｄａｒｄｔｅｒｍｉｎｏｌｏｇｙｆｏｒ

ｎｏｎｄｅｓｔｒｕｃｔｉｖｅｅｘａｍｉｎａｔｉｏｎｓＳ．ＷｅｓｔＣｏｎｓｈｏｈｏｃｋｅｎＰｅｎｎｓｙｌｖａｎｉａ

．

ＡＳＴＭＩｎｔｅｒｎａｔｉｏｎａｌ２００３．

Ｊ］．岩２０１５，３６（１）１８，３３．土力学，：主频特征演化规律分析［

　李．单［３］浩然，杨春和，刘玉刚，等轴荷载作用下盐岩声波与声发射

Ｊ］．岩２０１４，３３（１０）３．特征试验研究［石力学与工程学报：

　沈．声．无２００２（３）［４］功田，耿荣生发射源定位技术［Ｊ］损检测，：１１４１１７．

２　

９　应图力向应变及声发射累积曲线󰀣轴

３　

依托“产教融合背景下基于‘项目驱动’的创新应

用型土木工程专业人才培养实践教学研究（ＪＸＪＧ１８

”，以全面提高研究生创新、探索精神和实践能力５１１）为目标，按照高质量、高水平人才创新培养概念的要求，通过开设科研探究性实验，让学生主动去思索去实践，了解声发射的工作原理、材料破坏的物理特性，实验原理和方法，岩石分类、损伤阶段的概念及测试方法种类，掌握声发射仪器设备的操作过程，系统了解该方法技术的科学前沿问题所涉及的实验知识体系，培养学生的科研素养和能力，增强学生的科学探索与创新

檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿［］１２７页（上接第）

１６］　ＣｈｅｎＬＣ，ＹｉＹ，ＪｉａｎｇＷ，ｅｔａｌ．ＡｔｔｅｎｔｉｏｎｔｏＳｃａｌｅ：ＳｃａｌｅＡｗａｒｅ［

ＳｅｍａｎｔｉｃＩｍａｇｅＳｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ＆ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ＬａｓＶｅｇａｓ，Ｎｅｖａｄａ，ＵＳＡ：［ｓ．ｎ．］，Ｊｕｎｅ２６Ｊｕｌｙ１，２０１６：３６４０３６４９．１７］　ＦｕＪ，ＺｈｅｎｇＨ，ＭｅｉＴ，ｅｔａｌ．ＬｏｏｋｃｌｏｓｅｒｔｏＳｅｅｂｅｔｔｅｒ：ｒｅｃｕｒｒｅｎｔ［

　语结

　侯．井．山［５］国华下钢缆机钢丝绳的损伤与防护［Ｊ］东煤炭科技，

２０１０（４）：５８５９．　陈　．声．地［６］发射技术在岩石力学研究中的应用［Ｊ］球物理学１９７７，２０（４）３１２３２２．报，　赵　捷．煤［７］毅鑫，姜耀东，祝，等岩组合体变形破坏前兆信息的试

Ｊ］．岩２００８，２７（２）３３９３４６．验研究［石力学与工程学报，：　李．材Ｊ］．实［８］顺才，蔡瑜玮料力学实验教学若干思考［验技术与管２０１０，２７（１２）：１５８１６０．理，　孙．关．力［９］建国于材料力学实验教学改革的设想［Ｊ］学与实践，２００４，２６（３）８８８９．：１０］　刘．基．大［维波，张小鹏础力学实验［Ｍ］连：大连理工大学出版

２０１１．社，１１］　ＬＡＶＲＯＶＡ．Ｆｒａｃｔｕｒｅｉｎｄｕｃｅｄｐｈｙｓｉｃａｌｐｈｅｎｏｍｅｎａａｎｄｍｅｍｏｒｙ［

ａｒｅｖｉｅｗ［Ｊ］．ＳＴＲＡＩＮ，２００５，４１（４）１３５１４９．ｅｆｆｅｃｔｓｉｎｒｏｃｋ：：

１２］　王　新．基［守光，刘耀儒，陈，等于声发射技术的含裂纹石膏试件

Ｊ］．水２０１８（１）３４．破坏分析［力发电学报，：

１３］　陶．岩［纪南，张克利，郑晋峰石破坏过程声发射特征参数的研究

Ｊ］．岩１９９６，１５（Ｓ）［石力学与工程学报，：４５２４５５．

１４］　张　昆．传［艳博，李，刘祥鑫感器类型对岩石破裂声发射时频特

Ｊ］．实２０１８，３３（６）１．征影响实验研究［验力学，：

１５］　孙．开．实［文彬放性创新实验教学改革与实践［Ｊ］验室研究与探

２００６，２５（２）：１４８１５１．索，

［］

Ｒｉｃｏ，ＵＳＡ：ｓ．ｎ．］［，Ｊｕｎｅ２５３０，２０１７：４４７６４４８４．１８］　ＪａｄｅｒｂｅｒｇＭ，ＳｉｍｏｎｙａｎＫ，ＺｉｓｓｅｒｍａｎＡ，ｅｔａｌ．Ｓｐａｔｉａｌｔｒａｎｓｆｏｒｍｅｒ［

ｒｅｃｏｇｎｉｔｉｏｎＣ∥ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｕｅｒｔｏ

ａｔｔｅｎｔｉｏｎｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｆｉｎｅｇｒａｉｎｅｄｉｍａｇｅ

［：［，ｓ．ｌ．］ｓ．ｎ．］２０１５：２０１７２０２５．

１９］　ＨｕＪ，ＳｈｅｎＬ，ＡｌｂａｎｉｅＳ，ｅｔａｌ．ＳｑｕｅｅｚｅａｎｄＥｘｃｉｔａｔｉｏｎＮｅｔｗｏｒｋｓ［

［Ｃ］／／ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ．［ｓ．ｌ．］ｓ．ｎ．］：［，２０１８：７１３２７１４１．

［２０］　ＷａｎｇＦ，ＪｉａｎｇＭ，ＱｉａｎＣ，ｅｔａｌ．ＲｅｓｉｄｕａｌＡｔｔｅｎｔｉｏｎＮｅｔｗｏｒｋｆｏｒ

ＩｍａｇｅＣｌａｓｓｉｆｉｃａｔｉｏｎ［Ｃ］∥ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ＆ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，ＵＳＡ，Ｊｕｌｙ２２Ｊｕｌｙ２５，２０１７：６４５０６４５８．

檿檿檿檿檿檿殨ｎｅｔｗｏｒｋｓＪ．ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍ．

檿檿檿檿檿檿殨檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿殨

·名人名言·

科学的未来只能属于勤奋而谦虚的年轻一代。

檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿殨———巴甫洛夫