傅立叶Hopfield神经网络及其在优化中的应用

维普资讯 http://www.cqvip.com 第２４卷第３期　２００８年６月　哈尔滨商业大学学报（自然科学版）　Ｊｏｕｒｎａｌ　ｏｆ　Ｈａｒｂｉｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｏｍｍｅｒｃｅ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅｓ　Ｅｄｉｔｉｏｎ）　Ｖ。１．２４　Ｎｏ．３　Ｊｕｎ・２００８　傅立叶Ｈｏｐｆｉｅｌｄ神经网络及其在优化中的应用　徐耀群，何少平，张莉　（哈尔滨商业大学系统工程研究所，哈尔滨１５００２８）　摘要：Ｈｏｐｆｉｅｌｄ神经网络（ＨＮＮ）是一种有效的优化模型，但存在易收敛到局部极小的缺点．傅立叶　级数具有良好的函数逼近能力和较高的非线性度，基于这一特点，提出了一种新型的Ｈｏｐｆｉｅｌｄ神经网　络——傅立叶Ｈｏｐｆｉｅｌｄ神经网络（ＦＨＮＮ），其激励函数是由三角函数和Ｓｉｇｍｏｉｄ函数组成并将该模　，型用于优化问题．仿真结果表明傅立叶Ｈｏｐｆｉｅｌｄ神经网络能够较快收敛到最优解，在解决优化问题上　表现出令人满意的效果．　关键词：傅立叶级数；Ｈｏｐｆｉｅｌｄ神经网络：优化问题　中图分类号：ＴＰ１８　文献标识码：Ａ　文章编号：１６７２—０９４６（２００８）０３—０２７７—０４　Ｓｔｕｄｙ　ｏｎ　ｍｏｄｅｌ　ｏｆ　Ｆｏｕｒｉｅｒ　Ｈｏｐｆｉｅｌｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎｓ　ｉｎ　ｏｐｔｉｍｉｚａｔｉｏｎ　ＸＵ　Ｙａｏ—ｑｕｎ，ＨＥ　Ｓｈａｏ。ｐｉｎｇ，ＺＨＡＮＧ　Ｌｉ　（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　ｓｙｓｔｅｍ　ｅｎｇｉｎｅｅｒｉｎｇ，Ｈａｒｂｉｎ　ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　ｃｏｍｍｅｒｃｅ，Ｈａｒｂｉｎ　１５００２８，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｈｏｐｆｉｅｌｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ（ＨＮＮ）ｉｓ　ａｎ　ｅｆｉｆｃｉｅｎｔ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｍｏｄｅｌ，ｂｕｔ　ｉｔ　ｉｓ　ｅａｓｙ　ｔｏ　ｂｅ　ｔｒａｐｐｅｄ　ｉｎ　ｌｏｃａｌ　ｍｉｎｉｍａ．Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ａ　ｎｅｗ　ｍｏｄｅｌ　ｏｆ　Ｈｏｐｆｉｅｌｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｗｈｉｃｈ　ｉｓ　ｃａｌｌｅｄ　Ｆｏｕｒｉｅｒ　Ｈｏｐｆｉｅｌｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ（ＦＨＮＮ）ａｎｄ　ｉｔｓ　ａｃｔｉｖａｔｉｏｎ　ｆｕｎｃｔｉｏｎ　ｉｓ　ｃｏｍ—　ｐｏｓｅｄ　ｂｙ　ｔｉｇｏｎｏｍｅｔｒｉｃ　ｆｕｎｃｔｉｏｎ　ａｎｄ　ｓｉｇｍｏｉｒｄ　ｆｕｎｃｔｉｏｎ，ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｆａｃｔ　ｔｈａｔ　ｔｈｅ　Ｆｏｕｒｉｅｒ　ｓｅ—　ｒｉｅｓ　ｎｏｔ　ｏｎｌｙ　ｈａｓ　ｔｈｅ　ｆｕｒｔｈｅｒ　ａｂｉｌｉｔｙ　ｉｎ　ｌｏｃａｌ　ａｐｐｒｏａｃｈｉｎｇ　ｂｕｔ　ａｌｓｏ　ｈａｓ　ａ　ｎａｔｕｒｅ　ｏｆ　ｈｉｇｈｅｒ　ｎｏｎ—　ｌｉｎｅａｒ，ａｎｄ　ａｐｐｌｉｅｄ　ｔｈｅ　ｍｏｄｅｌ　ｔｏ　ｔｈｅ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｐｒｏｂｌｅｍｓ．Ｔｈｅ　ｓｉｍｕｌａｔｉｏｎ　ｒｅ—　ｓｕｉｔｓ　ｈａｖｅ　ｓｈｏｗｎ　ｔｈａｔ　ｔｈｅ　Ｆｏｕｒｉｅｒ　Ｈｏｐｆｉｅｌｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｈａｓ　ｈｉｇｈｅｒ　ａｂｉｌｉｔｙ　ｏｆ　ｓｅａｒｃｈｉｎｇ　ｆｏｒ　ｇｌｏｂａｌｌｙ　ｏｐｔｉｍａｌ　ｓｏｌｕｔｉｏｎｓ　ａｎｄ　ｓｕｍｍｉｔｓ　ａ　ｓａｔｉｓｆｉｅｄ　ａｃｃｕｒａｔｅ　ｅｆｆｅｃｔ　ｉｎ　ｔｈｅ　ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｏｐｔｉｍｉ—　ｚａｔｉｏｎ　ｐｒｏｂｌｅｍｓ．　Ｋｅｙ　ｗｏｒｄｓ：Ｆｏｕｒｉｅｒ　ｓｅｒｉｅｓ；Ｈｏｐｆｉｅｌｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｏｐｔｉｍｉｚａｔｉｏｎ　ｐｒｏｂｌｅｍｓ　１９８２年，Ｈｏｐｆｉｅｌｄ提出一种反馈神经网络模　型（ＨＮＮ）…，开辟了神经网络的新天地，其应用之　一网络　］，提出了小波混沌神经网络模型．傅立叶级　数具有良好的函数逼近能力和较高的非线性度，基　于这一特点有学者将傅立叶级数应用于前馈神经　网络中　］，但将傅立叶级数嵌入反馈神经网络的　研究还没有出现．本文基于傅立叶级数的上述优　点，通过把以往的单调递增的Ｓｉｇｍｏｉｄ激励函数转　换成由Ｓｉｇｍｏｉｄ函数和三角函数加和组成非单调　就是解决各种优化问题　，但存在的缺点是在　求解过程中极易陷入局部极小点．有效的激励函数　可取各种形状　］，并应表现出非单调行为的结论．　基于这一结论，很多学者对激励函数进行了研究，　如将小波函数与Ｓｉｇｍｏｉｄ函数结合　，提出了小波　Ｈｏｐｆｉｅｌｄ神经网络模型，将小波函数引入混沌神经　收稿日期：２００７—０９—２ｌ　的激励函数，提出了一种新的反馈神经网络模　基金项目：黑龙江省自然科学基金（Ｆ２００７—１５）；黑龙江省教育厅科学技术一般项目（１１５２１０５６）　作者简介：徐耀群（１９７２一），男。教授。博士。研究方向：人工神经网络．　维普资讯 http://www.cqvip.com

・２７８・　哈尔滨商业大学学报（自然科学版）　第２４卷　型——傅立叶Ｈｏｐｆｉｅｌｄ神经网络（ＦＨＮＮ），并将其　应用于连续函数优化和经典的ＴＳＰ问题，取得了　优化问题分为函数优化和组合优化两种，很多　实际问题都可以转换成为其中的一种进行求解．函　令人满意的效果．　１　傅立叶Ｈｏｐｆｉｅｌｄ神经网络　１．１傅立叶级数　数优化的对象是一定区间内的连续变量，而组合优　化的对象则是解空间中的离散状态．为了验证傅立　叶Ｈｏｐｆｉｅｌｄ神经网络的有效性，将其分别应用于函　数优化和组合优化问题．　用Ｈｏｐｆｉｅｌｄ解决优化计算问题时，首先要把优　化问题映射到一种神经网络的特定组态上，此组态　由法国数学家、物理学家Ｆｏｕｒｉｅｒ，Ｊｅａｎ　Ｂａｐ—　ｔｉｓｔｅ　Ｊｏｓｅｐｈ提出任一函数都可以展成三角函数的　无穷级数，下面给出傅立叶级数的定义　．　相应于优化问题的可能解；然后在构造一个适合于　定义１三角函数系：　ｅｏｓｘ，ｓｉｎｘ，ｃｏｓ２ｘ，ｓｉｎ２ｘ，……，ｅｏｓ￣ｔ７，ｓｉｎｘ，……　（１）　三角函数系在［一１ｒ，１ｒ］上是正交的．　定理１若　）在（一ｆ，ｆ）内逐段连续并有　逐段连续的导数，且一切不连续的点　是正则的　（艮　）＝÷［　一０）＋　＋０）］），则　）可展　开成傅立叶级数：　）：了ａｏ＋ｌｉ二　ｎ　－ｍ＋∞ｊ　．耋　ｃＪ　ｏｓ　＋６ｉ　ｓｉｎ　］，　（２）　式中　＝÷［　）ｃ０ｓ　ｔ＇ｔ，ｒｘｄ…ｘ（　１，２，…），（３）　ｂ　＝了１厂　）ｓｉｎ　ｔ＇ｔｒ，Ｘｄ…ｘ（　１，２，…）．（４）　则称之为函数　）的傅立叶级数，且系数ａ。，　ａ　，ｂ　，（　１，２，３，…）称为　）的傅立叶系数．　１．２傅立叶Ｈｏｐｆｅｉｌｄ神经网络模型　在连续Ｈｏｐｆｉｅｌｄ神经网络的激励函数中引入　三角函数，就把网络改造成傅立叶Ｈｏｐｆｉｅｌｄ神经网　络（ＦＨＮＮ）．此时的网络动态方程与传统的　Ｈｏｐｆｉｅｌｄ神经网络相同，但是，式中的激励函数为　Ｓｉｇｍｏｉｄ函数和三角函数的加和组成．即：　ｄｕ（　ｔ）＝Ｗｖ（ｔ）＋６　）＝　＋　（５）　Ｌ　ｃｏｓ（ｉｔ１・　（ｔ））＋　２ｓｉｎ（／ｘ２・“（ｔ））Ｊ　式中：　为神经网络的连接权值；　（ｔ）为神经网络　的输出；Ｕ（ｔ）为神经网络的输入，　。，　，ｔＺ：，　，　：　为参数．　在传统的Ｈｏｐｆｉｅｌｄ神经网络的激励函数中引　入三角函数，是基于傅立叶级数的良好特性，如函　数逼近能力、可作为函数空间的基，即逼近过程中　产生的函数冗余少，较高的非线性度．　２　在优化问题中的应用　待优化问题的能量函数Ｅ，此Ｅ应正比例于优化　问题的代价函数．用Ｈｏｐｆｉｅｌｄ网络求解优化问题的　一般过程如下：　１）对于待求的问题，选择一种合适的表示方　法，将神经元网络的输出与问题的解对应起来，　２）构造神经元网络的能量函数，使其最小值　对应于问题的最佳解；　３）由能量函数逆推神经网络的结构，即神经　元之间的权值　和偏置输入；　４）由网络结构建立网络，其运行的稳定状态　即在一定条件下的最优解．　２．１连续函数优化　本文将傅立叶Ｈｏｐｆｉｅｌｄ神经网络应用于Ｓｉｘ—　Ｈｕｍｐ　Ｃａｍｅｌ—Ｂａｃｋ　ＦｕｎｃｔｉｏｎＬ４　函数的优化问题．该　函数的最小值为一１．０３１　６２８　５，对应的坐标是　（０．０８９　８３。一０．７１２　６）或（一０．０８９　８３，　０．７１２　６）．Ｓｉｘ—Ｈｕｍｐ　Ｃａｍｅｌ—Ｂａｃｋ函数表达式如　下：　／＿（　１，　２）＝４ｘ　一２．Ｉｘ　＋　／３＋　１　２—４　＋　４　；，Ｉ　Ｉ≤５．　（６）　取初始参数值：／ｘｏ＝３；　１＝　２＝０．１；／ｘ１＝／ｘ２＝　３；Ａｔ＝０．５；　＝（０，０）；循环次数　＝５００．仿真结　果如下：最优状态（一０．０８９　８，０．７１２　７），最优值为　一１．０３１　６．图１是置和　寻优图．　‘　‘　１　０　１００　２００　３００　４００　５００　图１　。和　寻优图　维普资讯 http://www.cqvip.com 第３期　徐耀群，等：傅立叶Ｈｏｐｆｉｅｌｄ神经网络及其在优化中的应用　・２７９・　傅立叶Ｈｏｐｆｉｅｌｄ神经网络在求解函数优化时　很快（平均迭代次数不到５０次）就收敛到最优解，　说明该网络容易跳出局部极小点，而收敛到全局最　优点．　１，非单调程度越大；　。＝　越接近０，非单调程度　越小．在每一组参数下运行２　０００次，仿真结果见　表１—７所示．　表１不同甜。＝　参数下仿真结果　２．２在组合优化中的应用　本文将傅立叶Ｈｏｐｆｉｅｌｄ神经网络应用于１０城　市旅行商问题（ＴＳＰ）．旅行商问题描述如下：给定　个城市和两两城市之间的距离，要求确定一条经　过各城市当且仅当一次的最短路线．　达到最短路径并满足所有条件的一个能　量函数可以描述如式（７）　］．其中：　代表第　个　城市在第ｉ次序上被访问，ｄ　为城市　、Ｙ之间的距　离．因此，一个全局最小的Ｅ值代表一条最短的有　效路径¨　．　Ｅ＝　（　弘＿１）　＋　Ｂ　耋（　＋　Ｄ　ｄ　¨　．　（７）　本文采用以下经典归一化后的１０城市坐标：　（０．４，０．４４３　９）；（０．２４３　９，０．１４６　３）；（０．１７０　７，　０．２２９　３）；（０．２２９　３，０．７１６）；（０．５１７　１，　０．９４１　４）；（０．８７３　２，０．６５３　６）；（０．６８７　８，０．５２１　９）；（０．８４８　８，０．３６０　９）；（０．６６８　３，０．２５３　６）；（　０．６１９　５，０．２６３　４）．该１０城市最短路径为２．６７７　６，见图２．　图２最优路径　为了简化问题，本文在求解ＴＳＰ问题时取，　＝　２，　ｆ＝　２．初始参数值：Ａ＝Ｂ＝１；Ｄ＝１；／ｚ０＝１；　Ａｔ＝０．４；ｕ（ｆ）初始值由电脑随机产生．　下面通过取不同的　＝　，　＝　值，以深入　研究非单调三角函数对求解１０城市ＴＳＰ的影响，　也即该网络模型的三角函数的非单调程度对求解　１０城市ＴＳＰ的影响，每次只改变一对参娄叟．越接近　表２不同　。＝　２参数下仿真结果　表３不同　。＝　２参数下仿真结果　表４不同　。＝　２参数下仿真结果　表５不同　。＝　参数下仿真结果　维普资讯 http://www.cqvip.com ・２８０－　哈尔滨商业大学学报（自然科学版）　表６不同　。＝ｂｔ：参数下仿真结果　第２４卷　到，　，＝　：的值太小或者太大都不利于网络跳出　局部极小点．　３　结　语　本文提出的傅立叶Ｈｏｐｆｉｅｌｄ神经网络模型能　够有效地解决函数优化问题和ｌＯ城市旅行商问　题，说明将傅立叶级数引入反馈神经网络的可行　性．我们下一步将对傅立叶Ｈｏｐｆｉｅｌｄ网络中的　，，　表７不同　１＝ｂｔ：参数下仿真结果　１）从表１可以看到，当三角函数的非单调程　度小（　＝　：＝０．０２或＝０．０５）时，在相同参数下，　傅立叶Ｈｏｐｆｉｅｌｄ神经网络要优于传统的Ｈｏｐｆｉｅｌｄ　神经网络．说明在激励函数中引入三角函数，利用　激励函数的非单调性可以使网络有效地跳出局部　极小点，收敛到全局极小点．　２）从表１～７可以看到，当三角函数中　，＝　：和　，＝　的值逐渐增大时，傅立叶Ｈｏｐｆｉｅｌｄ神　经网络跳出局部极小点，收敛到全局极小点的能力　明显下降，这说明，太大的非单调性反而是网络不　容易跳出局部极小点．　３）从表１～７可以看到，在　，＝　：的值比较　小的时候，　，＝　：的值增大对傅立叶Ｈｏｐｆｉｅｌｄ神经　网络跳出局部极小点，收敛到全局极小点，影响不　是很大，但是当　，＝　的值比较大的时候，　＝　：　的值增大对傅立叶Ｈｏｐｆｉｅｌｄ神经网络跳出局部极　小点，收敛到全局极小点，影响很大．同时也可以看　：，　，，／ｘ２，取不同的值做进一步深入研究．　参考文献：　［１］ＨＯＰＦＩＥＬＤ　Ｊ　Ｊ。Ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ａｎｄ　ｐｈｙｓｉｃａｌ　ｓｙｓｔｅｍｓ　ｗｉｔｈ　ｅ—　ｍｅｒｇｅｎｔ　ｃｏｌｌｅｃｔｉｖｅ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ａｂｉｌｉｔｉｅｓ［Ｊ］．ＰｒｏｃＮａｄＡ　ｃａｄ　Ｓｃｉ，】９８２，７９：２５５４—２５５８．　［２］　王　凌，郑大钟．ＴＳＰ及其基于Ｈｏ曲ｅｌｄ网络优化的研究　［Ｊ］．控制与决策，１９９９，１４（６）：６７１—６７４。　［３］徐耀群，孙明。小波Ｈｏ曲ｅｌｄ神经网络及其在优化中的应　用［Ｊ］．计算机工程与应用，２００６，４２（３２）：４２－４３．　［４］徐耀群，孙明，张家海．小波混沌神经网络及其在优化计算　中的应用［Ｃ］／／Ｔｈｅ　６ｔｈ　Ｗｏｒｌｄ　Ｃｏｎｇｒｅｓｓ　ｏｎ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｃｏｎｔｒｏｌ　ａｎｄ　Ａｕｔｏｍａｔｉｏｎ（ＷＣＩＣＡ２００６），大连：［出版者不详］，２００６，　６：３００４—３００９．　［５］ＨＯＰＦＩＥＬＤ　Ｊ，ＴＡＮＫ　Ｄ．Ｎｅｕｒａｌ　ｃｏｍｐｕｔａｔｉｏｎ　ｏｆ　ｄｅｃｉｓｉｏｎｓ　ｉｎ　０ｐ—　ｔｉｍｉｚａｔｉｏｎ　ｐｒｏｂｌｅｍｓ［Ｊ］．Ｂｉｏｌｏｇｙ　Ｃｙｂｅｒｎｅｔｉｃｓ，１９８５，５２：１４１一　ｌ５２．　［６］　王　凌．智能优化算法及其应用［Ｍ］．北京：清华大学出版　社．２００１：４—５．　［７］　ＳＨＵＡＩ　Ｊ　Ｗ，ＣＨＥＮ　Ｚ　Ｘ，ＬＩＵ　Ｒ　Ｔ，ｅｔ　ａ１．Ｓｅｌｆ—ｅｖｏｌｕｔｉｏｎ　Ｎｅｕ—　ｒａｌ　Ｍｏｄｅｌ［Ｊ］．Ｐｈ３，ｓｉｃｓ　Ｌｅｔｔｅｒｓ　Ａ，１９９６，２２１（５）：３１１—３ｌ６．　［８］邹阿金，沈建中，傅立叶神经网络建模研究［Ｊ］．湘潭大学自　然科学学报，２００１，２３（２）：２３—２６．　［９］　孙守宇，郑君里．Ｈｏｐｆｉｅｌｄ网络求解ＴＳＰ的一种改进算法和理　论证明［Ｊ］．电子学报，１９９５，１（２３）：７３—７８．　［１Ｏ］徐耀群，包丹，甲继承．一种联想记忆网络研究［Ｊ］．哈尔　滨商业大学学报：自然科学版，２００８，２４（１）：７７—８Ｏ．