<wbr id="a7gzs"></wbr>
    <wbr id="a7gzs"></wbr>
  1. 
    

      收藏本站
      《江苏大学》 2019年
      收藏 | 手机打开
      二维码
      手机客户端打开本文

      基于粒子群优化的随机前馈神经网络的研究

      凌青华  
      【摘要】:相对于基于梯度学习的前馈神经网络,随机前馈神经网络(RFNN,Random Feedforward Neural Network)具有更快的学习速度和良好的泛化性能,近年来得到了深入研究与广泛应用。因随机设置网络输入层权值和隐单元阈值,RFNN存在两个主要缺陷:(1)相对于基于梯度学习的前馈神经网络,RFNN需要更多的隐层神经元,增加了网络复杂性,导致网络泛化性能降低。(2)非最优或非近似最优的网络输入层权值和隐单元阈值会使RFNN输出层权值非最优或非近似最优,从而降低网络的泛化性能。因此,优选合适的网络输入层权值和隐单元阈值是提高RFNN性能的关键。相对于其它启发式优化算法,粒子群优化(PSO,Particle Swarm Optimization)算法需要调整的参数少,无复杂的进化操作,实现简单,只需较小的演化群体,在很多非线性优化问题方面都取得了良好的效果。因此,为克服因随机设置网络输入层权值和隐单元阈值所带来的缺陷,本文运用PSO分别对单隐层RFNN、集成RFNN和深度RFNN进行优化,在提高这三类网络性能的同时降低它们的复杂度。本文研究为前馈神经网络性能的提高和群智能优化算法的改进提供了新的思路,主要工作包括:1.针对RFNN因随机设置输入层网络权值和隐单元阈值而导致网络的隐层神经元数目过多、泛化性能不高,提出了一类运用PSO编码网络输入输出灵敏度信息优化单隐层RFNN学习方法(PSOIOS-ELM)。该方法在运用PSO对网络的输入层网络权值和隐单元阈值进行优化时,根据网络在训练样本集上的输入输出灵敏度信息,调整各粒子的个体历史最优位置和种群的全局最优粒子位置,在提高算法收敛精度的前提下,降低网络的输入输出灵敏度。PSOIOS-ELM方法通过合理降低网络的输入输出灵敏度,有效减少隐单元的数目、增加网络的鲁棒性、提高网络条件性能和泛化性能。在多个回归和分类问题上的实验结果验证了所提出方法的有效性。2.为了克服传统集成RFNN的缺陷,提出了一类基于双重优化策略的集成随机前馈神经网络优化学习方法(DO-EOBELM),包括备选RFNN库的生成、成员RFNN的选择与集成、冗余成员RFNN的剔除。为了提高备选RFNN的差异性,该方法首先利用生成正交基的方法产生相互正交的RFNN集合,并从中筛选低输入输出灵敏度RFNN建立备选RFNN库;其次,在综合考虑集成系统的分类性能和差异性的基础上,利用吸引排斥粒子群优化(ARPSO,Attractive and Repulsive Particle Swarm Optimization)算法从备选RFNN库中筛选成员组成集成系统;再次,利用ARPSO对各成员RFNN集成权值进行优化;最后,根据集成权值大小剔除集成系统中冗余的成员RFNN,在保证集成系统收敛性能的基础上提高其紧凑性。在函数回归、基准数据分类和基因表达谱数据分类等问题上的实验结果表明,DO-EOBELM方法能够构建网络结构更为紧凑、泛化性能更优的集成随机前馈神经网络系统。3.针对传统深度RFNN因随机设置各隐层对应的自动编码器参数,而使其性能受到影响,提出了一类基于PSO的深度随机前馈神经网络优化学习方法(PSO-ML-ELM)。该方法首先利用PSO耦合网络的输入输出灵敏度信息,对各隐层对应的自动编码器的输入层权值和隐单元阈值进行优化,从而通过改善各个自动编码器的性能来改善深度随机前馈神经网络的性能。然后利用PSO对整个深度随机网络的权值做简单优化,进一步提高深度随机前馈神经网络的性能。在不同的数据集上的实验结果表明PSO-ML-ELM方法在时间开销和泛化性能方面有较好的平衡。4.对方法PSOIOS-ELM和DO-EOBELM分别进行了理论分析。针对方法PSOIOS-ELM中输入输出灵敏度函数计算量较大的问题,根据网络隐单元激活函数的导数函数的单调性情况,推导出几类简化的网络输入输出灵敏度函数,在保证网络泛化性能的基础上降低了网络的训练开销。针对方法DO-EOBELM中剔除集成系统中冗余的子网络时,阈值难以确定的问题,论文在分类问题上给出了理论分析,为相应阈值的确定提供了理论指导。
      【学位授予单位】:江苏大学
      【学位级别】:博士
      【学位授予年份】:2019
      【分类号】:TP183

      【参考文献】
      中国期刊全文数据库 前2条
      1 吕柏权,村田纯一,平泽宏太郎;使用三层神经元网络的先验信息新学习方法[J];中国科学E辑:信息科学;2004年04期
      2 吴佑寿,赵明生;激活函数可调的神经元模型及其有监督学习与应用[J];中国科学E辑:技术科学;2001年03期
      【共引文献】
      中国期刊全文数据库 前10条
      1 周畅;米红娟;;深度学习中三种常用激活函数的性能对比研究[J];北京电子科技学院学报;2017年04期
      2 王正武;宁顺杰;;基于激活函数可调的改进型BP网络故障检测应用研究[J];测试技术学报;2013年02期
      3 沈济南;郑明辉;;基于样本划分与均匀遗传操作的遗传神经网络[J];武汉理工大学学报(信息与管理工程版);2011年06期
      4 陈先来;杨路明;王建新;;使用干细胞机制优化反向传播神经网络[J];系统仿真学报;2011年12期
      5 徐小军;杜华强;周国模;董德进;范渭亮;崔瑞蕊;;Erf-BP混合像元分解及在森林遥感信息提取中应用[J];林业科学;2011年02期
      6 王高祖;李伟华;徐艳玲;;基于神经网络组合模型的软件可靠性评估研究[J];计算机仿真;2010年08期
      7 徐志英;;跨层连接的改进BP算法及其应用[J];连云港职业技术学院学报;2010年01期
      8 翁宗煌;黄晞;王平;张萧;;基于权值函数神经元的BP网络研究[J];福建师范大学学报(自然科学版);2010年02期
      9 唐云岚;高妍方;谭旭;陈英武;;基于跨越连接的多层前馈神经网络结构分析[J];计算机工程与应用;2009年32期
      10 徐志英;;一种改进的多层前馈神经网络结构研究[J];科学技术与工程;2009年17期
      【二级参考文献】
      中国期刊全文数据库 前2条
      1 吴佑寿,赵明生,丁晓青;一种激励函数可调的新人工神经网络及应用[J];中国科学E辑:技术科学;1997年01期
      2 吴佑寿;利用输入信号先验知识构造某些分类神经网络的研究[J];中国科学E辑:技术科学;1996年02期
      【相似文献】
      中国期刊全文数据库 前10条
      1 孙景文;常鲜戎;;基于高斯混沌粒子群优化动态前馈神经网络的短期负荷预测[J];陕西电力;2015年09期
      2 周小燕,徐晋;一种基于重置的变结构前馈神经网络[J];南昌大学学报(理科版);2004年04期
      3 彭娟,王方华,徐晋;基于熵方误差的高斯牛顿前馈神经网络[J];系统工程理论方法应用;2003年04期
      4 徐善针,洛永平,崔荣一;三层前馈神经网络的异联想算法[J];延边大学学报(自然科学版);2001年04期
      5 吴龙标,张本矿,连加锐;基于遗传算法的前馈神经网络火灾探测[J];火灾科学;1998年02期
      6 张春雷,杨治国,龙伟;前馈神经网络开发工具的研究[J];四川联合大学学报(工程科学版);1997年06期
      7 江冰,张勇传;改进半前馈神经网络学习算法[J];水电能源科学;1997年02期
      8 吴宁,李韧强;分支前馈神经网络的研究[J];重庆大学学报(自然科学版);1995年03期
      9 闻辉;严涛;李同彬;陈德礼;;典型前馈神经网络的研究现状与分析[J];科技风;2019年17期
      10 王士同;钟富礼;蒋亦樟;;我们还需要前馈神经网络技术?[J];江南大学学报(自然科学版);2013年06期
      中国重要会议论文全文数据库 前10条
      1 寇纪淞;徐博艺;刘刚;;用遗传算法训练前馈神经网络的权值[A];1994中国控制与决策学术年会论文集[C];1994年
      2 孙德保;王凯;;前馈神经网络的容错性研究[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
      3 杨华民;姜会林;;前馈神经网络泛化能力评估方法研究[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
      4 刘永清;刘泉宝;蔡广基;;最大存贮容量的前馈神经网络拓扑结构的研究[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
      5 姜力孚;郑维敏;陈剑;李荣改;王玉珍;;前馈神经网络的正交遗传算法学习方法及其在水稻育种中的应用[A];复杂巨系统理论·方法·应用——中国系统工程学会第八届学术年会论文集[C];1994年
      6 刘曙光;郑崇勋;刘明远;;前馈神经网络中的反向传播算法及其改进:进展与展望[A];1995年中国控制会议论文集(下)[C];1995年
      7 杨亚伟;;BP算法优化及应用研究[A];2005年全国理论计算机科学学术年会论文集[C];2005年
      8 王学智;;一般神经网络的最优判决与实现[A];1997中国控制与决策学术年会论文集[C];1997年
      9 韦敏;;前馈神经网络的TLS学习算法[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
      10 陈小惠;;基于神经网络的直流电动机速度控制[A];1994中国控制与决策学术年会论文集[C];1994年
      中国博士学位论文全文数据库 前10条
      1 凌青华;基于粒子群优化的随机前馈神经网络的研究[D];江苏大学;2019年
      2 李锋;前馈神经网络稀疏化的正则化方法[D];大连理工大学;2018年
      3 王健;前馈神经网络梯度学习算法收敛性分析[D];大连理工大学;2012年
      4 侯木舟;基于构造型前馈神经网络的函数逼近与应用[D];中南大学;2009年
      5 Atlas Khan;神经网络的优化与用于优化的神经网络[D];大连理工大学;2013年
      6 范钦伟;带光滑正则项前馈神经网络学习算法的收敛性分析[D];大连理工大学;2014年
      7 许世刚;计算智能及其在水利水电工程中的应用[D];河海大学;2001年
      8 付爱民;极速学习机的训练残差、稳定性及泛化能力研究[D];中国农业大学;2015年
      9 贺彦林;前馈神经网络结构设计研究及其复杂化工过程建模应用[D];北京化工大学;2016年
      10 张会生;前馈神经网络梯度训练算法的几个收敛性结果[D];大连理工大学;2009年
      中国硕士学位论文全文数据库 前10条
      1 王子昊;基于前馈神经网络控制优化城镇污水处理厂生化单元性能研究[D];浙江大学;2019年
      2 石佳超;基于CMAQ与前馈神经网络的区域大气污染物浓度快速响应研究[D];浙江大学;2019年
      3 张维恒;基于毫米波光载无线通信系统的前馈神经网络信道均衡技术研究[D];北京邮电大学;2018年
      4 田金鹏;前馈神经网络在自适应逆控制中的应用研究[D];郑州大学;2005年
      5 康艳旗;基于多层前馈神经网络盲均衡算法的研究[D];太原理工大学;2007年
      6 邓维;基于单隐层前馈神经网络极限算法的高速公路工程投资估算模型研究[D];江西理工大学;2017年
      7 袁光耀;基于非线性滤波优化的前馈神经网络训练方法研究[D];河南大学;2016年
      8 吕俊;前馈神经网络参数和结构的优化策略研究[D];南京工业大学;2004年
      9 王磊;基于遗传算法的前馈神经网络结构优化[D];东北石油大学;2013年
      10 马岩尉;基于前馈神经网络的电子鼻模式识别方法[D];大连理工大学;2010年
      中国知网广告投放
       快捷付款方式  订购知网充值卡  订购热线  帮助中心
      • 400-819-9993
      • 010-62791813
      • 010-62985026


      福利黄片