极限学习机前沿进展与趋势

论文摘要

极限学习机（Extreme Learning Machine,ELM）作为前馈神经网络学习中一种全新的训练框架,在行为识别、情感识别和故障诊断等方面被广泛应用,引起了各个领域的高度关注和深入研究.ELM最初是针对单隐层前馈神经网络的学习速度而提出的,之后又被众多学者扩展到多隐层前馈神经网络中.该算法的核心思想是随机选取网络的输入权值和隐层偏置,在训练过程中保持不变,仅需要优化隐层神经元个数.网络的输出权值则是通过最小化平方损失函数,来求解Moore-Penrose广义逆运算得到最小范数最小二乘解.相比于其它传统的基于梯度的前馈神经网络学习算法,ELM具有实现简单,学习速度极快和人为干预较少等显著优势,已成为当前人工智能领域最热门的研究方向之一.ELM的学习理论表明,当隐层神经元的学习参数独立于训练样本随机生成,只要前馈神经网络的激活函数是非线性分段连续的,就可以逼近任意连续目标函数或分类任务中的任何复杂决策边界.近年来,随机神经元也逐步在越来越多的深度学习中使用,而ELM可以为其提供使用的理论基础.本文首先概述了ELM的发展历程,接着详细阐述了ELM的工作原理.然后对ELM理论和应用的最新研究进展进行了归纳总结,着重讨论并分析了自ELM提出以来的主要学习算法和模型,包括提出的原因、核心思想、求解方法、各自的优缺点以及相关问题.最后,针对当前的研究现状,指出了ELM存在的争议、问题和挑战,并对未来的研究方向和发展趋势进行了展望.

论文目录

• 1 引言
• 2 ELM算法最新进展
•   2.1 标准极限学习机
•   2.2 正则极限学习机
•   2.3 单核极限学习机
•   2.4 多核极限学习机
•   2.5 在线序列极限学习机
• 3 ELM网络结构优化
•   3.1 群智能优化
•   3.2 增量构造法
•   3.3 剪枝构造法
•   3.4 自适应构造法
• 4 ELM融合与加速
•   4.1 集成极限学习机
•   4.2 并行极限学习机
• 5 ELM深度学习模型
• 6 极限学习机的应用
•   6.1 ELM在医疗和生物医学中的应用
•   6.2 ELM在计算机视觉中的应用
•   6.3 ELM在故障诊断中的应用
• 7 争议及未来研究方向
•   7.1 存在的争议
•   7.2 未来研究方向
• 8 结束语
• Background

文章来源

类型: 期刊论文

作者: 徐睿,梁循,齐金山,李志宇,张树森

关键词: 极限学习机,网络结构,正则化,核学习,深度学习,在线学习,并行计算

来源: 计算机学报 2019年07期

年度: 2019

分类: 信息科技

专业: 自动化技术

单位: 中国人民大学信息学院

基金: 国家自然科学基金项目(71531012,61762073,71601013),国家社会科学基金(18ZDA309),北京市自然科学基金(4172032,4174087),北大方正集团有限公司数字出版技术国家重点实验室开放课题资助~~

分类号: TP18

页码: 1640-1670

总页数: 31

文件大小: 2383K

下载量: 11327