神经网络算法求解微分方程的参数敏感性研究

论文摘要

几十年前,I.Lagaris和A.Likas提出了一种利用前馈神经网络求解微分方程的新数值方法。此方法可用于求解各类初始值和边界值问题,数值试验显示固定体系结构的单隐藏层神经网络提供了准确的解决方案。然而,此类研究至今未能提供各种网络参数如何影响计算结果的任何有效信息,特别是计算效率与数值解的精度与参数(如权重、网络层数、网络节点数、激活函数的选择、训练点集、训练点数等)的依赖关系。本文旨在通过对该方法的分析以及一系列数值试验研究来回答这个问题。首先,我们研究了数值解的误差如何随着用于训练网络的点数的增加而减少。其次,我们进行了一些类似的测试,针对网络的复杂性及其深度进行。最后,数值试验证明只要激活函数足够光滑且非线性,数值结果与激活函数的选择无关。

论文目录

• 中文摘要
• Abstract
• 1 Background
•   1.1 Artificial Neural Networks
•     1.1.1 Description of an artificial neural network
•     1.1.2 Training
•     1.1.3 Approximation capabilities of feedforward neural networks
•   1.2 Related work and our contribution
• 2 Presentation of the method
•   2.1 Problem formulation
•   2.2 Construction of the Network
•   2.3 Brief illustration
•   2.4 Examples
•     2.4.1 First-order ordinary differential equation
•     2.4.2 Second-order ordinary differential equation
•     2.4.3 System of coupled ODE's
•     2.4.4 Partial differential equations
•     2.4.5 Poisson's equation
• 3 Accuracy of single hidden layer network
•   3.1 On the training set
•     3.1.1 Size of the training set
•     3.1.2 Different choice of grid
•   3.2 On the network complexity
•     3.2.1 On the width of single hidden layered networks
•     3.2.2 On the number of layers
•   3.3 On the activation function
• 4 Conclusion and future work
• Bibliography

文章来源

类型: 硕士论文

作者: REMI HERNANDEZ

导师: 许传炬

关键词: 神经网络,机器学习,微分方程,数值解,参数敏感性

来源: 厦门大学

年度: 2019

分类: 基础科学

专业: 数学,数学

单位: 厦门大学

分类号: O241.8

DOI: 10.27424/d.cnki.gxmdu.2019.000258

总页数: 50

文件大小: 2628K

下载量: 2