卷积神经网络的方程组求解,本文是关于神经网络方面论文范文数据库和卷积神经网络和方程组和求解有关自考开题报告范文.
神经网络论文参考文献：
摘 要：通过迭代求解方程组的解,提出了一种基于卷积神经网络求解线性方程组的病态方程组的方法,由于条件数过大,影响求解的精度,将求解方程组的过程转换为神经网络学习的过程.通过神经网络学习同目标数据形成一种映射关系,用最小化误差来实现参数优化,把方程组求解的问题进而转换成参数的优化问题,求得目标解.卷积神经网络的参数共享机制在高维的矩阵计算中减小了计算量,提高了计算效率.
关键词：卷积神经网络；病态方程组；参数优化；线性方程组；条件数
0 引言
方程组的求解是科学与工程计算中的基本问题,在众多的工程计算和控制领域,以及医学领域有着广泛的运用,众多的算法提出也为问题的解决提供了较为有力的支持,例如预处理共轭梯度法、奇异值分解法、遗传算法及BP 算法等,但是传统的方法仍存在一些问题,比如传统的方法基本上都是建立在串行的基础上进行,但是并行运算比较困难,而人工神经网络可以提供一种并行计算的方法,卷积神经网络的出现在一定程度上可以解决存在的问题.提出了基于误差反向传播的卷积神经网络算法[1],以2 层神经网络对方程组进行求解来达到目的[2].
1 基于卷积神经网络的方程组求解1.1 卷积神经网络
卷积神经网络是一种人工神经网络,在众多的领域被广泛运用,例如图像处理、视频分析、目标追踪、自然语言处理及人脸识别等,卷积神经网络同传统意义上的人工神经网络有所区别,它采用了权重共享机制,通过权重共享机制大大减少了权重的数量,从而降低了计算过程中的复杂程度,卷积神经网络的优良特性归功于它的网络结构,该网络由输入层、卷积层、池化层、全连接层和输出层组成.
1.2 卷积神经网络模型
病态方程组的求解设计,充分地考虑了输入与输出的映射关系,该网络具有以下特点：
① 输入与输出：网络结构接收来自系数矩阵的原始数据,并在不改变数据大小以及数量的前提下对系数矩阵的大小维度进行了重新定义.虽然未将系数矩阵的维度直接输入,但是在计算系数矩阵维度时所耗时长可以忽略不计,输出层的输出就是经过卷积神经网络的多次训练后得到的预测的值与真实数据相近,而非真值[3].
② 线性映射：线性映射又叫线性变换,线性变换就是线性代数的一个研究的对象,在数学中,线性映射是在2 个向量空间的函数,对于线性变化的讨论可以借助矩阵来实现.
1.3 求解模型
矩阵A就是线性方程组或者病态方程组的系数矩阵, 为方程组的解, 为目标值,三者之间的关系可以表示为：
1.4 网络模型
本文的网络结构如图1 所示[4],包括对输入数据大小的形状进行改变.
另外这里用了一个卷积层,在卷积层中,本文采用的卷积核的大小为2×2,输入的系数矩阵与卷积核进行卷积运算,卷积核的数量定义为1,系数矩阵的大小为2×2,数量定义为3,卷积核的步长设置为2,卷积核的滑动范围为W×H ,在这里W和H就是输入的系数矩阵的宽以及高.
式中,x 为神经元,f( x)就是一个线性函数,在卷积层后连接着一个线性映射的层级,就是上述的线性函数的输出值,最终的输出层就是输出卷积运算经过线性映射后的值.
1.5 网络训练方式
传统的网络训练采用整体输入方式,经过一系列的卷积运算以及最终的线性映射得到结果,这里不同于常规的网络训练,采用多任务联合训练的方式,将训练的任务分成3 部分,本文是分成3 个任务层,将3 个任务层联合训练,通过分别计算每个任务层训练的损失,并将3 个任务层的训练得到的损失相加,具体的计算过程如下：
第1 个任务层损失：
式（9）就是通过最小化损失优化器来使得误差最小,来达到参数优化并实现对目标值的求解,任务层数量的选择视情况而定,在本文的试验仿真部分将隐藏层为3 个任务层,如图2所示.
1.6 参数的选择与优化
（1）优化器的选择
在Tensorflow 中,存在着多种优化器可以选择.① 标准梯度下降法：汇集了样本的总误差,然后根据总误差更新权值.
② 随即梯度下降法：随即抽取一个样本的误差然后更新权值,但是存在的问题可能会造成误差增大.③ 批量梯度下降法,选取一个批次来更新权重,此外还有momentum,NAG,Adagrad,RMSprob,Adadelta 及Adam 等,这些优化器并不常用,在本文中选择了Tensorflow 这一框架,并且用Tensorflow 提供的AdamOptimizer 优化器,使用这一优化器来控制学习速度,会将之前衰减的梯度以及梯度的平方保存起来,使用RMSprob 和Adadelta 相似的方法更新参数.AdamOptimizer 通过使用动量（参数的移动平均数）来改善传统的梯度下降,促进超参数的动态调整,每次梯度调整后使得每次迭代学习率都有固定的范围,使得参数较为平稳,为不同的参数计算提供不同的自适应学习率,适用于大多非凸优化问题.
而传统的梯度下降存在较多的问题,比如容易造成梯度的消失等一系列的问题,不利于本文采用的神经网络的训练,因此在这里并未采用传统的梯度下降法.
（2）学习率的选择
传统的学习率选择都将会采用一个固定值,依据先验知识,一定范围内对数值进行取值,不断实验.根据训练的结果好坏做参数调整,最终找到一个合适的学习率.在本文中学习率的选取并不是一个数值不变的常数,而且本文的学习率的选择中是在每100 次训练后,对学习率进行动态调整,将学习率的取值在每100 次后除以3,经过200 次训练,也就是对学习率进行2 次调整,最终实现超参数最优,即权重最优.
（3）权重的选择
权重的初始化对于神经网络的训练非常重要,如果权重一开始就很小,那么信号最后也会很小,如果权重很大,则信号也会变得很大,不合适的权值会使得隐藏层输入方差过大,因此这里对权重的初始化选择设置为符合正态分布的数值矩阵.
（4）正则化的约束
因为训练数据的缺乏极大程度上会导致过拟合问题,因为需要增加惩罚项（正则化项）来进行约束,常见的正则化有
2 种：一种是L1-norm,另一种是L2-norm,在这里L1 正则化指的就是各元素的绝对值之和通常表示为||w||1,而L2 正则化则是||w||2,即对各元素平方累加并开方.在正则化之前还有一个系数λ,在这里λ的取值定义为0.001,本文采用了L1 正则化的方式,在本文的仿真部分会对L1 正则化的实验结果与L2正则化的结果做比较.
2 计算机数值仿真
算例1：求解非対称方程组,如图3所示.
该方程的精确解是[1,0,1,0],根据图3 的网络结构,将[ 1, 2,
3, 4]等价于神经网络的权重（卷积神经网络的卷积核）.通过卷积的运算求得输出值,通过减小输出值与目标值之间的误差,获得合适的权重,也就是要求的[ 1, 2, 3, 4],对权重进行初始化为[0,0,0,0],也就是全0 矩阵.对权重初始化为符合正态分布的矩阵并进行比较,试验发现初始化为0 可以获得较好的效果,接着通过多任务联合训练进行优化,对于的求解通过L1 正则化的约束求得最终的解为[0.995 7,0.001 9,0.997 7,0.002 9],此解与精确解之间在2- 范数下的绝对误差为8.844 25×10-6,可见计算的结果精确度较高,达到了预期效果.参数选择与比较如表1、表2 和表3 所示.
算例2：求解病态方程组
该方程的精确解为[1,-1],且系数矩阵条件数为2.1932×106,是一个典型的病态矩阵[5],求解的网络结构同图1 的结构相似,定义了卷积核的大小为2×1,进行卷积计算.通过最小化卷积计算后的输出与目标输出的误差,经过多次训练迭代来优化权重直至找到适合网络模型的权重,最终求解正确率比较精确,结果为[1.0373,-1.0518]T,该解与精确解在2- 范数下的绝对误差仅为2×10-3.在病态的方程组中求得最终解的准确率仍然较高,基本上达到预期结果.
3 实验结果
深度学习发展迅速,卷积神经网络的运用及其广泛,可以将卷积神经网络与其他的领域相结合,比如医学领域,不仅是在医学图像处理领域更是会在三维重构得到较好的运用,方程中的是带有噪声的,可以依据卷积神经网络对噪声进行过滤进而重构出想要的模型.
4 结束语
针对传统的线性方程组以及病态方程组的求解方法,采用了卷积神经网络对方程组进行了求解,结合多任务联合训练的方式对方程组进行求解,从最终的结果来看,不论是对一般的方程组还是病态方程组都有较好的求解,准确率达到预期,且本文的网络结构大大降低了计算的复杂度,卷积神经网络在深度学习中有着较好的运用,在图像处理、目标追踪及人脸识别等众多研究领域有着良好的运用,尤其是在特征提取运用很是广泛,而且大大减少了计算的复杂程度和参数,因此卷积神经网络的多功能性仍然值得继续挖掘,运用在众多的领域.
本文结束语,上述文章是关于经典神经网络专业范文可作为卷积神经网络和方程组和求解方面的大学硕士与本科毕业论文神经网络论文开题报告范文和职称论文论文写作参考文献.
神经网络在计算机网络安全评价中的应用
摘 要 计算机网络技术的大量普及,方便了我们的日常生活,并且提高了办公速度,但是广泛应用计算机网络的同时,计算机病毒、……危险因素的存在对计算机网络完全产生一定威胁 而在计算机网络安全评价中应用神经网.
基于遗传算法优化和BP神经网络的中长期负荷联合预测
摘 要 传统的BP 神经网络负荷预测存在学习速度慢、局部极小……缺陷,已无法满足现代电力负荷预测的精度要求 基于此,本文首先在分析了BP 神经网络的预测原理和不足的基础上,阐述了遗传算法的原理及优化步.
基于3s的人工神经网络模型在地质灾害危险性评价中的应用
宋雨濛（成都理工大学地球物理学院 四川 成都 610059）摘 要文章通过3s 技术手段和人工神经网络模型对卧龙大熊猫自然保护区进行了地质灾害危险性评价 包括通过遥感技术获取研究区域的遥感图像,并对图.
基于SPSS和BP神经网络的林产品物流运输需求预测对比
摘要采用SPSS及Matlab软件分别建立多元线性回归模型和BP神经网络预测模型,通过HN省林产品物流运输需求量的算例,对比多元线性回归和BP神经网络预测模型的预测能力得出相应结论 关键词多元线性回归.