文摘

本文的目标是找到最优的初始权重提高人工神经网络(ann)的准确性,利用遗传算法(GA)。在这个研究包括228例的示例性髋部骨折患者和215例髋部骨折,他们两个都采访了78个问题。我们使用逻辑回归来选择5个重要因素(即。,bone mineral density, experience of fracture, average hand grip strength, intake of coffee, and peak expiratory flow rate) for building artificial neural networks to predict the probabilities of hip fractures. Three-layer (one hidden layer) ANNs models with back-propagation training algorithms were adopted. The purpose in this paper is to find the optimal initial weights of neural networks via genetic algorithm to improve the predictability. Area under the ROC curve (AUC) was used to assess the performance of neural networks. The study results showed the genetic algorithm obtained an AUC of在建模数据和测试数据。他们略好于我们之前研究的结果(和、职责)。因此,初步研究只使用简单的遗传算法已被证明是有效的为提高人工神经网络的准确性。

1。介绍

预期寿命的增加在世界中,骨质疏松症越来越普遍,并可能导致灾难性的病理性骨折。2000年,估计有900万个新骨质疏松性骨折,160万年在臀部,前臂,170万和140万在椎骨。欧洲和美洲占51%的骨质疏松性骨折,虽然大多数的其余部分发生在西太平洋地区和东南亚(1]。髋部骨折导致报告的大多数发病率与死亡率高达20 - 24%髋部骨折后第一年(2,3),和更大的死亡风险可能会持续至少5年之后(4]。髋部骨折总是伴随着严重的慢性疼痛,减少流动性,残疾,越来越依赖程度(5];即使发病后患者生存,他们中的一些人仍然遭受其后续的并发症(6]。此外,病人必须承担巨大的健康和经济负担,导致高医疗保健支出。

为了减少这种可预防损伤的发生及其后续的并发症,我们将发现骨折的危险因素是重要的预防和健康促进,然后建立一个预测髋部骨折的概率。最近,支持向量机(svm)已经应用于机器学习技术和先进的机器学习技术风险最小化7]。因为他们的发明,对支持向量机的研究爆炸理论和应用程序。在实践中,支持向量机已经成功地应用于许多实际的领域(8,9]。然而,在处理高度非线性和复杂系统如髋部骨折,人工神经网络(ANN)仍比支持向量机,因为许多隐藏层,节点和参数(例如,学习常数,学习算法,初始权重,等等)可以调整安。另外,在以前的研究(10),尽管许多潜在的髋部骨折已确定的风险因素,这些风险因素可能不同地域和不同的风险因素没有被很好理解。然后,他们建立了人工神经网络(ANN)预测髋部骨折的风险,根据非线性的优点,容错、普遍性、和实时操作。

人工神经网络是计算机程序,模拟人脑的一些更高层次的功能。大脑中的神经元和突触,突触连接各种strengths-called -连接神经元对“重量”。所谓的输入和输出神经元对于每一个问题对应的输入和输出与传统的计算机程序。,叫做“隐藏”的神经元,以及突触和重量,输入和输出神经元之间对应的指令在传统项目。使用网络作为临床预测模型一直在探索医学的许多领域,包括肾脏学、微生物学、放射学、神经学。

反向传播人工神经网络的拓扑结构;调整网络的权重计算梯度和偏见的错误。通常,应用反向传播神经网络与随机初始重量对称设置,因为打破(11]。然而,训练神经网络的随机初始权重可能会导致两个主要缺点:捕捉到局部最小值和收敛缓慢11,12]。针对bp神经网络的这些限制,全球搜索技术(例如,遗传算法和粒子群优化)已经提出了克服这些缺点13,14]。到目前为止的作品之间的比较评价bp神经网络和遗传算法训练神经网络(15,16),他们都是优化技术和学习。

遗传算法(气)开发的模拟过程中观察到的一些自然进化是一个类的全局搜索算法技术。他们在实践中被证明是非常有效的在函数优化和搜索大型或复杂的多通道、不连续等。空间找到近全球最佳有效(11]。因此,本研究试图找到最优的初始权重通过遗传算法,人工神经网络预测可以提高预测能力的髋部骨折的风险。

本文安排如下。部分2概述了人工神经网络和遗传算法。材料和人工神经网络预测模型被用于部分3。节4,提出遗传算法模型解释道。结果与讨论部分5。结论和未来的工作部分6。

2。神经网络和遗传算法的概述

2.1。人工神经网络

人工神经网络是一个系统,模拟生物神经网络的过程。人工神经网络一般由五个组件。(1)安的有向图拓扑。(2)状态变量与每个神经元相关联。(3)实值的体重与每一个相关链接。(4)一个实值偏差与每个神经元联系在一起。(5)每个神经元的输出,这对下一层的输入f传递函数,每个神经元的权重与最后一层,神经元的输入值,b神经元的偏见(图1)。

人工神经网络已成为非常受欢迎的几个原因。首先,他们有能力学习调整节点之间的权重和偏见。如果预测是正确的,权重的连接将会增加,反之亦然17]。其次,人工神经网络是一种并行系统,可以处理缺失数据的线性程序无法处理。第三,与多层人工神经网络处理非线性即使多因素变量之间的关系还没有完全理解。

前馈网络是人工神经网络的拓扑结构。它通常是由多个层,下一层就是沟通的信息(即。,输出节点没有弧远离它们)。通过不同的策略修改权重训练网络,某些类型的前馈反向传播神经网络等介绍。bp神经网络是一个计算错误,然后将误差向后传播的梯度通过网络修改重量和偏见。

2.2。遗传算法

遗传算法是模仿一些开发过程受自然进化。我们应该先定义(有五个组件18,19]:(1)染色体的编码方式解决问题;(2)每个染色体的适应度函数返回一个值给它;(3)初始化染色体的人口的方式;(4)运营商可能适用于父母当他们繁殖改变他们的基因组成标准运营商变异和交叉;(5)算法的参数设置,运营商,等等。

这些定义,遗传算法在以下步骤进行操作。(1)编码一个字符串的问题,生成初始种群使用初始化过程。(2)估计每个染色体的适应度值。它会直接反应在距离最优。(3)繁殖直到满足停止条件;繁殖的迭代由以下步骤组成。(一)选择一个数量的父母生育;选择是随机的,但最高的个人评价是受欢迎的选择。(b)应用遗传算法(例如,交叉,变异)的父母。(c)孩子们和评估健身价值积累。孩子插入当前人口的人口取代更糟糕的人。

在遗传算法中,适应度函数将评估每个个体的适应;这是一个关键决定如果结果是好的。选择操作符将选择自适应父母根据他们的健身价值。在这一步中,人口趋向于更好的个人。交叉算子和变异算子使染色体达成更广泛的搜索空间(20.]。

3所示。材料和预测模型

3.1。研究样本

示例数据聚集在前面的匹配病例对照研究分析风险因素的60岁及以上老年人髋部骨折(21)和预测髋部骨折的风险在台湾长老的合奏反向传播神经网络(10]。病人的样本包括228例与第一国立台湾大学医院性髋部骨折患者和215名患者在同一家医院,但没有髋部骨折。

采访的这两种情况下,控制培训面试官用相同的标准化的问卷,其中包括基本问题和社会人口、历史的疾病和条件,自我报告的整体健康,卫生习惯,摄入的食物和营养补充剂、跌倒和骨折的经验,生活环境和潜在危害,身体功能和辅助设备的使用,和认知,以及其他功能。Athropometric措施和身体评估不影响下肢功能进行问卷采访后,包括身高、体重、握力、呼气流量峰值,协调测试。骨矿物质密度(BMD)是在nonfractured端检查的情况下和同侧股骨近端匹配控制的双能x线吸收仪(DXA对)使用相同的机器用的(模型:QDR4500A;Hologic,沃尔瑟姆,妈,我们),读同样的放射科医生在医院153例和197控制。休闲体育活动的健康习惯用总能量消耗所有的休闲活动在一个星期。测量的物理功能问题的难度水平执行5 ADL, 6 IADL, 8移动任务。认知功能是测量细微精神状态检查(MMSE)。使用电子天平测量身高和体重。体重指数计算的重量公斤/米的高度²。握力测量手持式液压测功器(模型:NC70142;北海岸医疗、CA、美国摩根山)。参与者使用占主导地位的手,三个最大的值是平均的。最大呼气流量评估使用流量计(峰值模式:标准小赖特;克莱门特克拉克国际哈洛,英国埃塞克斯)。参与者深吸了一口气,吹尽可能快速和积极。三个试验的最大被选为最大流量。finger-nose-finger测试是由交替要求参与者使用他们的手指触摸自己的鼻子和面试官的手指尽快评估协调。共有78个变量测量。

因为变量的数量太大在诊所迅速收集,逻辑回归应用于过滤掉无关的因素有两个步骤:单变量分析和多变量分析。这些分析之后,五个重要因素(即。,bone mineral density, experience of fracture, average hand grip strength, intake of coffee, and peak expiratory flow rate) remained to be the variables of neural networks. Typically, the data for artificial neural networks were divided into two parts: modeling set and testing set. Then the modeling set was further divided into training group and validation group.

然而,人工神经网络是不稳定的预测因子,用小训练数据的变化,可能会导致非常不同的模型。减少不稳定因素的影响,k-fold交叉验证方法应用在这里(19]。这项研究将数据库分成五个相等的部分。一部分是测试(即。,测试data), and the other four parts were combined to be modeling. This cross-validation procedure was repeated five times so that we got five data sets with different testing data.

3.2。预测模型的体系结构

bp神经网络是最受欢迎的训练算法,梯度技术(22]。在之前的研究7),利用bp神经网络由输入层(5输入变量),一个隐藏层(10节点),和一个输出层节点(1)。合奏的人工神经网络方法用于提高bp神经网络的泛化(2320]:先前研究结构化神经网络具有不同训练数据和验证数据然后训练他们每个人15倍的随机初始权重然后乐团所有最好的神经网络性能(图2)。在这项研究中,遗传算法试图找到优化初始点,而不是15随机初始权重bp神经网络训练(图3)。

4所示。在这种情况下提出的遗传算法模型

在研究过程中,有许多方法,操作符,或理想,试图达到最优。下面的过程会和表中列出的参数设置1。

4.1。建模策略

建模策略框架如何优化人工神经网络的初始权重模型和研究两种类型。在研究的开始(即。,type 1), the genetic algorithm would evolve the population each iteration with different training data (validation data is also) and then choose 15 the best chromosomes into each artificial neural networks instead of 15 random initial weights (Figure3(一个))。然而,神经网络与不同的结果不稳定,因为训练数据的一个小变化。因此,第二个策略(即。,type 2) was presented: the training data were defined for each artificial neural network, and then the genetic algorithm would find the optimum initial weights of ANNs, respectively (Figure3 (b))。

4.2。初始种群

在遗传算法中,二进制代码和真正的代码是主计划描述染色体。但是,因为二进制编码方案是必要的和有益的22,24),根据直觉的优点,高分辨率,设施(即。,need not to decode) for real code, the study used the real-coded method for describing the chromosomes. There were 30 chromosomes generated in each generation, and each of chromosomes consisted of 60 weights and 11 biases represented by one digit. The range for the initial population will affect the search efficiency, so we tried three levels. At first, the range between −2 and 2 was used, because all of the weights fell in this range after training by back-propagation neural network. But later, the study tried to set the value between −1 and 1 to compare with back-propagation neural network. And last, because the crossover operator could search over the initial range, we tried to narrow the range again between −0.5 and 0.5.

4.3。评价

每个成员目前的人口是由适应度函数评价基于均方误差值分配席子池中被选中的概率。这里的适应度函数是bp神经网络。这项研究将解决方案插入训练后的网络,然后计算错误。均方误差值是如何解决方案是适合这个问题,但这并不意味着解决方案适用于下一代被重绘。原因是不难找到最优染色体以最小的训练数据错误,但很难验证数据。换句话说,由于训练数据的最小均方误差的目标网络,但均方误差验证数据用于防止过度拟合的神经网络也应该被考虑。

为了避免上述状态,研究设置限制:无论多么低的均方误差,如果误差验证数据高于阈值,引起染色体不会选择。阈值被定义为与上一代的最优解,网络不会停止训练,直至验证错误,错误是下一代的阈值(25]。

4.4。繁殖

交配池30染色体是由轮盘赌选择运营商根据现有人口中的每个染色体的概率。过程的步骤如下:首先,选择0到1之间的随机数。其次,选择了染色体的累积概率是多一点的随机数交配池。最后,重复以上步骤,直到30人群中创建新的染色体。

4.5。交叉

下面的过程描述为:首先,从席子上随机选择两条染色体池。其次,选择四个随机位置和前两个位置之间的基因交换和两个最后的位置。第三,随机选择一个数字的间隔)分别四个位置,在那里两个父母之间的最小值,之间的距离是和(26]。最后两个弹簧生成到席子池。步骤是重复直到五分之四人口的改变。

运营商的特点是使用四分频点匹配一致,换句话说,字符串的开始并不总是分开的字符串的结束。其次,染色体可能包括基因,从未出现;那是因为我们的论文使用混合交叉方法(α值= 0.5)(27]。

4.6。突变

本研究中使用的变异算子非均匀变异(28]。与随机突变,突变的非均匀变异可以改变间隔取决于迭代。将突变的基因(1) 在哪里是一代,和是最低和最高的初始范围限制,是一个随机数,可能值为0或1,并计算使用(2) 在哪里是一个随机数字区间[0,1],一代又一代的最大数量,是一个参数,用于确定的水平依赖于迭代次数(这里= 5)29日]。

操作员的特点如下:操作符将一个统一的搜索在最初的空间很小,成为后世的窄。

4.7。停止准则

算法将终止在100代之后,因为它几乎聚集。

5。结果与讨论

在这篇文章中,正常的反向传播算法被用于安。0.01关于学习速率的选择,选择10为隐层节点和使用20%的数据集进行测试,已报告在我们之前的研究10]。此外,为了避免过度拟合,验证错误时的神经网络将停止训练开始上升(见图4点与绿点)。在这些数据中,我们可以确保快速神经网络融合pretraining遗传算法。

本文计算ROC曲线下的面积(AUC)不同初始范围(图5)。图之间的区别5(a1)和(a2) (AUC_建模= 0.858和AUC_测试= 0.802)和图5(b1)和(b2) (AUC_建模= 0.849和AUC_测试= 0.831)似乎是相似的,但不同的图5(c1)和(c2) (AUC)_建模= 0.778和AUC_测试= 0.849)。这意味着如果GA参数的初始范围较小的它能够得到更好的测试结果。

找到最优初始权重不过是一个艰巨的任务。首先,它不仅担忧过度学习的反向传播神经网络也倾向最小均方误差只在训练数据不考虑遗传算法的验证数据。其次,遗传算法的搜索空间可能被最初的有限范围的初始权重。最后,使用遗传算法的优点,相比之下我们之前研究[10)应该基于神经网络的性能测试数据集,而不是最小平方误差只在建模数据集。

最小的另一个考虑改进遗传算法的研究是在一代的染色体数量之间的比例(即。,人口规模)和染色体的长度是很小的。这可能是遗传算法的原因不能广泛搜索达到最优。

6。结论和未来的工作

研究结果表明,遗传算法获得一个好的结果的AUC的在建模数据和测试数据为小范围的初始参数。他们略好于我们之前研究的结果(0.8680.00387和0.7960.02559、职责)。因此,初步研究只使用简单的遗传算法已被证明是有效的为提高人工神经网络的准确性。然而,遗传算法应该进一步修改,以提高性能,因为髋部骨折病例的数据高度非线性和复杂。我们的未来工作是尝试不同的方式编码方案来提高效率的遗传操作,改变染色体长度之间的比例和人口规模扩展搜索空间,并研究了不同初始范围的初始权重的影响网络性能。

应该做的工作在未来改善算法如下:首先,一个更好的适应度函数是遗传算法旨在防止过度拟合。其次,停止准则的算法可以试试其他的方法,例如,停止当最好的染色体为一定数量的后代不会改变或染色体相似的最小均方误差达到一定数量。最后,其他分类方法,如neurofuzzy算法(30.),支持向量机(9)和粒子群优化(31日)是一个很好的候选人为提高预测精度。

确认

这项研究受到了美国国家科学委员会(NSC)的台湾(批准号nsc98 - 2915 i - 155 - 005),教育部授予元智大学优秀教学计划(批准号217517)和动态生物标志物和转化医学中心由国家科学委员会(批准号NSC 100 - 2911 i - 008 - 001)。