文摘

糖尿病性视网膜病变(DR)筛查体系提出了一个金融问题。博士进一步降低检测成本,积极学习分类器是在本文提出。我们的方法确定视网膜由解剖部分基于特征提取的图像识别和损伤检测算法。内核极端学习机(凯尔姆经常)是一种快速解决分类问题的分类器在高维空间中。主动学习和整体技术提升性能凯尔姆经常当使用小的训练数据集。委员会只有提出必要的手工工作的医生节省成本。在公开Messidor数据库,我们的分类器训练高达20% - -35%的视网膜图像和标记比较分类器训练有80%的视网膜图像的标签。结果表明,我们的分类器分类精度可以达到比分类和回归树,径向基函数SVM,多层感知器支持向量机,线性支持向量机,最近的邻居。实证实验表明我们主动学习分类器有效筛查博士进一步减少成本。

1。介绍

糖尿病性视网膜病变(DR) (1)是最常见的一种原因失明的有糖尿病研究[2]。数百万的糖尿病患者患不仅剥夺了病人的视力博士(博士3),但也给他们的家庭和社会带来沉重的负担4]。2012年(5),有2910万美国人(占总数的9.3%)被诊断出患有糖尿病。一个更严重的问题是,76%的糖尿病患者变得恶化。每年,大约有140万美国人被诊断为糖尿病。随着糖尿病的发展,大约40%的患者可能忽视从博士6]。最近,名为光学相干断层扫描(OCT)的新技术在发达国家很受欢迎。10月10月可以执行横断面影像,但仍然太贵了许多地区的经济不发达。博士因此筛查系统仍然是有用的在许多低收入地区糖尿病患者。这具有挑战性的问题会导致需求更好的计算机辅助筛选系统[博士7,8]。

许多计算机辅助检测系统可以减少大量的人工筛选有效(9,10]。加德纳et al。11)博士提出了一个自动筛选系统与人工神经网络。大多数计算机辅助筛选博士研究把重点放在减少和改善医生的工作。值得注意的是刘et al。12]指出关键问题;这个问题是关于准确性和成本效益。一个典型的检测硬件系统包括但不限于博士高分辨率相机,计算系统和存储系统。博士筛选系统的软件系统主要包含三个主要部分:图像处理(13,特征提取14),和分类(15(自动诊断结果的计算机)。博士计算机辅助检测硬件系统的体系结构是清晰和稳定的现在,但是软件系统仍然有很大的发展空间。分类是一个重要的突破为提高博士筛选系统,特别是应用主动学习方法而非监督学习和无监督学习方法。

然而,建立一个自动计算机辅助检测系统提出了一个金融问题[16]。现在博士筛查系统面临着三大需求。首先,当一个公司构建一个扫描系统医用博士是一个关键的测量精度。第二,医院管理者需要博士,这个系统不仅可以自动分类,还可以节省更多的钱和时间在将来运行时。第三,博士筛查系统应该筹集尽可能多的有意义的查询医生,情况下,可以很容易地由计算机诊断应该查询尽可能少。因此,博士进一步筛选系统应该有以下三个特征:()更准确,()较小的训练数据集,()主动学习。

为解决上述问题,我们提出一个ensemble-kernel极端学习机(凯尔姆经常)建立主动学习由委员会查询分类器。以下是我们工作的主要贡献/结论:(1)视网膜图像很容易折断,但手工诊断结果是高成本的。(2)内核技术适用于视网膜图像分类与分类在高维空间中。(3)整体学习(装袋技术)可以提高分类器的性能。特别是,过度拟合训练集时很小。(4)主动学习可以进一步减少训练数据集的大小相比,传统的机器学习方法在博士筛选系统。(5)委员会可以避免不必要的查询医生;这是独特的博士和其他先进的检测系统。

本文的组织结构如下:部分2显示视网膜图像的背景和相关作品,部分3介绍该分类器的细节,以及部分4提出了实证实验和结果。结论是在最后一节。

2。视网膜图像和相关工作

2.1。视网膜图像和检测

图1显示年级博士(17]:I, II, III。图2显示年级博士:IV, V和VI。微动脉瘤出现小红点,如图1;与糖尿病的恶化,渗出液发生糖尿病视网膜病变的主要标志。在数据1和2出现不均匀性,会导致失去视觉。

医生给出的诊断结果基于三个主要的病变:微动脉瘤,渗出液和不均匀性。此外,有两个有用的解剖检测:黄斑和视神经盘。在表1博士的五个基本检测筛选列出。

2.2。经典博士筛查系统架构

筛选系统[博士19]捕捉视网膜图像并给出诊断结果。博士的古典建筑筛查系统如图3。

高分辨率相机用于捕获视网膜图像。然后,视网膜图像保存到存储系统。通常,有一个对视网膜图像预处理;这个过程提高图像对比等等。在下一步中,视网膜图像的多个特征提取的图像算法。高维空间中提取特征表示。因此最初的视网膜图像映射到高维空间。一个视网膜图像提出了作为一个向量(或点)在这个高维空间。最后,一个受过训练的分类器给一个二进制的结果(−1/1或1/0)。这个二进制结果表明,矢量属于“积极”和“消极”的一面。 Figure3还在二维空间是一个简短的工作流程。

许多博士扫描系统研究关注的性能测量精度。Dabramoff et al。20.)博士指出,筛查系统是一个研究领域。弗莱明et al。21)表明,减少质量手册工作是创建博士筛选系统的关键。与此同时,一些研究人员专注于自动诊断的病人有博士(22]。尽管这些研究和应用程序保存大量的手工工作,博士扫描系统可以进一步降低成本。

3所示。合奏极端基于机器学习的主动学习分类器由委员会查询

在本节中,提出分类详细描述。的考虑精度、费时、计算资源消耗,高维特征分类,并减少人工标记,我们调整内核极端学习机(凯尔姆经常),然后我们用整体学习(装袋技术)来解决过度拟合问题。此外,bagging-KELM可以训练在并行计算架构。

3.1。主动学习和查询由委员会

主动学习(23)控制情况下,一旦主动学习达到查询范例,委员会可以对人类分配新的人工标注的任务。查询由委员会(QBC) (24)是一个采用的学习方法决定的一个委员会决定将一个标记实例要求人工标记。一旦一个人工标记任务完成后,新的人工标注实例添加到训练集。因此,该委员会减少了测试实例和扩大对要求人工标记的工作训练集。QBC以来控制实例的学习,QBC维护一组假设从训练集;这些假设代表版本空间。对于真正的应用题,委员会应该足够大的规模。

图4显示了该方法。我们的方法包含3个循环步骤。

步骤1。凯尔姆经常与包装技术委员会同步训练。最初的训练实例包括从博士图像中提取特征和相应的人工标签标记。

步骤2。在培训过程中,委员会可以提出bagging-KELM必要查询。

步骤3。在测试过程中,bagging-KELM和委员会收到测试实例,然后bagging-KELM问委员会的批准。如果委员会同意bagging-KELM bagging-KELM给一个假设为一个无标号实例最终的诊断结果。然而,如果委员会给分歧,委员会提出了标记视网膜象人类的医生(这增加训练实例)。

最后,我们的方法是处理3优化问题:(尽可能少地增加训练数据集,)增加训练数据集提供必要的查询,(与控制)减少测试数据集。

3.2。内核极端学习机

极端学习机(ELM) [25)是一个快速和准确的单前锋层前馈神经网络分类算法提出的黄等。不同于传统神经网络,榆树和随机权重分配感知器在输入层和输出层的权值可以计算催化地找到最小平方解。因此,榆树是速度比其他神经网络学习算法;时间成本极低。

对于糖尿病视网膜病变筛查,给定的训练数据集与标记的实例(),,每个是一个维向量,,的指示标签对应的实例,signal-layer转发网络的输出感知器在中间层可以计算如下: 在哪里权值连接吗th中间感知器感知器的输入。权值连接吗th隐藏感知器感知器的输出,的偏见隐藏的感知器。

表示非线性激活函数;列出了一些经典激活函数如下:(1)乙状结肠功能: (2)傅里叶函数: (3)硬限制功能: (4)高斯函数: (5)Multiquadrics功能:

方程(1)可以表示在一个紧凑的方程如下: 在哪里是中产层输出矩阵: 在哪里middle-to-output权重矩阵和吗是目标矩阵。

在(8),重量和偏见随机分配数量和浮动是选为乙状结肠功能;因此中产感知器可以确定的输出非常快,这是在(7)。

剩下的工作是最小平方误差估计:

最小的标准最小二乘解(9)可以计算通过应用Moore-Penrose广义逆的定义;解决方案如下: 在哪里是矩阵的广义逆。

的最小二乘解10)根据Kuhn-Tucker条件可以写成: 在哪里中间层的输出,调节系数,是预期的输出矩阵的实例。

因此,输出函数

榆树的内核矩阵可以定义如下: 因此,输出函数内核极端学习机可以表示如下: 在哪里和在中间层感知器的内核函数。

本文我们采用三个内核函数;他们如下:保利:对于一些正整数, RBF:对于一些正数, 延时:对于一个正数和负数,

相比之下,榆树,凯尔姆经常执行类似或优于榆树,凯尔姆经常是更稳定25]。与支持向量机相比,凯尔姆经常花更少的时间没有性能损失。

3.3。包装技术

通过应用集成学习(26)我们的方法,分类器可以获得更好的分类性能在处理小训练集所带来的过度拟合问题。我们装袋技术应用于提高凯尔姆经常分类器。装袋技术旨在促进多样性之间结合的方法。在初始化过程中,我们采用多种不同的核函数和参数。因此,一群分类器可以为装袋建造技术的实现。

当应用一组凯尔姆经常与包装方法,每个凯尔姆经常独立训练,然后通过多数投票这些凯尔姆经常聚合技术。给定一个训练集,在那里从视网膜图像和提取特征我们是相应的诊断结果,然后构建训练数据集随机构造凯尔姆经常单独装袋。

引导技术如下:初始化:给定的训练数据集TR 独特的,培训:构建subtraining数据集TR和重采样随机替代形式火车与分类:计算假设的,执行多数表决

4所示。实验和结果

4.1。Messidor数据库和评估标准

对于实证实验中,我们使用公共Messidor数据集(271151年),由实例。图像的45度的视野和三个不同的决议(,,)。

每个图像标签是0或1(正面或负面的诊断结果)。540图像标记为0;标记为1。许多研究都5倍或10倍交叉验证。因此,训练数据集,剩下的20% 80%的数据库实例测试数据集。我们训练分类和回归树(CART),径向基函数(RBF) SVM,多层感知器(MLP) SVM,线性SVM(林),最近邻(资讯)和数据库的80%,剩下的20%是测试数据集。

拟议中的主动学习(AL)分类器,我们用10% - -20%的数据库作为最初的训练数据集和给它10% - -15%的数据库查询由委员会。因此,20% - -35%的数据库被用来培养主动学习分类器,和剩下的65% -80%的数据库测试数据集。我们也训练榆树和凯尔姆经常高达20% - -35%的数据库,和剩下的65% -80%的数据库测试数据集。因此,榆树,凯尔姆经常和我们的方法训练与相同数量的标签实例;结果可以证明内核技术的可用性,包装技术,主动学习。委员会包含所有分类器,本文中提到的。

简而言之,我们使用80%的Messidor数据库5分类器训练,我们削减一半以上的训练实例验证榆树,凯尔姆经常和我们的方法。详细介绍了部分4.3。每个分类器测试10次。英国糖尿病协会的建议(BDA)敏感性80%,特异性95%。因此,准确度、灵敏度和特异性比较分类器。

灵敏度、准确性和特异性定义如下: TP, FP、TN和FN是真和假阳性,真和假阴性分类的分类器。

4.2。视网膜图像特征

表2列出每个特性提取视网膜图像的特征信息。视网膜图像映射在19-dimensional空间。

图像的细节特征用于Messidor数据库如下:(1)质量评估。Messidor数据库包含足够的质量形象一个可靠的诊断结果。检测血管系统后,框计算值可以计算出一个监督学习分类器。血管分割算法是基于隐马尔可夫随机域(HMRF) [28]。(2)试销。图像被归类为异常或需要进一步的处理。每一个图像分为分离条件和不均匀性测量29日为每个子区域提取)。然后从这些特性分类器学习和分类的图像。(3)马检测。微动脉瘤出现小红点,他们很难找到有效。马检测方法用于Messidor数据库是基于预处理方法和候选人器集合体(30.]。(4)渗出物。渗出液与不规则形状明亮的小点。按照微动脉瘤的可能复杂的方法检测(30.),它结合了预处理方法和候选人萃取器分泌物检测(31日]。(5)斑点检测。黄斑位于视网膜的中心。通过从图像中提取最大的对象与光明的环境(32),可以有效地检测黄斑。(6)视神经盘检测。视神经盘与圆形解剖结构。库雷希Ensemble-based系统等。33)用于视神经盘检测。(7)AM / FM-Based分类。调幅调频的方法(34)分解图像的绿色通道,然后信号处理技术应用于获得表征反映纹理,几何、结构和强度。

4.3。实验结果

车、RBF延时,林、资讯,凯尔姆经常,榆树比较实验。车、RBF MLP、林和资讯,80%的标签视网膜图像提供这5个分类器作为训练数据集。5个分类器的参数是由网格搜索训练数据集。艾尔,凯尔姆经常和榆树也作为网格搜索方法设置隐藏层。使用MATLAB R2015a版本。

图5显示了规范化的箱线图正确分类。在图5(一个),有115个实例(10%的Messidor数据库)初始培训和115多个实例(10%的Messidor数据库)从委员会查询。因此,230年(20%的Messidor数据库)实例用于培训基地。测试内核、装袋技术和主动学习,凯尔姆经常和榆树提供230个训练实例Messidor数据库(20%)。其他与920年5分类器训练实例Messidor数据库(80%)。

凯尔姆经常比榆树分类更准确地由内核技术。包装技术和主动学习方法凯尔姆经常进一步提高分类精度。艾尔与其他7分类器相比,其正确分类的比例约为2% ~ 20%高于其他分类图5(一个)的训练数据集,只有25%的其他5分类器。延时、购物车和资讯是最严重的三个分类器。比榆树RBF表现好一点,但RBF三倍比榆树标注实例。林执行比榆树和凯尔姆经常,但略低于。

同样,在图5 (b)、主动学习和其他分类器测试过了。凯尔姆经常提供更正确的分类结果和阿尔比榆树和凯尔姆经常。比较与其他分类器,达到更好的分类精度和艾尔只需要287标签实例进行训练。

在图6中长期规划、购物车、RBF、林和资讯在图一模一样5。在图6(一),一个更大的初始训练数据集(15%)是用来训练基地和25%标签实例给出凯尔姆经常和榆树的训练数据集。在图6 (b)凯尔姆经常和榆树,30%标记实例进行训练。在图6、内核技术帮助榆树产生更多正确的分类结果,并进一步促进凯尔姆经常的主动学习方法。在图6林,林执行紧密,但近三倍的训练数据集的大小。因此,林的缺点是需要大量的手工工作。

图7显示,20%的标签实例如图。最初的训练数据集7证明了相同的结论如图5- - - - - -6;内核技术、包装技术和主动学习是有效的和有效的改善榆树。应该注意到,凯尔姆经常和榆树测试数据的两倍5 (b)和6(一)礼物。同样,数据6 (b)和7(一)也呈现榆树和凯尔姆经常比较结果的两倍。表4列表数据的结果5- - - - - -7在细节。

表3包含5列;分类器的名字是附有实验参数。例如,KNN_80是资讯分类器训练有80%的实例。最大值、最小值、均值计算从10分。AL_10_15是10%的标签实例作为初始训练数据集和15%的标签实例查询形式委员会。

在表3,下限和AL_10_10平均值最高的列。AL_20_10是最高上限的列。

在表4平均值的敏感性和特异性列出所有分类器。表的第一列4相应的实验如表3。第二列是意味着灵敏度值,第三列是特异性的平均值。所有的意思是值是10分的统计结果。灵敏度平均值在0.74和0.82之间;特异性平均值在0.83和0.92之间。

4.4。讨论

在本节中,我们提出两个问题关于实验结果:()凯尔姆经常的优势是什么?()是该方法适合医疗实施吗?

凯尔姆经常榆树内核技术;这种方法类似于支持向量机。内核技术可以将原始数据(线性不可分的)映射到一个新的空间(高维空间线性可分的)一个线性分类器。凯尔姆经常是内核技术的重大贡献有助于榆树面对高维分类问题的速度比kernel-SVM当解决同样的问题。特别是本文Messidor数据集包含18个特征;所有分类器必须给一个假设18-dimensional空间。

该方法适用于实现。英国糖尿病协会的建议(BDA) [35敏感性80%,特异性95%。我们的方法的测试结果接近这两个标准。

5。结论

在本文中,一个活跃的学习分类器提出了进一步降低糖尿病视网膜病变筛查系统成本。经典研究5 -或10倍交叉验证这意味着大规模的诊断结果应该事先做好准备。与其他先进的方法不同,我们专注于进一步降低成本。我们使用内核极端学习机在高维空间处理分类问题。为解决过度拟合问题带来的小训练集,我们适应集成学习方法。与QBC通过主动学习,ensemble-KELM学习从人工诊断通过必要的查询结果。

我们的方法和其他比较分类器已在公共糖尿病视网膜病变数据集进行验证。内核技术和包装技术也进行测试和分析。经验的实验表明,我们的方法可以分类标记视网膜图像比其他比较分类器精度较高,但训练数据集的大小远小于其他比较分类器。与实现的考虑,我们的方法的性能接近英国糖尿病协会的建议。

相互竞争的利益

作者宣称没有利益冲突。