文摘
目的。本研究的目的是建立诊断技术自动级的严重性根据缺血性糖尿病性视网膜病变(DR)指数和泄漏指数与ultra-widefield荧光素血管造影(UWFA)和早期治疗糖尿病视网膜病变的研究(ETDRS) 7-standard字段(7-SF)。方法。这是一个横断面研究。UWFA 280糖尿病患者和119名正常患者的样本被用来训练和测试一个人工智能模型区分PDR NPDR基于缺血性指数和泄漏与UWFA指数。视网膜专家小组决定的地面实况数据之前设置实验。混淆矩阵作为指标是用来测量精度的算法,并设计实现了一个简单的线性回归函数探索博士成绩上的索引的歧视。此外,该模型与模拟7-SF测试。结果。博士的模型分类原始UWFA图像实现模拟的准确性和73.68%的准确率88.50% 7-SF图像。简单线性回归函数表明,有一个重要的缺血性指标和泄漏指标之间的关系和博士的严重程度这两个阈值被设置为博士的等级进行分类,取得了76.8%的准确率。结论。的优化循环生成对抗网络(CycleGAN)和卷积神经网络(CNN)模型分类器实现分级基于博士缺血性指数和泄漏指数UWFA和模拟7-SF提供准确的推理结果。分类精度与UWFA略高于模拟7-SF。
1。介绍
全球糖尿病患者的数量翻了四倍,在过去的三十年里,和糖尿病是第九死亡的主要原因1]。随着糖尿病患病率在社区里,糖尿病性视网膜病变——(博士)相关的视力损害已经成为一个严重的公共卫生问题2]。博士的流行率在40岁以上的成人糖尿病患者年龄估计全球34.6%(9300万人)(3- - - - - -5]。
糖尿病患者疾病的20多年,和超过60%的患者会出现视网膜病变6]。眼底视网膜检查构成推荐常规体检的一部分的任何成年人新诊断糖尿病患者和糖尿病患者长期疾病。眼底荧光血管造影(FFA)可以清楚地显示视网膜微动脉瘤,nonperfusion地区,和新血管形成7]。特别是与复杂白内障的眼睛,FFA是经常用来评估视网膜血管视网膜病变。
传统的早期治疗糖尿病视网膜病变的研究(ETDRS) 7-standard字段(7-SF)蒙太奇FFA只有一次图像底部的一部分。近年来,ultra-widefield血管造影术(UWFA),捕获近200°,已经被用于视网膜图像更广泛的区域,其中包括周边视网膜(8]。UWFA的明显优势是它消除了需要整合几个图像获得一个完整的眼底照片,哪个更方便临床工作。然而,由UWFA病变发现7-SF之外,是否考虑他们在评估困惑许多眼科医生包括美国博士的严重性。缺血性指数和泄漏指数的概念被定义为nonperfusion面积的比例和泄漏区域视网膜总面积UWFA图像,分别为(9,10,介绍了定量分析UWFA nonperfusion区和泄漏区。最近的一些研究表明,糖尿病性视网膜病变的严重程度密切相关的缺血性指数和泄漏指数(10- - - - - -14]。很难准确地描述或量化nonperfusion和泄漏区域,手动。考虑到大量的糖尿病患者在全球范围内,这个过程既昂贵又费时。因此,人工智能(AI)技术快速诊断和定量分析疾病分期是迫切需要的。
目前,与人工智能技术的迅速发展,医疗卫生领域,人工智能技术已广泛应用于眼科成像,如眼底彩色摄影和光学相干断层扫描(OCT) [15- - - - - -22]。例如,IDx-DR是第一个授权设备提供筛选决定不需要临床医生也解释图像或结果,使其可用的卫生保健提供者通常不会被参与眼科保健(22]。一些研究报道博士患者FFA AI的应用,主要是为了确定微动脉瘤,nonperfusion地区,泄漏,和激光点23,24]。这些算法依赖于手工提取表征博士。就是无效的,措施只有部分功能单一的视野,并不能全面年级疾病;因此,其临床应用是有限的。丁等人建立了算法描述预后UWFA图像中解剖结构,如视神经盘或血管(25]。到目前为止,还没有研究的应用与UWFA人工智能模型,全面评估疾病分期。
因此,我们创建了一个完全自动化的算法在UWFA图像使用可伸缩的深度学习方法和准确识别nonperfusion和泄漏区域在合成图像建立预测模型评估的严重性博士的预测模型可以初步判断病人的病情后立即检查。
2。方法
超过5000患者博士UWFA考试从2015年到2020年,武汉大学人民医院眼科中心的回顾性审查(武汉,中国)。排除标准如下:眼睛屈光媒体的透明度,前模糊荧光和治疗眼睛。最后,博士280天真的患者纳入本研究,其中包括171 NPDR患者和109名PDR患者。此外,119年正常病例包括模型训练和测试。正常情况下的纳入标准是眼睛没有任何眼底疾病。总的来说,399的眼睛被纳入本研究。
部门的数据,我们采用5倍交叉验证来估计该方法。具体地说,案件在每一个时期被随机分为5组。五个独立重复实验使用每一组作为测试集,其余组作为训练集,分别。在训练阶段,培训由翻转图像增强,旋转,和翻译。
2.1。管道的概述
经典生成对抗网络(GAN)与通用全球相似性方法生成伪造的图像真实图像。的对抗性的策略是采用鉴频器逐渐混淆生成器的输出图像与实际图像。CycleGAN传输图像的风格在这两个领域。法治cycle-consistent CycleGAN扩展假图像局部一致性的图像。然而,在每个语义区域风格的期望转移是不平衡的。在这项研究中,损伤生物标志物是要求转移到正常组织,剩下的应该尽可能少地改变了。
病变注意增强的生成方法,联合优化CycleGAN和卷积神经网络(CNN)分类器,利用博士的自动评分。CycleGAN喜欢使转换后的图像的一部分更像一个真正的目标域的图像,和分类器的一部分倾向于限制内容转化为相关范畴的一部分。此外,联合优化方法扩展了两个域的变换多个类别的歧视。
联合优化模型的结构如图1。具体来说,正常,NPDR PDR图像分为两组正常域和域异常。两组甘斯(包括发电机和鉴频器)的输入转化为两个领域,另外,发电机只输出异常域图像和发电机只输出正常域图像。当假的图像送入另一个生成器,生成的第二个域图像传输回真正的形象。cycle-consistent是像素级约束之间的真实图像和第二图像生成,保持形状和空间位置的组织在风格转变。甘斯的两组和对应的组成CycleGAN cycle-consistent风格正常图像和异常图像之间的转移。然而,没有GAN和cycle-consistent博士有能力区分等级的评估分级的标准,当地的直观的诊断标志物是一个强有力的证据。真正的图像和假图像之间的差异图像显示pseudobiomarkers异常亮度。为区分不同图像的分级分类器配合CycleGAN产生更多的结果。与此同时,CycleGAN配合分类器来找到更多的歧视的信息。
在这项研究中,所有的评估标准都由提出的统一模型,只监督的映像级别标签。我们定性定位异常区域的区别真正的形象和假的图像和辅助诊断分类器的结果。我们定量评估缺血和泄漏的严重程度之间的相关性。
2.2。本地化的生物标志物
准确的位置有利于潜在生物标志物的发现或病变区域。发电机CycleGAN取代的生物标志物与假正常组织或病变区域;就是生成一个无病假图像对应于真实图像的外观异常地区主要发生了改变。发电机CycleGAN补充剂当地混乱类似于生物标记物在现实图像来生成一个假异常的形象。假的图像和真实图像之间的差异显示了异常区域,因此本地化生物标志物或病变区域。
DR-related病变显示了不同亮度在UWFA正常组织。尤其,泄漏显示显著的高亮度。泄漏的位置区域广泛中突出显示图像的差异。发电机传输一个输入图像到一个基本正常的本地化的模板。如果输入是一个异常图像,理想情况下,亮点在减法图像将显示病变区域。如果一个正常的图像作为输入,输出图像应该类似于输入图像,和相应的不同的形象应该是大约0形象。
2.3。等级分类
真正的图像和假图像之间的差异,即。,subtraction image, is then fed into the CNN classifiers to diagnose the DR severity. The screening of all patients diagnosed 3 grades: normal, NPDR, and PDR. Actually, the classifier相应的发电机区分所有3年级,和分类器相应的发电机只区分是否会出现一个生物标志物。减法图像网络的注意力更多的集中在异常区域。单一CycleGAN模型倾向于执行全球平均注意力转移过程的图像。联合优化方法提高category-related地区的转移能力。
另一方面,分支与分类器提取更有价值的病变区域级的严重性博士注意到,从输入UWFA减法得到输入图像和生成的虚假形象。因此,道路和在统一的模型扩展到UWFA端到端图像进行分类。
2.4。DR-Related索引
在这项研究中,我们定量地评估了缺血性指数和泄漏与早期阶段博士的严重程度指数相关图片(30 seconds-1分钟)被用来评估缺血性指数和后期阶段(5 - 7分钟)图像被用来评估泄漏指数,分别。异常黑暗地区和异常明亮的地区生物标志物nonperfusion区和泄漏区,分别的生物标准比例缺血性指数和泄漏指数,视网膜是由可见的平方。如图2,低亮度生物标志物。,nonperfusion area on UWFA, are obtained from the real image and the fake image by an automatic detection algorithm. A minimum filter extracts the local low brightness distribution of an image which reveals the darker tissue or the nonperfusion area. In addition, there is a difficulty difference between detection of leakage and ischemia. To reduce some complexity, we used a more simple but effective method for leakage detection.
UWFA形象,泄漏和血管显示亮度最高,灌注区域显示中等亮度,nonperfusion区域显示了最低亮度。侵蚀和扩张操作扩展灌注区域的亮度分布,而当地中等亮度分布的范围。基于固定当地中等亮度分布、亮度较低的区域检测到图像中对应的位置作为一个疑似nonperfusion区域。该协议的真正的图像和假图像是pseudononperfusion区域。结合nonperfusion的分布区域和整个数据集的分布,每个pseudoperfusion区域被用作pseudolabel U-net火车。此外,我们雇佣了一个标签平滑策略26),以避免过度pseudolabels的一致性。因此,nonperfusion地区可以自动分段的U-net真实图像和假图片,和缺血性指数是缺血性面积的比值 。
明亮的生物标志物。,leakage and microaneurysms on UWFA, are obtained from the results of localization and classification introduced in section A. As shown in Figure2,假图像接近正常的图像域,那里异常明亮的区域替换为低亮度的外观。不同图像的图像和假形象揭示了异常检测的泄漏。利用异常阈值操作映射到泄漏的分割。泄漏指数泄漏区域的配给 。
3所示。结果
两位专家定义黄斑和视神经盘的位置作为参考的量化比较。基于位置,7-SF自动决定的范围(27),和生物标准视网膜是由可见的平方。如图3,明亮的微动脉瘤NPDR广泛分布的情况下,在7-SF不能完全捕捉到。大型nonperfusion地区附近的视网膜颞PDR情况,而只7-SF被俘后杆的角度。
(一)
(b)
(c)
3.1。分类
三种疾病的成绩(正常、NPDR PDR)通过发电机的路径来进行推断和分类器 。在本节中,我们评价分类结果比较UWFA图像的优点和传统7-stand现场图像。原UWFA图像被用来定量评价分类性能,和图像的面具7-stand领域被用来比较实验。两个实验都是经过训练的,相同的配置。原UWFA图像的分类结果精度达到了88.50%,和面具的图片已经达到了73.68%的准确率。一般来说,该模型提供了准确的推理结果疾病分类。
详细图4显示了混合矩阵的分类结果。正常情况下是很容易区分UWFA图像和7-SF图像,即使所有正常图像正确识别UWFA图像。然而,分类精度NPDR和PDR UWFA上更精确的图像,这表明更广泛的视网膜的视觉度的优势范围。对数据集,每个类别的样本数量的差异。资产评估结果,kappa系数由混淆矩阵计算。原UWFA图像达到0.827,而图像与面具达到0.608,这表明原始UWFA图像取得了非常高的分类一致性和远高于图像面具。
(一)
(b)
3.2。指标的统计分析
图5显示了泄漏指标和缺血性指标的统计分析。box-and-whisker情节表明缺血性指数和泄漏指数与博士的严重程度呈正相关。
(一)
(b)
双重生物标志物指标的基础上,我们实现了一个简单的线性回归函数探索博士的成绩上的索引的歧视,如图6。两个阈值达到博士严重性等级进行分类,取得了76.8%的准确率。这表明有一个重要的生物标志物和博士的严重程度之间的关系。
先前的研究已经证实2索引和病变评分之间的相关性。然而,深的学习方法需要精确的像素级标准,无监督方法只能提取一个特性。在这项研究中,我们执行一个统一的图像水平监督模型来实现位置、分类、指标评价,同时。验证结果表明,本研究的结论基本上是一致的优化CycleGAN和CNN模型分类器。这意味着这个高效率的模式具有伟大价值UWF数据分析。
4所示。讨论
百分之七十五的患者生活在欠发达地区不足可用专家博士(28]。因此,数以百万计的人正在经历视觉障碍没有适当的预测诊断和全球眼保健。一些全球筛查项目执行,以防止影响视觉从毁灭性的疾病;然而,存在于规模太大博士等项目的筛选和管理有效地在个人层面上。为了解决当前诊断工作流程的不足,视网膜疾病诊断自动化解决方案筛选和分级急需眼底图像。人工智能在眼底成像技术已经广泛应用,如眼底彩色摄影和光学相干断层扫描(OCT) [15,16,22]。然而,有一些人工智能在眼底荧光素血管造影中的应用直到最近,和AI只是用来识别血管结构或荧光素功能(23- - - - - -25,29日- - - - - -31日]。
这种情况有几个原因。首先,荧光素血管造影检查是不同于其他静态检查,和它与不同的动态图像采集时间。染料渗漏、染色和积累逐渐出现。因此,很难维持图像的同质性。第二,当评估眼底情况,十几个或更多的图片需要从多个方向。这些是血管造影术的内在要求。此外,还有伟大的视网膜疾病的荧光素的特性和分布的差异在不同的成绩。所有上述原因提出了巨大的挑战在眼底荧光素血管造影AI的应用。
随着人工智能技术的发展,锅等人取得multilabel识别单一的视觉领域,包括泄漏、微动脉瘤,新血管形成,nonperfusion区域和激光点24]。这个模型更接近于实际的临床情况下比传统的单标牌模型。然而,传统血管造影术的范围是有限的,和一个图像不能用来评价眼底的大局。Ultra-widefield图像,它有一个广泛的范围和收集单个图像覆盖大部分的眼底,增加人工智能的应用程序的可行性。丁等人适应算法实现了提取血管和nonperfusion区域的标识(25]。Nunez做力拓等人分割和量化的视网膜毛细血管nonperfusion UWFA基于深度学习(29日]。然而,他们两人实现分期疾病的目标。
在这项研究中,我们没有提取和分析任何单一特性UWFA图像但专注于两个指标:缺血性指数指数和泄漏。糖尿病性视网膜病变是一种微血管损伤,机制是明确的(32]。视网膜血管通透性的增加会导致血视网膜屏障的破坏,导致流体泄漏从血管33]。另一方面,内皮细胞的破坏会导致毛细血管闭塞,没有血液灌注缺血的形成(6]。上述结果显示nonperfusion之间的对应关系和泄漏和糖尿病视网膜病变的发病机制,和以前的研究也表明,有关缺血性博士的严重程度指数和泄漏指数(10- - - - - -13]。我们的结论是,缺血性指数和泄漏指数是好博士阶段的评价因素。
我们提出了一个统一的生成模型,自动检测和定位病变由不同类别标签,在ultra-widefield图像提取nonperfusion和泄漏,年级的年级类别的严重性。这个模型使我们自动成批马克和描绘病变,虽然目前的标准实践手动执行消耗大量的人力和时间。GAN由发电机网络和鉴别器网络,这是训练交替实现共同的目标优化。总的指导原则是nonperfusion区和泄漏检测和定位的区域通过古典不成对生成网络CycleGAN和CNN,分别。CycleGAN可以生成更现实的和可靠的图像的帮助下循环一致性损失,然后是CNN分类器分类的不同的图像减去从真实图像生成的图像。鉴别器和生成器对抗性的方式获得局部最优解,CycleGAN和分类器来增强合作能力产生病变区域的结果。之后,预测模型可以用来区分NPDR PDR基于缺血性指数和泄漏指数,这是符合常规临床诊断和具有较高的可信度。
直观地说,不同严重程度的博士UWFA对应于特定的性能。有一个特定的临床严重程度的生物标志物之间的区别。在这项研究中收集的临床资料包括博士不同严重程度的情况下,在每个时期包含100多例。培训阶段,培训增强图像支持模型学习的潜在功能。结果表明,人工智能模型可以学习符合疾病的生物标记数据集的常客。
先前的研究已经取得了一些令人鼓舞的结果然而,博士的一些单指数不同的指数来自不同的模型。一个统一的模型,该模型可以获得多个指标有意义等多种疾病的表现形式的研究博士为此,本研究试图使用一个扩展CycleGAN博士发现的潜在指标之外,该模型只需要分类标签,而不是不可用地区的标签之前的深度学习的方法。指标的统计数据,支持其他研究一样的结论,这表明该模型的可行性。
此外,本研究建立了一个预测模型在模拟7-SF博士分级指数和缺血性指数基于泄漏。有令人满意的精度识别正常的眼睛和7-SF PDR的眼睛。同时,我们比较之间的预测准确性ultra-widefield视觉图像和模拟7-SF范围,发现更多的病变ultra-widefield视觉上能找到图片,和预测的准确性UWFA略优于7-SF。之前的研究表明,糖尿病性视网膜病变的病变主要涉及中间和后杆;大多数病变出现在7-SF区域,所以ultra-widefield 7-SF[显示一定程度的一致性34]。与疾病的严重程度的增加,后极越来越脆弱,和生存的可能性减少。总之,该算法适用于UWFA和传统7-SF血管造影图像和对UWFA执行更好的图像。
以下必须承认这项研究的局限性。首先,培训过程是基于收集的数据只有一个临床中心,不得适用于整个人口患有糖尿病。第二,获取泄漏指数和缺血性指数准确,例前玻璃体出血被排除在外,因此模型的普遍性是有限的,在未来需要进一步优化。此外,有扭曲和图像亮度的差异UWFA图像,从而防止缺血性的准确提取和量化指标和泄漏指标。
总的来说,在这项研究中,我们采用了深度学习模型基于缺血性指数在糖尿病视网膜病变分期和泄漏指数第一次和模型的准确性与诊断由住院医生。如果这个模型被广泛采用,它将带来巨大方便患者和临床医生博士。例如,该算法可以作为一个智能UWFA图像分析系统和电子医疗报告管理系统在医院。病人可以获得人工智能诊断报告后立即血管造影检查和接收条件及时的信息。与此同时,这种工具可以减轻训练有素的专家的工作负载,允许未经训练的技术人员筛选和处理许多患者没有依赖临床医生客观。具体来说,首先,分类结果可以提供一个快速的诊断,帮助医生快速定位应注意的图像面积和严重程度分类博士给的快照。此外,它是方便医生管理和跟踪病人数据,以便更好地掌握病人的病情和满足医生的学习和科学研究的需要。最后但不是最少,这些视觉指标是合理的临床辅助诊断指标,并在此基础上进行分类,打破了盲盒困境的成像的应用人工智能在这个阶段。在未来,我们将继续优化模型,包括分类的图像在有限的区域后,图像质量提高,并在模型中嵌入一个辅助程序来识别玻璃体出血、视网膜出血。最后,我们希望我们的模型可以应用于一般临床情况和效益医生和病人在县医院和农村地区。
数据可用性
我们提出了我们所有的主要数据和附加文件中的数据。使用的数据来支持本研究的结论可以从作者。
伦理批准
这项研究是由当地伦理委员会批准(武汉大学人民医院临床研究伦理委员会)在WDRY2021-K034的数量。
同意
鉴于这是一个回顾性分析,不需要患者同意。
的利益冲突
作者不存在相互矛盾的关系。
作者的贡献
研究设计和概念是由X。W W。F,林祖嘉分析和解释是由所有作者。起草文章是由X。W Z。J, X。M Z。Z Z。Y, H。Z,林祖嘉至关重要的知识内容的修订是由所有作者。C。C有完全访问所有的数据用于这些分析和充分负责数据的完整性和数据分析的准确性。所有作者审查和接受提交的版本的手稿。X。W是第一作者;W。F and C.C are co-last authors of this paper.
确认
作者感谢都已经许博士他陆,医学博士和刘Juejun,医学博士,来自武汉大学人民医院进行图像采集。这项工作是由中国国家自然科学基金支持下批准号62072241,部分原因是由江苏省自然科学基金批准号BK20180069,部分由江苏省六大人才高峰项目批准号下swyy - 056,部分由南京医科大学教育研究基金会资助。2019 lx044。