文摘
虽然人工智能(AI)被用于核医学50多年,取得了更多的进展深度学习(DL)和机器学习(ML),驱动新人工智能的开发能力。人工神经网络用于在核医学深度学习和机器学习。另外,如果3 d卷积神经网络(CNN),输入可能被分析的实际图片,而不是一组输入。在核医学、人工智能的比喻和重新设计领域的治疗和科学能力。理解3 d CNN的概念和上下文中的U-Net核医学与临床和研究应用程序提供了一个更深层次的接触,以及解决问题的能力,当他们出现。业务分析、风险评估、质量保证和基本分类都是简单的ML应用程序的例子。一般核医学、SPECT、PET、MRI和CT可能受益于更高级的DL申请分类、检测、定位、分割、量化,利用3 d cnn radiomic特征提取。一个安可以用来分析小数据集的同时,传统的统计方法,以及更大的数据集。核医学临床和研究实践很大程度上是影响人工智能(AI)的介绍。临床和研究景观已经被3 d的出现从根本上改变了CNN和U-Net应用程序。 Nuclear medicine professionals must now have at least an elementary understanding of AI principles such as neural networks (ANNs) and convolutional neural networks (CNNs).
1。介绍
使用人工智能(AI)在分子影像医学与核医学取得了相当大的动力和承诺是一个破坏性的,然而,创新技术。核医学一直在使用AI多年,和周围的兴奋AI放射学掩盖了这个事实(如心脏定量软件包)。人工神经网络(ANN)、DL、ML最近所有重大进展,已经重燃兴趣AI同时也引发争论的伦理和法律问题在健康和医学中使用人工智能。在这段对话中,一个重要方面是经常被忽视:与任何工具一样,使用人工智能的最佳方式是由用户决定。
在核医学和放射学,各种机器学习和深度学习功能是可用的。在的一个极端,例如,可能会有一个简单的使用机器学习质量保证,业务分析,风险评估,和基本分类。检测、本地化和分类图像可能会发现在一个广泛的深度学习应用。另一个极端是大型和复杂的CT,宠物,和核磁共振数据放入卷积神经网络(cnn)洞察分割,检测、定位、分类、量化,并使用深度学习radiomic特征提取(DL)。某些CNN和深度学习应用程序可能超越极端(ultra-zone)结合混合动力技术,使用时需要注册多个图片模式,设备,和样本长度。在光谱的低端(被称为“下文区”),使用人工神经网络(ann)和机器学习(ML)允许并发两小和大数据集的研究。
临床和科学技能可能改进的工作流和生产力在核医学利用人工智能在分子影像医学与核医学。创新有责任感的职业和病人。社会、法律和伦理责任都属于这把伞。伦理、社会和法律问题与人工智能在分子影像医学与核医学中心数据使用,使用的算法,这些算法的实际应用。
由于技术进步等多重成像设备被部署在2000年代(1)和快速检测器技术开发(1,2)、核医学和放射学重大进展在过去二十年里。软件发展也导致显著提高信噪比和重建图像的空间分辨率,例如,通过包括信息从飞行时间(ToF)和点扩散函数在PET图像重建(3]。核医学图像采用相对限制的方式在大多数临床文章,临床研究,而且,最重要的是,在日常临床实践(即。,大多是视觉或半定量的分析)。医学图像分析变得越来越自动化,许多特性,其中一些可能不可见在未受训者的眼里,被提取(4,5]。精密医学时,最重要的这一转变的目标是有效地使用成像调查提供的信息来影响病人的治疗工作流程。医学成像应发挥更大、更重要的角色在这个新的范式不仅仅是诊断。它还应该发挥更大、更重要的作用在治疗计划,监测、评价、预测建模和分层,成为未来临床决策过程的一个重要组成部分。
安先生是至关重要的,在核医学DL。安是一个基于节点分析技术,由许多层的节点组成。Radiomic特点来源于图片文件或照片本身可以用作输入CNN。在核医学临床和研究能力、重再造工程、人工智能。安是由节点安排在一个层次结构(深度)。输入来自其他节点加权(图1)。通过修改节点权重,安旨在最大化精确输出,评估与接地真理(6,7]。迭代(时代)的答案更接近真相。
算法的研究,学习和发展随着时间的推移被称为机器学习,它是人工智能的基本概念。无监督或(半)监督学习是最常见的分类。无监督学习涉及无标号数据中发现模式,监督学习依靠标签来推断分类或回归,和semisupervised学习涉及少量的标记数据和大量的未标记数据。医学成像时,典型的过程或深度学习管道通常是直接用于大部分的任务。
通常认为,人工智能在医学上的出现会导致“超人”功能和更精确的治疗。相反,人们很容易忽略一个事实:很大一部分医生的日常工作包括日常任务,并将这些任务委托给AI会释放人力资源关注高价值的活动,通常需要人类属性认知顿悟,创造力,同理心,或意义。
1.1。人工智能和深度学习应用于核医学成像
人工智能(AI)有着广泛的潜在应用在核医学(8]。在检测器上数据处理是初始阶段使用人工智能图像重建,包括调整检测过程中的许多物理过程(例如,衰减和散射)。人工智能可以用于各种图像处理任务,包括去噪、分割、融合,除了重建。包装起来,人工智能(AI)可用于构建模型基于从照片中收集到的信息,可以用于预测,个体化治疗。
该软件用于制造宠物图像也进步了很多。例如,飞行时间(ToF)信息和点扩散函数可以用来制造宠物图片更好看。一些最重要的医学论文仔细使用核医学图像。这是真正的临床研究和医疗(即“正常”。,大多是视觉或半定量的分析)。
PET扫描仪与大量的水晶像素可以使用计算机网络来提高图像分辨率和噪声质量,以及找出两个数字化的飞行时间探测器波形,同时都是数字化9,10]。迭代图像重建时,使用深层神经网络可以提高最终产品的质量(11,12]。衰减调整和登记在PET /先生和PET / CT,深度学习的方法已经被提出(13- - - - - -17]。这些方法可以创建衰减地图的准确性。深度学习,像MLAA,已被用来提高活动的最大似然重建和衰减ToF宠物数据(MLAA) [18]。这是最常见的一种使用深度学习处理图像的方法。足量的宠物照片是如何利用这种技术的一个例子(19)或它如何可以直接过滤PET图像重建20.]。
图像分割,使用一个自动化的系统。这可以用于诊断和治疗计划,等等。老,摇摇欲坠的机器学习框架不能达到临床实践所需的自动化程度和精度或迅速处理数以百计的同时radiomics患者。越来越多的公司正在根据深度学习方法来提高自动化和性能,尽管其他人仍然使用“老”技术。医学图像分割是一个很好的用例cnn (21]。这可能是解释这一事实分割学习发生在体素水平,而不是分类任务(每个图)一个标签(每体素一个标签)。因此,网络参数可能会更有效地训练。根据最近的宠物功能体积分割MICCAI竞争,策略使用一个受良好训练的CNN是最好的(尽管不是远远高于一些更传统的方法)的结果(22]。多个使用cnn (PET / CT cosegmentation已经解决23- - - - - -25]。radiomics管道预计给这个阶段完全自动化的解决方案,这将消除这种关键瓶颈,基于管道进行肿瘤识别和分割,使用深度学习框架(26- - - - - -28]。规划、图像采集、分析和报告的四个阶段构成一个典型的医学影像工作流(图2)。门口也可以注册和支付流程。我们已将目光锁定下来的台阶上医生的过程起着举足轻重的作用。
基本概念,支撑着面具R-CNN方法(29日,30.)是专门一个图像分类器模型通过装备大量的可训练的大小不同的模块,以提取特征,边界框,对象类和个人面具。
的一些数据集用于核成像的分析如下:MoNuSeg-Grand挑战,Mitos-Atypia-14-Grand挑战,Kaggle数据科学碗,从免疫组织化学数据集,neurosphere数据集,数据集和电子显微镜。
2。卷积神经网络
CNN使用卷积和池层从图片中提取特征,但人工神经网络需要特定数据(特征)输入系统(图3)。卷积的方法使用不同的内核(通常3×3)应用于阵列图像像素的一个子集以谋取radiomic特性,和这些内核的输出总结在一起,形成一个整数值的所有特征提取(31日- - - - - -35]。前一个示例从卷积层,进一步激活函数形式特征图。几层的数据被夷为平地的由于几个卷积,内核,池阶段发生在继承(32- - - - - -34]。
为了从照片中提取radiomic信息和提供一个输出某种分类,使用卷积和池水平与CNN一个完全连接网络。线性卷积是用于提取视觉信息从输入张量通过应用适当的内核(通常3×3)。内核元素覆盖输入张量元素,和步幅往往决定了内核移动。内核应用于输入张量一次,大步的1。2的跨步时利用内核应用于每个输入张量的第二个元素。采样下来可能是最佳保存池使用函数如果步幅比1。一个数值(和对应的坐标值)是由求和的单个组件的产品每个输入张量和内核(张量)输出。使用不同的内核,每个卷积层可能被创建。然而,Z维度不是压缩,尽管它已经被缩小。
池是一种技术来减少样本的数量。有两个主要方法:全球平均池和max池。这就是所谓的“最大池。“这样品组件来得到一个输出最大的价值是一样的一定区域的地图数据功能。为了做到这一点,我们每组样品的四个组件,直到我们得到一个值为每个最大价值是一样的。全球共享的特征映射到一个数组1×1单值为每个元素。这使得特征地图更容易阅读。平均值:每个元素的值的总和等于所有值的总和。单一方向的向量是由数据卷积和池(数字)。
选择损失衡量概括性的人工神经网络(ANN),也被称为它的敏捷性。使用这些损失函数,一个能够优化两个隐层神经元的数量在每个重复使用的最终设计。最终设计的人工神经网络(ANN)或模型选择过程,选择损失,也称为与序列相关的错误和范围的数据,必须考虑。安的输出以及输出的准确性都是影响节点出现在隐藏层的数量;因此,选择与安的深度。防止过度或underfit,罢工之间的平衡是至关重要的顺序选择和数据的复杂性。安的复杂性是由隐藏单位的数量以及节点包含在这些隐藏层。使用非常少的节点和层导致较高的选择错误。相反,过于复杂的安与过多的节点或层导致过度拟合,提出了选择错误。
可以减少节点的数量和水平的复杂性,因此安通过采取措施减少选择错误。一个安的选择错误评估如何执行新的数据相比,其训练误差(普遍性)。优化安训练之间需要一个微妙的平衡结构和选择错误(图4)。安为了增加复杂性,每一个错误都可能计算(秩序)。
3所示。3 d CNN
3 d CNN是一个传统的神经网络的三维数组,和它使用multifiber单元如图所示5和扩张加权运算来提取特征属性在不同体积分割尺度。
预处理:使用各种技术数据预处理输入网络在训练前(镜像、旋转和裁剪)。
培训:为了培养模型,我们采用一块大小为128×128,以及一个新的损失函数,合并集中与广义损失损失。
推理:为了让网络核磁共振数据,正确划分正是在这种原始的240×240×155像素点成为240×240×160像素点。一旦准备推理网络,通过数据和生成概率地图。创建这些地图后,整体使用它们来生成给定产出水平。
4所示。3 d U-Net
U-Net架构为生物医学图像分割在2015年建议(36]。分段神经结构在电子显微镜堆栈或细胞在光学显微镜照片证明是微风的科学家,曾经设计的其他问题。
卷积层U-Net设计进一步扩展这个upsampling通道,使上下文信息传播到高分辨率层(36]。这将创建一个对称u型结构与冷凝和扩大路线(见图6)。一个encoder-decoder网络是这种设计的另一个名字。为了更好的定位,我们引入了跳过编码器路径的高分辨率特性之间的联系和译码器路径的upsampled功能地图。虽然U-Nets已经发展近年来,他们仍然是最好的选择对于许多分割任务。
cnn经常被用来指定一个类标签全貌。然而,在许多计算机视觉应用程序本地化是至关重要的,每个像素标记项它所属的类。CNN分类架构经常被用于这些所谓的语义分割问题。每个像素分类网络分类分别通过提供一个当地(也称为一个补丁)。使用滑动窗口方法对图像中的每个像素进行分类。因为很多补丁可以从单个图片检索,这种方法的好处是生成更多的培训数据。训练数据的限制数量在生物医学工作使这个特别有价值。虽然这种方法有其优势,也有一些缺点。因为多个重叠的补丁需要通过网络播放,画面分割是浪费时间和资源。之间的一种权衡大补丁提供更多信息和小的更好的定位使它具有挑战性发现理想的块大小。
完全卷积网络(37)提出了结合上下文,定位精度高。交替,upsampling层可能被添加在正常扩大分类网络为了得到的输出分辨率图片回到最初的地方。没有完全连接层利用保留空间数据。简单的双线性upsampling可以用来改善输出分辨率。也可以采用转置运算,它有时被称为——或者反褶积。转置卷积层的输出大小是决定使用的内核大小和步伐。
5。深度学习在神经影像学技术的挑战
最后,深入学习是一种机器学习,采用人工神经网络(ANN)和可用于几乎任何类型的学习。因此,深度学习神经影像学的应用仍处于起步阶段,和各种各样的困难需要解决。
过度拟合是其中之一。过度拟合训练时总是一个问题是一个复杂的分类器在一个有限的数据集。一般来说,深度学习模型进行出色的拟合数据,但这并不保证他们可以用来推广问题。过度拟合已在一些实验中减少了各种方法,包括正则化(38),早期停止(39),和辍学40]。例如,一个算法的性能在一个单独的测试数据集可用于评估过度拟合,但它可能不执行在其他地方,类似的照片各种扫描仪,或者用不同的病人人口。一般来说,更大的数据集从不同位置得到利用各种扫描仪和协议的细微差别图片属性,导致性能变差(41]。数据增加没有标准标准,另一方面,不能处理的问题,提出在处理小数据集。如果这些技术被广泛使用,他们必须克服的挑战被称为“脆弱的人工智能。“因此,深度学习是一个数据密集型技术。为了实现精确的分类和确认其临床使用的性能,大量已标示的实例是必要的。上游与分类算法,应用程序像图像质量增强学习众多预测在一个单一的形象而不是一个(只有一个学习人均可用数据点)。然而,创建大型公开医学图像数据集与标记图像是至关重要的,尽管隐私问题带来的挑战,成本,评估地面真理,和标签的准确性(42]。因为高剂量或完全采样照片作为标签在分类过程中,图像收集应用程序提供一个优于其他方法,因为数据已经标注。深度学习了许多伦理和法律问题,以及问题的理解发现物理或机械。数据输入一个“黑盒”和一个输出预测,如一个图像或分类,生成(43]。模型解释能力的“神话”被定义来描述所有深学习算法的操作维度高于人类思维可以直接看到44]。就好了,估计网络的预测,以便更好地理解生成的图片的不确定性。
重要的是要意识到人工智能在医学领域应用的局限性,尽管这些应用程序具有巨大的承诺。知识,有挑战与模型的可解释性。理解符号人工智能或简单的卷积神经网络,包括回归分析或决策树等,对人类仍然是有可能的,但它变得极其困难和更先进的技术,现在与许多机器学习技术极其困难,导致不可预知的结果和不确定的行为。符号人工智能和传统的深度学习包括决策树和线性回归。目前还不清楚是否预测人工智能可以而且应该被用来制造重大和重要决策时的作用方式是未知的,尽管这个问题也适用于其他医学治疗(如药理学的特定模式的行动往往很少讨论)。
6。结论
人工智能已经成为越来越普遍的核医学在过去的几十年里,没有很多麻烦或破坏。3 d的崛起CNN和U-Net应用景观造成了一个巨大的转变。从infrazone(数据和分析)ultrazone(成像),人工智能用于核医学以各种各样的方式(真正的合成智能)。这将是核医学专业人士更容易适应3 d CNN和U-Net更好的同化。结果,我们认为3 d CNN和U-Net将变得越来越普遍在临床实践中在未来几十年发展的结果可辩解的AI和更大、更标准化的数据集。
数据可用性
没有数据被用于这项研究。
的利益冲突
作者宣称,关于这项工作他们没有利益冲突。
确认
这项工作是由中心系统设计、钦奈理工学院,钦奈,见资金数量是CIT / CSD / 2022/006。