文摘

医疗保健行业正在经历一场大变革由于深度学习和人工智能的最新进展。尽管医学成像和诊断的重大突破,仍有许多开放的问题和未开发的应用在医疗保健领域。特别是,大量医学图像的传播是一个具有挑战性的和耗时的问题,然而,之前的研究没有调查使用深层神经网络对这个任务。本文的目的是介绍和发展深度学习的方法对于医学图像的有效传播,与特定的兴趣进步的位平面编码。我们之间建立一个连接位平面合成和image-to-image翻译和提出一种两步渐进图像传输的管道。首先,银行预测位平面生成对抗网络训练的自顶向下的方式,然后预测残差编码与定制适应无损压缩算法。实验结果验证了网络银行的有效性产生一个精确的低阶位平面从高阶位平面和演示的压缩算法的优势与传统算术编码这种特殊类型的预测残差的压缩比。

1。介绍

随着数字成像设备的发展,越来越多的医学图像已经生产和医学图像的数据集通常包含大量的图像。上的丰富的医学图像传输低窄带宽的公共网络无疑会导致关键网络压力和进一步延迟诊断的时间(1]。

提高医学图像传输的速度,提出了一些方案来建立更有效的特殊网络。例如,在[2),提出了一双独特的接口为医学提供一个快速通道并建置两个应用程序之间的数据传输,可以加快1.22和13倍,分别在局域网(LAN)和广泛的区域网络(广域网)。后来,他们进一步提出了一种改进的网络(3)将局域网(LAN)和广域网(WAN)和并行优化DICOM协议TCP连接使用。这个网络可以加快2.2到3.5倍,当传输磁共振图像。

从另一个方面,提出了一些新的图像传输技术。一个直观的方法是降低医学图像的分辨率传输之前在一个贫穷的网络带宽。然而,医生误诊与低分辨率医学图像。因此,渐进图像传输(坑)4)技术应运而生。传统的光栅扫描下令逐像素图像传输技术是低效的,和关键区域的图像显示疾病可能收到的传播使得医生的耐心和影响治疗。渐进图像传输技术通常传输低分辨率图像开始,逐步传输图像的细节进一步提高分辨率,直到完全原始图像传输。通过传输,接收方可以决定他们想要接收图像的细节或不是在很短的时间内。因此,医生可以控制最终的图像分辨率和所需的存储空间。在过去的几十年中,一些成熟的技术提出了。位平面渐进图像传输方法(BPM) [5,6)是一种低计算复杂度和直观的技术来传输图像位平面的位平面中详细说明第二节。另一种渐进图像传输技术是,在7- - - - - -12),分为不重叠的图像块,和一个量子化的像素值是用来表示整个街区,然后,逐步将图像划分为更细块,提高图像分辨率。一些方案(13- - - - - -17将图像转换为一个小波域和传输系数,而不是像素。有损压缩(18和无损压缩19)方法也采用一些方案来减少文件大小在每一轮的传播。

近年来深度学习的技术已经成熟,吸引大量的研究被广泛使用在工业(20.]。一些先进的深度学习架构也被引入到医学图像处理。医学图像分类是最重要的领域深入学习作出了伟大贡献。CNN网络已广泛应用于医学图像分类,取得了较高的准确性(21- - - - - -23]。深度学习的技术也适用于医学图像检测。器官的方法,区域,和具有里程碑意义的本地化24- - - - - -26)和对象和损伤检测(27- - - - - -29日全部采用深度学习架构。医学图像分割是自然开发的检测图像(30.- - - - - -32]。医学图像处理的其他任务,如基于内容的图像检索(33];图像生成和增强34];和描述的医学图像形状、边缘和密度(35也被提出。最近,深度学习与敌对的学习架构:生成对抗网络(GAN)提出的格拉汉姆·古德费勒et al。36),有能力生成逼真的图像。基于氮化镓的网络,一个强大的架构pix2pix [37)被设置为一个图像位平面预测翻译风格和形象已经采用在不同的场景中,如隐写术(38在医学图像中,甚至39,40]。然而,到目前为止,这些深度学习技术尚未应用到医学图像传输。通过利用GAN网络的预测能力,可以将医学图像压缩传输之前,因此传输的效率可以提高。

在本文中,我们采用的框架将医学图像的位平面坑方法。减少数据传输之前,GAN-based预测银行旨在预测位平面。通过逐步预测位平面之前发送基于位平面传播,我们只需要把剩余提供接收方可以执行相同的预测。拟议中的GAN-based预测银行产生的预测精度高,剩余可以有效地压缩传输之前。因此,位平面坑的效率大大提高,传播成本可以降低。的主要贡献我们的计划总结如下:(1)pix2pix GAN网络的深层神经网络引入先进的医学图像的研究预测和传播(2)设计一个GAN-based预测银行帮助医学图像的位平面压缩(3)提出一种自适应的剩余位平面高压缩比的压缩技术

实验结果验证的有效性和效率提出了预测网络和压缩技术。本文的其余部分组织如下。第二节简要介绍了位平面的渐进图像传输方法。第三节细节提出了进步的位平面预测敌对的学习方案和自适应剩余位平面压缩技术。第四节提供实验结果证明我们的准确性预测方案和提出的压缩技术的效率。此外,提出剩余位平面压缩的性能比传统的算术编码。在提供的结论第五节。

2。位平面的方法坑

在本节中,渐进图像传输的位平面方法(BPM)技术已被广泛用于传输大量的高分辨率的医学图像,介绍了。渐进图像传输(坑)技术是一种有效的方式来传输图像在窄带宽通道。坑中技术,BPM是一个简单和直观的方式传播,将一幅图像划分为位平面并发送它飞机乘飞机。为灰度图像,每个像素值从0到255,也就是256年的灰色的水平,可以由8位代表。可以将原始图像分解为八个最重要位平面的位平面b₈最低有效位平面b₁,所以b₈主要内容和记录b₁分别记录的微妙细节,原始图像。因此,在坑位平面的方法,位平面b₈来b₁按顺序传送,接收方可以逐步恢复图像,直到所有的位平面都发送或当前图像质量是满意的。详细的BPM方法描述如下。

在最重要的位平面b₈,“0”和“1”表示相应的像素从0到127”和“128年到255年,”。因此,在收到b₈这两个间隔的平均值,也就是说,64年和192年,用于粗代表他们。当收到下位平面b₇,接收方更新图像通过使用更好的量化水平(96、160、224)来表示相应的代码“00”,“01”,“10”和“11。“这个过程,直到所有的八位平面被发送。BPM传输见图的一个例子1进步的位平面组合和相应的恢复图像。当收到位平面的数量增加时,也可用量化水平增加,可以获得更好的恢复图像。

3所示。进步的位平面预测和压缩

基于BPM渐进图像传输,我们建议一个位平面预测方法和一个压缩技术来提高医学图像的传输效率。在本节中,提出了图像传输方案和pix2pix首先介绍了基于模型的位平面预测方法。这时,一个新的压缩方法的预测误差位平面。

3.1。敌对的学习进步的位平面预测

为了逐步预测图像位平面的位平面,生成对抗网络介绍了预测和合成位平面。GAN架构是一个经典的神经网络来生成合成图像的特定样式通过培训。GAN-based pix2pix模型是一个著名的模型的网络,可以利用image-to-image翻译。pix2pix模型中,发电机GU-Net,是专为生物医学图像分割,而不是传统的encoder-decoder网。U-Net由承包路径downsample输入图像,和一个广阔的路径来生成一个输出图像的分辨率。承包路径包括四个步骤2 x2连接的最大池与步幅2层;每一步都包含三个重复与ReLU 3×3的隆起。广阔的道路还包括四个步骤2×2 upconvolution和半连接的特征图谱从承包裁剪路径。鉴频器,采用PatchGAN歧视,生成的图像的重叠的补丁是真是假。有别于传统的氮化镓鉴别器只输出一个结果,也就是说,是真是假,PatchGAN输出矩阵和每个元素反映了当前块的像素差异之间的合成图像和原始图像在当前块地区。此外,获得一个生成的图像相似性较高的输入原始图像,曼哈顿距离(规范),选择更适合高维图像评估输入和输出图像的区别。因此,在pix2pix模型中,假设和输入和输出图像;输入和输出之间的差值是评价

然后,最终的目标是通过混合损失与传统GAN损失 在哪里hyperparameter平衡两个损失取得更好的表现。

通过上述架构,pix2pix模型可以将输入图像转化为彩色图像等不同风格,昼夜,图像修复。灵感来自pix2pix image-to-image翻译模型,在本文中,我们训练pix2pix模型来预测医学图像的位平面。该方案是基于BPM的渐进图像传输。医学图像分为八位平面,平面的平面传播。在接收端,位平面也收到了飞机坐飞机,可以逐步重建医学图像。在传输过程中,我们利用pix2pix模型生成预测版本的位平面发送基于前面的位平面。受益于高预测精度,预测误差的位平面(剩余位平面)可以有效地压缩。因此,位平面可以通过发送它的残余。不同层位平面的预测因子单独训练,组织成一个预测银行,与接收机和共享。当收到剩余时,接收方可以做同样的预测得到预测位平面,然后,可以恢复原来的位平面根据接收到的剩余位平面和预测位平面。 The framework of our proposed progressive medical image transmission scheme is shown in Figure2。

详细的位平面假设MSB LSBb₈来b₁我们喂b₈位平面的训练图像到模型作为输入图像生成输出图像和设置相应的b₇地面实况图像位平面。输入和输出的标准格式pix2pix模型是一个8位深度的形象。符合这种格式,后面附加提供零位平面。当训练模型预测b₆,b₈和b₇作为输入连接。说明对于这种情况如图3。剩下的位平面的详细的预测模型是在类似的方式训练。然后,一系列pretrained预测被组织成一个预测银行如图4,其中包含七个预测预测不同层位平面。例如,b₆预测可以预测位平面b₆利用位平面b₈和b₇。因此,每个位平面b₇来b₁可以逐步先前预测的位平面。在应用阶段,剩余位平面可以通过比较计算发送位平面和合成一个 在哪里 , ,和代表剩余,原始,分别和合成位平面。假设图像的大小 , 表示的坐标和范围从1到 。本文用符号表示七个剩余位平面r₇来r₁。在接收端,对于预测的预测位平面可以获得银行。在收到剩余位平面,真正的位平面可以恢复 在哪里表示的二进制bit-flipped价值 ,也就是说,“1”更改为“0”或“0”更改为“1”。

3.2。自适应剩余位平面压缩

预测剩余和原来的位平面的大小是一样的。的主要区别是,剩余位平面中的值大多是零。因此,它可以更有效地压缩。此外,我们GAN-based的错误比特位平面预测是高度集中在图像边缘附近或复杂的细节。根据剩余位平面的功能,我们进一步提出了一种自适应压缩技术来减少数据大小。详细过程如下:步骤1:剩余位平面分解大小的 成 不重叠的块大小的 ,在哪里范围从1到 。步骤2:初始化一个位置地图的长度 。步骤3:扫描光栅扫描顺序的残块。如果值块都是“0”或“1”,进入步骤4;否则,转到步骤5。第四步:设置 - - - - - -th一点位置的地图“0”,并记录块由一点价值,也就是说, ,在哪里表示 - - - - - -th的序列和复苏是物体的共同价值的元素。第五步:设置“1”,并记录位目前剩余块到复苏的序列光栅扫描顺序。第六步:返回到步骤3,直到所有块已经扫描获取位置地图和恢复序列 。第七步:压缩位置地图算术编码获得的最终位置的地图 。然后,最终的压缩残余位平面通过连接和 。

当收到压缩残余位平面,初始残余位平面可以通过以下减压程序:步骤1:解压位置地图由算术解码获取 尺寸定位图 。步骤2:如果是“0”位在当前块吗是一样的和去步骤3;否则,转到步骤4。步骤3:提取一比特从恢复序列和设置所有位在来 。步骤4:提取位从在光栅扫描顺序重新排列这些位才能恢复 。第五步:回到第2步,直到所有块扫描。然后,初始残余位平面可以通过瓷砖恢复中残留的块光栅扫描顺序。

图中给出了一个简单的例子5。在这个例子中,块大小被设置为2。自第一、第三和第四块均匀的块,价值定位图中相应的位设置为0。与此同时,一个样本点记录为他们每个人恢复序列。其余的块,定位图中相应的位设置为1,所有位的值都记录下来。当恢复这些块时,他指的是位置地图和恢复序列,所有的块都可以完全恢复。

4所示。实验结果

在本节中,我们评估的性能提出了位平面预案生成对抗网络和比较我们提出剩余位平面压缩方案与传统的算术编码压缩技术。数据集用于训练和测试,培训细节,首先介绍和评价指标,然后,评估该方案的性能。

4.1。数据集和培训细节

图像样本训练和测试的灰度胸部x光图像来自美国国立卫生研究院在美国卫生和人类服务。在我们的实验中,10000个图像从第一个压缩文件用于培训,和其他10个图像从第五个压缩文件,如图6用于性能评估和分析。训练和测试之前,所有的图像首先被downsampled成256×256大小的图像符合我们提出的网络体系结构。

当训练该模型,每个位平面预测培训超过100时代,最初的学习速率和批处理大小设置 分别和32。学习速率是执行在培训和hyperparameter一半被设置为 。亚当的更新模型参数和优化功能。

4.2。评价指标

评估的性能预测位平面,两个重要的指标,错误率(ER)和压缩比(CR),介绍了进行一些实验。预测位平面,指的是原来的位平面,如果两位在同一个地方是相同的,相应的在剩余位平面设置为“0”,设置为“1”时的预测是不正确的。错误率(ER)被定义为“1”的比例计算出的剩余位平面,可以 在哪里表示错误比特的数量。在获得剩余位平面,采用不同的压缩技术来压缩它。压缩比(CR)表示数据之间的比例大小的原始和压缩版本,可以计算 在哪里代表数据大小,压缩残余的碎片。通常,压缩率大大地依赖于错误率,和低错误率的剩余可以更有效地压缩。因此,高精度的预测可以提高传输效率。

4.3。表演

首先,测试图像“图片05”是用来证明原始位平面的实验结果,预测位平面,和相应的剩余位平面。

从图7当收到8位平面,其余位平面可以逐步合成得到预测位平面。剩余位平面,白色像素错误预测,其中大部分都是集中在图像的边缘。7位平面的出错率是最低的,因为这个位平面相对顺利,几边。出错率逐渐增加的细节位平面变得更加复杂。然而,位平面1的出错率仍低于35%,大多数碎片可以准确地预测。因此,该方案可以逐步预测精度高的位平面。为了进一步验证预测精度,表1列出所有不同层次的错误率十测试图像。

错误率单调增加r₇来r₁。两个例外发生在“图像04”和“形象06”:错误的速度r₆低于r₇。错误率最低和最高出错率分别为5.9723%和36.1099%,分别r₇“形象07年”r₁09年”的形象。“一般情况下,平均错误率单调增加从最高位平面低的位平面。整个图像的平均错误率为19.2673%。

压缩比是极大地依赖于错误比特错误率和分布。剩余与几位平面集中错误比特可以有效地压缩。剩余位平面的压缩比是绘制在图8。因为错误比特数量的增加r₇来r₁、压缩比降低为层减少。即使在异常情况下的“形象04”和“图像06”,错误的r₇超过r₆的压缩比r₇也由于错误比特的集中分布。

调查块大小设置的影响,四个不同的尺寸适用于压缩残余。的压缩比不同的块大小和层表中列出2。尺寸4的压缩比显著大于其它尺寸的位平面的所有层。

此外,我们提出了剩余位平面压缩技术也与算术编码技术。如图9的平均压缩比,我们的方案是更好的位平面r₇和r₆的表现,而算术编码的位平面略好r₄和r₃。这是因为,在后面剩余位平面等r₄来r₁,没有连续分布的错误使我们不压缩技术有效。整个图像的压缩,该方案明显优于算术编码。为了进一步验证医学图像领域的适用性,所有测试图像的压缩比是列在表中3。在表3,和表示的源压缩原始残差和位平面,分别。此外,从最初的第一位平面应该传输开始时,在两种类型的位平面和 ,最初的第一位平面传播由不同的压缩和压缩方法。如表所示3,剩余的压缩比大于原来的版本。这意味着设计GAN预测银行是有益的。此外,该位平面压缩技术优于算术编码方案的bit-planewise压缩。实验结果所示,压缩比是严重影响剩余位平面的平整度。在医学图像中,大多数的纹理都集中在感兴趣的区域,这是特别适合该预测银行工作效率。此外,pretrained的参数预测银行发送方和接收方是至关重要的,以便预测银行需要保护,以确保适用性和安全性。

5。结论

在本文中,我们引入一个甘预测银行和位平面压缩技术在医学图像的渐进传输。实验结果验证该预测银行可以有效地预测位平面下进步的计划。此外,提出自适应位平面压缩比算术编码效率为当前应用程序。本文打算深入学习技术引入经典的渐进图像传输和我们希望本文能给一些灯饰为未来的研究。在未来的工作中,我们将进一步和提高更多的卷积神经网络引入到医学图像的压缩和传输。

数据可用性

使用的数据来支持这个研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是支持的部分jsp KAKENHI(批准号。JP16H06302和JP18H04120)和JST波峰(批准号JPMJCR18A6和JPMJCR20D3),日本。