文摘

现代内窥镜发挥重要作用在诊断各种胃肠道(GI)呼吸道疾病有关。提高视觉质量的内窥镜图像可以提供更好的诊断。介绍了一种有效的彩色图像增强方法内镜图像。在两个阶段:在灰度图像增强色度空间变体映射色彩再现紧随其后。图像增强是通过执行适应性乙状结肠函数和均匀分布的乙状结肠像素。其次,空间变异色度映射色彩再现是用于生成新的色度组件。该方法是用于低对比度的颜色白光图像(WLI)来加强和突出胃肠道的血管和粘膜结构。该方法还用于彩色化灰度窄带图像(NBI)和视频帧。集中值和颜色增强因素表明,增强水平处理图像原始内窥镜图像相比大大增加。处理图像的整体对比度水平高于原始图像。 The color similarity test has proved that the proposed method does not add any additional color which is not present in the original image. The algorithm has low complexity with an execution speed faster than other related methods.

1。介绍

彩色图像的视觉质量起着重要的作用在医学图像诊断。无线胶囊内窥镜(WCE)是一种建立方法,提供医生的能力与无创检查小肠的内部程序(1]。然而,由于权力和硬件限制,图像质量在WCE低于高清晰度有线内镜(2]。相关的一些胃肠道疾病,如胃癌和结肠癌和溃疡性结肠炎,现在的威胁人类的健康1]。可以预防和治愈的不同等胃肠道疾病早期检测的手段。尽管WCE许多好处,图像通过这种技术常常不够清晰的看到黏膜结构,组织和血管消化道的特点与传统内窥镜相比,影响检测的准确性和提高小姐率在临床诊断(1,3- - - - - -5]。这就是为什么新技术正在不断地说服增强某些粘膜或血管特征,这样异常增生可以更好地可视化。

有芯片和后处理系统可以提高某些粘膜或血管的特点。在芯片技术,窄带成像技术(NBI) (6)和autoflorescence成像(AFI) (7值得一提的是。NBI系统有两种类型:一种是RGB连续照明系统,窄光谱的红色,绿色和蓝色的灯光集中在415海里,445 nm和500 nm,分别用于组织照明(8]。在另一种类型的NBI系统中,一个带通滤波器的带宽30 nm和中心波长415 nm(蓝色)和540海里(绿色)是用于生成NBI图像(6]。另一方面,在AFI系统中,使用特殊的颜色滤光轮旋转前的氙气光源按顺序生成蓝色光(390 - 470 nm)和绿色(540 - 560 nm)组织照明(7]。所有这些技术最终增加内窥镜系统的硬件复杂度和功耗。虚拟chromoendoscopy (CE)相比之下是一个后处理系统,可以将图像分解为不同波长和生产重建图像增强粘膜表面(9]。一些研究人员得出的结论是,NBI似乎是一种不太耗时且同样有效替代CE检测肿瘤,但错过率较高(3]。此外,NBI和CE都无法改善腺瘤在筛查检测小姐或降低利率。没有区别在诊断疗效观察这两种系统之间(4,10]。

还有一些其他的全球和自适应技术来增强图像的对比度和纹理信息,自适应直方图均衡化(AHE) [11),contrast-limited自适应直方图均衡化(CLAHE) [12)、高提升过滤(住宅)13),亮度保持动态模糊直方图均衡化(BPDFHE) [14]。AHE本地不同灰度变换适用于每一个小块的图像,因此需要确定的块大小15]。CLAHE图像中作用于小区域,通常称为瓷砖,而不是整个图像,根据用户指定的参数。最后,邻近瓷砖结合使用双线性插值消除人工边界。

该技术的两个缺点是噪声增强在图像平滑区域和依赖的对比获得限制15]。住宅强调没有消除低频高频组件。它可能增加扭曲在平滑区域由于过滤。BPDFHE的修改亮度保持动态直方图均衡化(BPDHE) [16),保留了亮度,提高对比度增强能力,同时降低其计算复杂度。然而,它引入了额外的工件根据灰度分布的变化(17这可能会导致不准确的诊断。

在本文中,一个多才多艺的内窥镜图像增强和色彩再现方法提出了可改善异常的检出率存在于胃肠道的图像。实现了图像增强的两个阶段:在灰度图像增强色度空间变体映射色彩再现紧随其后。图像增强是实现两个步骤使用自适应乙状结肠函数和乙状结肠像素均匀分布。这是我们以前的工作(有点类似于18),增强是通过运用直方图均衡化之后,自适应乙状结肠功能;这可以增强所需的黏膜和血管功能但不能保存图像的亮度。结果,在这工作适应性修改乙状结肠函数使用预先计算的增益和截断值应用保存灰度图像的亮度。水平的对比是下一阶段使用直方图均衡化增强。

其次,空间变异色彩再现是通过产生一个真正的彩色地图通过转让和修改旧的色度值从主题图像或输入图像。该方法可以在下列情况下是有用的。(我)在白光成像(WLI),白光是用来照亮了胃肠道和彩色图像生成的内窥镜。使用该方法,任何低对比度颜色" WLI形象可以增强灰度级别,然后用原来的颜色是彩色的,它可以帮助肠胃科更好地检查血管和粘膜结构。(2)它可以用于着色灰度图像使用不同的颜色主题形象的语气。这是有用的只有灰度图像可用(相应的彩色图像不可用或扭曲)。其次,它是有用的在节省功率和带宽传输无线胶囊内窥镜(WCE)。而不是传输彩色图像的电子胶囊,它只能传输一个彩色图像其次是3或4灰度图像。使用该方法,可以后来这些灰度图像彩色的使用第一个彩色图像作为主题形象。(3)在窄带成像技术(NBI),灯光使用415 nm和540 nm波长照射粘膜表面;粘膜的反射光捕获在一个单色的CCD图像传感器(19]。CCD图像传感器的灰度图像然后传递给一个图像处理器添加伪彩色图像(20.]。使用该方法,图像灰度NBI可以进一步提高更好的能见度的粘膜结构;伪彩色可以使用任何颜色的语气主题添加图像。

2。该方法

该方法包括两个阶段:基于图像增强和空变彩色映射的色彩再现。在图所示的方法1。下面简要讨论阶段。

2.1。图像增强

起初,内窥镜图像转化为颜色颜色空间使用(1)。在这里,亮度和亮度吗和是色度的组件。颜色空间转换允许我们处理不同的像素亮度增强血管功能和色度像素颜色复现。考虑

在这里,被认为是灰度图像。转换后,该方法可实现灰度图像和每一个色度平面使用(在0和1之间2)。考虑

在这里,和最小和最大像素值。之后,使用自适应乙状结肠函数归一化灰度图像增强和均匀分布。

2.1.1。自适应乙状结肠函数

该方法使用对比图像增强处理技术。一般来说,对比操作技术可以执行全球或自适应。全球技术转换适用于所有图像像素,而自适应技术使用一个输入输出变换不同自适应局部图像特征。我们的方法使用乙状结肠函数自适应变换的像素值。

一般来说,乙状结肠函数是实值和可微的,有一个正的或负的钟形的一阶导数。它被用在几个相关研究图像处理(25- - - - - -27]。使用为输入,乙状结肠函数如下所示: 在训练模式中,我们发现,在某指数图像突出一些血管和粘膜结构特点,在原始图像不清晰可见。控制指数,我们引入了两个系数s形的函数。使用的输入,获得,截止,修正乙状结肠函数表示如下: 截断值确定的中点输入曲线和增益控制弯曲的数量。这两个参数给我们控制训练方法生成一个特定的指数,突显出一些血管的特征。让,归一化图像的像素值在乙状结肠函数(4)是应用。图2介绍了s形的曲线根据不同截止和获得输入像素值。

这些参数(增益和截止)可以控制图像的整体亮度和对比度水平。截断值控制亮度和增益控制的数量连续像素之间的区别。保持指数到所需的级别,我们提出算法生成截止和获得价值。基于输入像素值,(5)生成特定截止和获得价值。后来,这些值用于(4)生成乙状结肠形象。考虑 在哪里,,,的像素值吗th位置和是像素的数量。这些值一些收集到的模拟。首先,我们内窥镜图像处理增益和截止值的不同组合。收集到的图像从Gastrolab28)和阿特拉斯(29日从胃肠病学家]数据库和评论;因此,疾病可以分为不同的类别。图3显示了一些示例的原始和相应的乙状结肠图像。图像中的异常可能是确定的,而不是组织和血管特性(标有箭头人物3(一个)和3 (c))。指出,黏膜结构,组织和血管特征很重要,因为通过分析他们的状态胃腺体和坑可以调查30.- - - - - -32]。

在模拟中,我们观察到,在某些情况下,与增益范围7.5 - -8.5,截止0.4 - -0.5的范围内,组织和血管特性是明显可见的。保持期望的范围的增益和截止,我们建议(5)。为了更好的说明,我们提出了s形的图像处理增益和截止值在表的不同组合1。在这里,影响图像的不同组合获得和截止值。例如,图像# 1和# 5低强度;图片# 2高亮度;图片# 3和# 4强调了组织和血管特性。

2.1.2。均匀分布的乙状结肠像素

在接下来的阶段,乙状结肠像素增加对比度水平均匀分布。它有助于形象化的血管特征暗适应乙状结肠形象的一部分。这是受雇于有效传播最常见的强度。

让,是一个给定的图像表示为乙状结肠通过矩阵的整数像素强度从0到255不等。让,表示的归一化直方图本可能的强度。所以, 在哪里。乙状结肠均匀分布的图像被定义为, 在哪里映射到最大的整数但比数量较小。通常情况下,图像的累积分布函数(CDF)没有形成一条水平线,这意味着,像素值不同样可能发生。在该方法中,均匀分布的乙状结肠像素是通过应用(6)和(7);这种方法类似于全局直方图均衡化。表2显示了视觉比较均匀分布的乙状结肠像素。这种均匀分布乙状结肠形象后来被视为新的增强的灰度图像()。

2.2。色彩再现

在该方法的第二阶段,我们运用色彩再现。这是一个计算机辅助添加颜色(单色图像的过程33,34]。在拟议的方法,可以找回原来的颜色与更好的语气或使用一个主题添加伪彩色图像。这个选择是由用户通过“颜色决定”模块(见图1),选择色度分量。

案例1。检索原始颜色,我们首先创建新的和飞机通过匹配原始和相应的值像素从原始灰度图像。首先,所有的位置和在平面上为特定值(表达的像素被确定为8): 在这里,是归一化灰度图像,是归一化灰度的像素图像和拥有一个或多个职位。这些职位将使我们能够生成新的色度的飞机。可能出现两种情况:如果只有一个色度值发现,这地方在新值在相应的位置和飞机。(b)否则,如果找到多个色度值,它会生成一个新的使用色度值(9),它在相应的位置的新地方和飞机 这些步骤继续,直到所有像素的灰度图像扫描。新和将有相同的维度的原始灰度图像。后来,增强的灰度图像和新和图像转换回RGB图像使用(10)

例2。添加伪彩色,一个主题形象是必需的。只是适用于灰度图像或没有颜色信息是可用的。作为一个内窥镜图像的颜色信息规定临床决策,选择主题形象是非常重要的。主题形象必须选择从胃肠道的位置或附近地区。在选择一个合适的主题彩色图像,转换成空间。然后,我们创建新的和飞机通过匹配的主题形象的色度值相应增强的像素。现在,类似的过程中(8)是找到新的和飞机在(11)) 在这里,是归一化的主题灰度图像,是一个增强的灰度图像和像素拥有一个或多个位置。这些位置让我们产生新的色度平面对灰度图像增强和主题。在这里,色度值产生的和飞机的主题形象。

可能会出现三种情况:如果只有一个色度值发现,这地方在新值在相应的位置和飞机。(b)如果找到多个色度值,它会生成一个新的使用色度值(9),它在相应的位置的新地方和飞机(c)如果没有找到色度值,它读取色度值的位置在主题和飞机和它在相应位置的新地方和飞机。这些步骤继续,直到所有像素的灰度图像增强扫描。新和将有相同的维度的原始灰度图像。后来,增强的灰度图像和新和图像转换回RGB图像使用(10)。

在图4,颜色复现算法的流程图。一些重建图像如图2例5和6。可以看出,该方法提高了重建图像颜色信息。

3所示。结果与讨论

为了评估算法的性能,我们申请了几个内窥镜图像收集从Gastrolab28)和阿特拉斯(29日]。结果总结如下四类。

3.1。类别1:彩色图像低对比度

在这种情况下,输入图像灰度增强,然后添加颜色。原始输入图像的色度值用于色彩再现。结果,输出图像也有类似的色调与增强的特性如表所示3。从表中可以看出,血管和其他粘膜结构更好的可见和突出显示在输出图像,它可以帮助肠胃科更好的诊断。

3.2。类别2:低对比度的灰度图像

在本例中,我们显示的例子(即使用低对比度的灰度图像。,这些图像的颜色信息不可用)。灰度图像增强和彩色的使用一个主题形象。主题形象的选择是很重要的,因为它可能会增加颜色失真如果不是正确的选择。因此,我们选择一个主题形象的胃肠道的相同或相似的物理位置。彩色图像增强的结果如表所示4连同相应的主题形象。

3.3。3级:原始NBI图像

在接下来的实验中,我们应用我们的算法在一些NBI图像灰度性质如表所示5。原始NBI图像增强,然后用于生成伪彩色图像颜色主题。选择主题图片所描述的一样。从表中我们可以看到,输出图像有更好的可见性粘膜结构相比于灰度图像。

3.4。类别4:在WCE图像传输

拟议中的颜色生成方法是非常有用的在无线胶囊内窥镜在传输过程中节省功耗(WCE)。而不是传输彩色图像的电子胶囊(以24比特每像素的图像),它只能传输一个彩色图像灰度图像的定义开始,后跟一个数字(8比特每像素的图像)。使用该方法,这些将灰度图像后使用第一个彩色图像在彩色的接收器。在表5,我们的结果显示这种情况下,R, G, B第一帧传输的第一个组件。然后只有亮度组件框架的2、3、4和5是传播。接收器,这些帧2 - 5重建使用建议的颜色复现方法以第一帧为主题形象。后来,重建图像的颜色是彩色视频序列与原来的相比。在常规情况下,R, G, B帧传输组件。对于给定的情况下,五帧,它需要120位/像素(即。,24× 5). On the other hand, using the proposed method, it will require only 56 bits per pixel (i.e., 24 + 8 + 8 + 8 + 8) which results in a saving of 53% during the transmission. More saving will be achieved using the number of grayscale frames is increased. The original color video frames are also shown in Table6进行比较。这里我们看到重建的输出图像具有相同的颜色比原来的颜色视频帧的节电53%。

这里值得注意的是,以前的工作(18]只是应用于彩色图像,而该方法可以应用于颜色和灰度图像。因此,低对比度的灰色(类别2)和NBI生(3级)图像可以使用该方法使用彩色的主题形象。这个特性也使得该算法有助于节省电力在WCE图像传输(4级)。

4所示。性能分析

在下一节中,该方案的性能评估使用集中值,统计数据的可视化表示,均匀分布的测量,颜色相似度测试,颜色增强因子(CEF)和时间复杂度。下面讨论的结果。

4.1。集中值

在我们的方法中,图像增强是通过自适应乙状结肠功能和均匀分布的乙状结肠像素。因此,锋利的计数器和对比的总体信息增加。这些变化图像的评估使用集中值(35]。集中值的数学表示交流和直流能量的比例值的离散余弦变换(DCT)的图像(36]。让AC值和的直流值DCT图像。值携带高频组件的相关信息(例如,changes of contrast level, sharp counters and crisp edges) of an image. On the other hand,价值仅携带的信息与低频率成分(即有关。、亮度和亮度)。给出了表达式如下:

在这里,和代表DCT图像的行和列,直流部分吗是交流DCT图像的一部分。的比率的合成和是集中值所给出的

如果大幅柜台的整体信息,清晰的边缘和对比度增强的图像比原始图像增强的图像将高于原来的图像,反之亦然。相比我们有我们的方法的集中值使用60个样本图像与其他方法如AHE [11],CLAHE [12),住宅(13]和BPDFHE [14]。这项研究的结果发表在表7。在这里,我们看到,该方法相对的集中值高于其他方法。

4.2。数据的可视化表示

接下来,我们使用统计数据的可视化表示37)来衡量两幅图像之间的对比和强度失真。方程(14)代表数据可视化表示。考虑 在哪里和增强图像的方差和均值;和分别是原始图像的方差和均值。在这里,定义的百分比的盈亏水平和形成鲜明对比定义了盈亏比例强度水平。在我们的实验中,我们使用60灰度图像。这项研究的结果发表在表8。我们可以看到和第一个图像的使用方法是1.0636和0.0716,这意味着提出了图像的对比度和亮度级原始图像的103.6和7.16倍,分别。在这里,负号表示递减。值得注意的是,该方法的对比和强度级别比较高的其他方法。

4.3。均匀分布的测量

这里,我们计算出均匀分布的R, G, B飞机通过计算熵(38,39]。颜色的均匀分布的飞机越多,颜色越好增强。的熵被定义为分布式信号

首先,我们显示的优势在表中使用提出的色彩再现9。在这里,在图像(a)中,我们使用该图像增强算法在亮度上飞机,离开了色度平面不变。在图像(b),我们提出应用图像增强在亮度和色度色彩再现飞机。从图片,值得注意的是,(a)没有色彩再现的图像不保持显示不平衡饱和度和亮度。相反,(b)中的图像色彩再现平衡饱和度,它保留了整体亮度。这是因为是一个非均匀和非正交的颜色空间。这就是为什么我们需要操作亮度和色度的方式不会破坏和保护的相关性亮度和色彩饱和度水平。此外,我们的方法达到一个较高的熵值,这意味着它产生一个更统一的直方图。图像的熵值(b)是7.6237,高于7.4961的图像(a)。

表10与其他相关的方法显示了性能比较。在证明,该方法产生的图像增强和突出显示粘膜结构。结果也总结表11。

4.4。颜色相似度测试

验证结果统计,原件及彩色复制图像之间的颜色相似性评估使用等性能指标、CIE94δ-色差(40),意味着结构相似度指数(MSSIM) (41)和结构和色调相似(SHSIM) [42]。目的是为了表明我们的颜色复现方法不会增加任何额外的颜色。CIE94是用来测量处理和原始图像之间的颜色差异在实验室颜色空间。在CIE94,表明,两幅图像之间的颜色差异是最低的。MSSIM是用来测量色度平面的颜色相似颜色空间。SHSIM是用来测量处理和原始图像之间的颜色和结构相似性在HSV颜色空间。在这里,我们使用60试验图像评估颜色相似性指数。结果与其他色彩再现方法和表中给出12。可以看出,平均MSSIM和SHSIM指数高于其他在我们的计划有色差接近2.3。所有这些值表明,彩色的图像是非常接近原始图像。

4.5。颜色增强因子(CEF)

我们也评估方案的色彩增强。在这里,我们使用了一个叫做colorfulness大学入学考试时并没有提到性能指标(厘米)43]。厘米的测量是基于两个轴的对手颜色的平均值和标准偏差表示,和。指标被定义为 在哪里和的标准偏差和,分别。同样的,和是他们的意思。然而,在我们的比较,我们使用CMs之间的比值增强原始图像,观察颜色增强因子(CEF)。如果相比,比原始图像增强图像的彩色图像增强。欧共体语言教学大纲与值1表示没有区别的增强和原始图像颜色增强。表中给出的结果13和14。在这里我们可以看到,欧共体语言教学大纲的该方法的值最高其他增强方法相比,这意味着我们的计划执行更好的色彩增强。图7显示了一些重建图像。

4.6。算法的复杂性

所需的时间为不同大小的图像生成一个增强的彩色图像使用该方法和其他相关工作21- - - - - -24)如表所示15。实验进行一个电脑英特尔(R)奔腾(R)双CPU @ 2.00 GHz和6 GB的RAM。这里,值得注意的是,该方法是最快的方法包括图像增强和色彩再现。一个图像的像素,该算法有线性的计算时间复杂度,。平均模拟时间的方法大约是22秒和图片图片是大约85秒。工作(21,23,24)明显高于执行时间相比,该方法。虽然[的执行时间22比我们的低,色彩再现的质量是更糟,如图7。

5。结论

在本文中,我们提出了一种图像增强和内窥镜图像的色彩再现方法。工作重点是加强粘膜结构出现在内窥镜图像。拟议的彩色图像增强是实现两个阶段:在灰度图像增强色度空间变体映射色彩再现紧随其后。两个步骤:图像增强是实现自适应乙状结肠功能和均匀分布的乙状结肠像素。其次,空间变异色彩再现是由生成真正的彩色地图通过转让和修改旧的色度值从主题图像或输入图像。生成增强的彩色图像的质量评估使用几个标准的性能指标,这表明,该功能是强调在新的图像处理。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者要感谢加拿大重大挑战明星在全球健康、加拿大自然科学和工程研究委员会(NSERC),加拿大创新基金会(CFI),和西方经济多样化(结婚)加拿大的支持这项研究工作。