文摘
这项工作发展的方法自动提取温度数据从指定的解剖区域的热图像的兴趣人类的手,脚和小腿在糖尿病患者外周动脉疾病的监测。Binarisation、形态学操作和几何转换应用于级联从44预定义区域自动提取所需的数据。区域提取的算法实现测试395个参与者的数据。正确提取90%左右的图像。44的过程中自动提取感兴趣的区域进行的总计算时间约1分钟,一个实质性的改善超过10分钟了相应的手动提取区域的一个训练有素的人。评分者间信度测试表明,自动提取roi提取的类似人类以最小的温差。这组算法提供了一个足够准确和可靠的方法,从热图像中提取温度与人工评分减少10倍时间要求。自动化过程可能取代人工开采,导致更快的过程,使其可行的开展大规模研究,以最小的成本增加感兴趣的区域。的代码开发的算法,从热图像中提取44 roi的手,脚和小腿,网上已经取得了MATLAB函数和可以访问的形式http://www.um.edu.mt/cbc/tipmid。
1。介绍
体温一直被用作自然疾病的指标(1]。正常情况下,身体保持恒定的体温37°C。身体自然反应变化的外围地区,通过出汗等生理过程,控制核心温度。疾病,如外周动脉疾病(PAD)和局部感染,可能影响体温调节过程导致冷却器四肢或增加外围温度(2]。
外周动脉疾病是一个条件,斑块积聚在动脉把血液从心脏到外围。随着时间的推移,斑块程度的增加导致动脉管腔的狭窄,限制血液流向外围,从而减少身体的调节能力外围温度(3]。糖尿病患者更有可能遭受垫及其并发症,下肢是受影响最严重的地区糖尿病足(通常被称为什么4]。评估患者的下肢的温度垫是至关重要的,以发现任何引起并发症,如局部感染,这可能最终导致截肢的或整个肢体的一部分。目前,温度评估涉及的临床实践手册由临床医师触诊的下肢。然而,这种方法无法检测温度变化小的脚和可能受到各种外部因素的影响2]。
热成像检测的长波红外辐射表面的利益。相关的辐射可以准确的温度相同的表面(5]。人类皮肤,发射率值为0.98,是一个特别合适的材料温度测量使用热成像(6]。这反映在增加的研究和使用热成像在医学和临床应用1,7,8]。潜在的医学应用领域之一是外周动脉疾病的监测,及其并发症,糖尿病足(1,9]。相比,目前的方法检测温度的差异使用触诊糖尿病足的足底的脚,热成像可以检测到非常小的表面温度的变化。此外,它可以很容易地检测这些变化在多个地方而不是手工方法可以监视一个地区。此外,热成像提供了一个客观价值的温度与主观温度估计从手动触诊。
的区域增加温度的脚预测溃疡的发展。侧的温差地区的足底方面大于22°C通常被认为是不正常10]。本堡等人得出结论,温度记录是一个简单,便宜,而且非侵入性方法的识别神经性脚和溃疡的风险增加11]。
Oe等人发现,当检查热图像在一个案例研究的主题与糖尿病足部溃疡,高温区域可以确定从第四脚趾(溃疡)的脚踝(12]。病人后来被诊断为骨髓炎在左脚上的溃疡。基于这些观察,温度记录证明可以用于筛选足溃疡进行进一步的并发症。玉城丹尼等人证实了预测能力的热成像检测骨髓炎糖尿病脚通过研究18个受试者骨髓炎和获得100%的阳性预测值(13]。
“et al。14)监测thermographic模式相比,脚的足底表面和非糖尿病和糖尿病之间的模式。他们已经确定20种不同的可能模式,足底thermographic模式可以遵循使用四个不同angiosomes脚的足底地区。健康对照组和糖尿病受试者筛选,和每一个分类的一个20的模式。而对照组受试者一般分类的两个模式,糖尿病组有一个较大的分布在整个20模式。这表明,通过监测热模式在脚的足底方面,可以识别出任何异常,可能发现在糖尿病足并发症。
在我们以前的工作,关贸总协定et al。2),我们已经确定规范热模式分布的手,脚和小腿人口健康的成年人。我们确定了44个感兴趣的区域(roi)的三体区域热模式建立了。我们重复这个研究的目的是在一个人口患有糖尿病的受试者和垫来识别任何差异在两个种群之间的热模式。这样的研究将帮助我们更好地理解垫之间的关系,以及它如何影响周围的温度。然而,这种分析需要大量的科目。在关贸总协定的研究等。2手动),提取温度的值由训练有素的医生使用一个区域划分软件工具,即FLIR Altair软件。这个过程是费时的,尤其是考虑到大量的roi中提取。此外,区域提取有一定程度的主观性和不可重复性提取过程中由于人为因素。一个自动化的方法,允许快速和一致的分割区域的热图像的兴趣是可取的监控作为第一步的垫使用温度记录。在这项工作中,我们将关注技术层面的分割过程。具体来说,温度的方法自动提取数据从roi热图像的人类的手,脚和小腿。
2。相关工作
文学领域的热成像监测糖尿病的脚,和医疗温度记录一般来说,关注异常区域的检测的温度可能暗示新兴溃疡或其他疾病。这通常是通过不对称分析的区域从一只脚侧脚上相应的地区相比,偏差超过22°C被认为是实质性的,进一步的调查(15- - - - - -17]。在这样的研究中,人体区域,相应的对侧的区域从背景中分割出来可以相比。这一步通常是使用阈值或进行聚类方法(17,18]。一旦身体区域从背景中分割出来,两个侧区域转换,这样相应的像素是一致的。这一步通常是使用刚性或非刚性变换基于自动检测身体的对应点。
进一步超越分段身体区域从背景到亚节确定身体区域。Yoon et al。19]分析了人类手臂的热图像,并自动提取前臂从其余的手臂。他们的方法被证明正确提取前臂地区;然而,没有对分割区域进行进一步的分析。
抢劫(20.也从热图像分割区域的手,用手指和手掌被确定。亚节区域视觉检查提供定性的结果,但没有提供量化绩效指标。
空白卡苟和(21)提出了一种方法来识别手指和手掌区域从人类手中的热图像使用形态学开不同半径的圆形结构元素。在迭代过程中,结构元素的半径增加,面积和周长的结构形态开后保持记录。通过检测两个最大的山峰的一阶导数的变化区域, ,手指和手掌区域可以被识别。然而,信号容易受到轻微的导数局部变化和可能导致错误的检测。空白卡苟和测试他们的方法在热图像从七个科目。当我们在一个更大的测试数据库测试了这种方法,这种方法无法可靠地提取正确的点。工作的空白和Kargel手指和手掌的温度平均在这些地区未来计算各像素。该方法构成独立但关键取决于好的background-foreground分割,任何地区的分割错误地将改变值和峰值的位置。因为在我们的工作手热图像有很好的前景,背景之下,这个方法是采用一些变化部分手指的手为后续ROI提取。
同样的方法也被Gauci et al。22]亚节手指和手掌的热图像。
Gauci et al。22)自动提取温度的值从感兴趣的解剖区域的热图像人类的手,脚和小腿。披露的方法在本文中是一个改进的算法提出了这项工作。
大部分的审查研究停留在background-foreground分割或subsegmentation阶段,全身地区平均温度的计算(21]。然而,“等人表明,某些疾病的特点是局部温度的变化(14]。局部温度变化可能不会显著影响整个身体的平均温度区域,因此这个局部温度变化的检测能力是减少要是平均温度被认为是。此外,整个身体区域的平均温度不提供任何空间信息在当地的温度变化。因此为了检测病理,温度测量需要从局部区域中提取感兴趣的而不是从整个身体区域。
科学研究与正常和病理学科相关的热模式将受益于自动图像分析技术,以允许大量数据的处理。同样,这些工具的部署临床处理相当大数量的患者将受益于自动化技术,将为医生提供现成的结果。这激励努力自动化技术从感兴趣的区域提取可靠的温度数据。在这项工作中,我们提取的局部区域亚节机构感兴趣的区域为了测量特定的当地气温。
3所示。方法
3.1。数据采集
本工作的目的,热的手掌的图像方面的手,胫骨前的一面,脚的背方面考虑。热和视觉图像如图1从每个参与者获得。整洁的背景假设获得的图像。总共44解剖感兴趣的区域(roi)被认为是如图2。这些roi与区域的脚患溃疡的风险更高,而双手,小腿上的区域作为基线数据,这些地区相对不受影响。因为在我们的工作,我们正在考虑只有健康的四肢没有切除外围设备,我们有一组44 ROI图像中的每个主题需要发现和44个不同的ROI标签贴上独一无二。395例给他们知情同意参加本研究是大学研究伦理委员会批准的马耳他大学的。
(一)
(b)
(一)
(b)
(c)
FLIR SC7200M红外热成像系统,它的空间分辨率为320256像素和20可热灵敏度准确度±1°C,是用来获得热图像。标准的医疗热图像采集协议之后获得热图像(23,24]。相机一直垂直于表面成像,在距离1.5米和2米从感兴趣的表面。相应的视觉形象是每一个热图像使用佳能EOS 1100 d数字视觉相机的分辨率12 MP。值得一提的是,相同的解剖部分相应的身体区域在所有图片被捕。具体来说,手中,重要的是捕捉所有的手指和手掌,这些集中在图像的一些前臂也包括在内。的胫骨图像,小腿从膝盖以下的部分,直到脚趾必须在众目睽睽之下,在脚的情况下,整个脚的足底方面,包括脚趾,必须获得。这是唯一operator-dependent程序算法。
自热和捕获视觉图像使用不同的采集设备,同地区的图片不一致。捕获的图像时,受试者被要求保持固定在热的收购和视觉图像。大约从捕获的图像都是类似的姿势和距离和垂直表面的利益;因此,这两个图片是足够接近正射和两幅图像之间的小偏差。
此处分割方法开发利用身体的形状和几何感兴趣的区域。自区域被认为是在这个作品在形式上完全不同,三种不同shape-based方法开发,手图像,脚图片,分别和胫骨的图像。
3.2。手分割和提取算法
每一个图像的第一步,无论手,脚,或胫骨,是识别人体区域从背景的热图像。手通常有一个温度明显高于背景,因此高强度的热图像。然而,地区的边缘,如指尖,可能有一个温度明显低于中部地区如手的手掌。出于这个原因,局部自适应阈值图像binarisation适应本地的阈值用于每个像素根据像素的强度。阈值的过程中,高斯加权平均数统计在附近的百亿资金使用的图像的大小。图3显示了一个示例的分割手热图像。
(一)
(b)
(c)
除了将手从背景,有必要识别手指。这样做是使用一个适应性的迭代形态开空白卡苟和提出的方法(21]。专门使用一个圆盘形的结构元素形态学开操作(SE)被用来识别手指像素从其余的手里。形态学开运算符应用以迭代的方式,增加半径r在每个迭代的圆盘形的SE。对于每次迭代,区域剩余的前景像素计算。图4显示的情节与半径的增加,r,加上实际的剩余像素在图像。三个突出特征可以确定情节,即骤降区域当SE半径足以把手指从形象;长高原后段下降,只有小手掌区域平滑;和另一个尖锐,但浅,下降当SE半径是大到足以把前臂从图像。SE的半径的第一个下降区域是用来识别手指的手。避免由于所产生的虚假检测敏感性的一阶导数, ,当地变化所需的半径是决定基于的方差在增加r因为这个方差不受当地变化由于平均效应。具体地说,一个方差衡量在每一个点计算了。被定义为 在哪里N移动窗口的大小吗r。信号的中点观察一般躺在第二个显著特征的信号(即。段,长高原第一下降;参见图4)。这样的中点作为一个简单的启发式的过程提供一个起点识别所需的半径。从这个中点和走向 ,前三个地区的平均方差是用来建立一个参考价值。第一个附近的方差大于预定义的参考因素被送往是SE的半径要求识别手指。使用这个半径,一个二进制图像中只包含手指图像,如图5。
(一)
(b)
从手指二进制图像,如图5 (b),每个手指被确定通过分析质心之间的角线的每个手指blob手掌的重心。最大角对应的角在拇指和小指之间最远自这两个手指的手。因为每只手的形象是贴上左手或右手,两条线之间的角度的方向,顺时针或逆时针旋转的可以用来区分拇指和小指。最小的角的确定拇指那么对应于拇指和食指之间的角度。使用类似的计算,所有的五个手指都可以确定独立旋转的方式。
模板包含三个roi的手掌被定义,如图6(一)。模板有三个锚点,在图中的红色圆圈所示6(一)。确定3 roi棕榈,3热图像上的对应点是由检测的主要轴之间的交集点大拇指,指数和小指blob和各自的气泡的边缘,选择最近的交点palm重心。这个过程如图6 (b)所示,选中的交点蓝色。一个仿射变换,这三个点映射到相应的锚点模板决定符合模板上的手掌正在处理的图像,确定三个手掌roi。
(一)
(b)
提取五个指尖roi,霍夫变换应用于每个手指的边缘。如果返回多个圆,圆的中心是靠近手指的指尖,绿色在图所示6 (b),和所有其他使用圆圈被丢弃。图7显示了roi提取工艺。
(一)
(b)
3.3。小腿分割和提取算法
类似于手,热的小腿比背景图像具有更高的强度,因此阈值可以用来识别背景的小腿。局部自适应阈值再次使用。图8显示了这个过程被应用在一个示例小腿热图像。
(一)
(b)
(c)
binarisation后,每个胫骨内侧行发现这条线和角计算图像的水平轴。这个角是用作肢体被处理的方向。在内侧行三个点确定将作为roi的位置参考点在小腿上。这些点位于顶部的胫骨,胫骨的中心,3/4的小腿的长度根据预定义的shin roi如图的位置2。每个点用于放置一个矩形ROI的长度和高度会自动缩放据当地肢体维度,这是遵循的方向旋转肢体被处理。图9说明了提取过程的六个矩形样本热图像roi。
(一)
(b)
3.4。脚分割和提取算法
脚的温度一般都低于温度的手和小腿,和通常接近的背景温度。由于较低温度的脚,有一个相似强度的热图像前景和背景区域之间background-foreground分割非常具有挑战性。相反,相应的视觉图像提供了一个重要的和一致的脚和背景的区别和使用大津阈值的方法可以准确地分割。因此,binarised视觉图像被用来段热图像。
这两个图像首先必须是一致的。从视觉和热图像几乎同时被抓获和接近垂直于表面的利益,两者的区别主要由旋转和缩放图像,可能有些偏态。因此,一个仿射变换是足以使两幅图像。视觉图像是一致的热图像使用基于仿射变换的,至少三个对应点的视觉和热图像由用户手动选择。图10显示了调整的过程可视化图像对应的热图像。图11演示了一个示例脚热图像的分割。
(一)
(b)
(c)
(一)
(b)
(c)
分段的脚热图像的主轴旋转,这样脚,由特征值分解,是垂直对齐。对齐和分割视觉形象又一次用于提取五个脚趾上的roi。周围的边缘和脚趾之间更强大和更一致的视觉图像的热图像允许更可靠区域提取。使用高斯滤波器的拉普拉斯算子提取边缘的脚趾和附近区域,上半部分的垂直对齐。检测到的边缘binarised, skeletonised,脚被移除的外轮廓,如图12(一个)。生成的地图包含周围的边缘和边缘之间的脚趾,和虚假的,多余的边缘引起的脚由于光照变化和阴影的视觉形象。与脚趾周围的边缘,多余的边缘的特点是一个较低的强度和相对较小的规模。因此,删除了这些边缘阈值边缘大小和相应的平均强度,从而留住只有周围的边缘和脚趾之间,如图12 (b)。
(一)
(b)
外轮廓下恢复,由此产生的边缘地图是用来形成封闭的轮廓在脚趾。Edgels与边缘轮廓的连接是通过Edgels是一侧端点。这些端点edgels连接到最近的edgel边缘地图并不是在相同的轮廓端点形成新的轮廓如图13。五大封闭区域检测到以这种方式被认为对应的脚趾,见图14 (b)。形态学开运算符,使用一个碟状构造元素,应用到生成的二进制图像提取剩余地区。图14显示了该算法的结果。
(一)
(b)
(一)
(b)
(c)
提取圆形区域的球脚(转炉),27岁,33图对应区域2,应用迭代过程开始的底部行垂直对齐的脚,行动起来,向脚趾,一次一行。在每个迭代中,一个圆,C,被定义为 在哪里r是y圆的协调中心,设置为当前迭代行;是x圆中心的坐标,将脚的水平宽度的中点r, ;和圆直径是哪里β定义根据所需大小的圆形ROI根据图吗2。在连续迭代过程终止 ,当欧氏距离在圆圈的中心 ,用 ,和脚趾roi,中间行 ,满足 在哪里τ根据设置的位置根据图所需的roi2。一旦候选人行, ,选择两个四边形区域,区域和34-35 28 - 29日在图吗2,定义。具体地说,他们点设置为中心 在哪里是x坐标和圆的中心是四边形的宽度。α根据所需的大小设置的roi,如图2。图15总结了实习过程的四边形roi的脚球。
如果有任何重叠提取roi和脚趾之间的roi,顶点在图A和B15水平向下移动。如果有重叠提取roi和背景,顶点A和D向四边形对角线移动中心。由于这些roi是球的脚通常有一个凸形状,对角运动必将消除重叠而保留四边形的形状。
提取三个roi的脚跟脚,对应地区30 -和36-38图2,一个类似的过程。唯一不同的提取roi的球脚圆中心的位置。找到的中心圆的鞋跟脚,圆形霍夫变换应用于脚的热图像的边缘。圈的直径与脚在图像的宽度。最低的圆中心位置对应于脚跟。这一行的位置还用于将跟roi,和相同的过程用于区域的球脚重复。图16显示的结果提取11 roi脚热图像。
(一)
(b)
本文中提出的方法公开,MATLAB函数的形式,加上一些样品热图像和可能被访问http://www.um.edu.mt/cbc/tipmid。
4所示。结果
4.1。分割和roi提取
算法被应用于热图像,获得管道,每个身体一个地区,每一阶段的管道,进行目视检查来验证分割的完整性和正确的位置和大小的ROI标签。基于此目视检查,可以采取决定是否一个ROI提取正确与否。用于这个目的的决策逻辑如下:(我)background-foreground分割被认为是正确的如果它保留了完整的形状的身体区域没有任何缺失或附加功能的分割图像(2)一个提取ROI被认为是正确的如果它遵循正确的位置和大小对身体的尺寸如图区域中定义的模板2并与背景不重叠区域或任何其他在同一图像roi
注意管道的一个特性是一个错误的阶段的管道并不一定意味着以下算法也将失败。
成功率是由获得正确的和不正确的ROI标签的数量。在这项研究中,一个真正的积极(TP)将是一个正确的本地化的ROI,分配各自不同的标签;假阳性(FP)是一种不正确的本地化的ROI。,因为每个图像都包含特定数量的ROI和所有ROI标签图像被分配,底片是未定义的。具体地说,手图像包含8 ROI,胫骨图像包含六个ROI,和脚有11个ROI图像,每个ROI都有一个特定的ROI标签。
如表所示1,155的手图片,手指roi的97.9%和94%的棕榈roi是正确的本地化和标签。失败的主要来源是background-foreground分割,发生在两个手的图片,和手指的误认的手,发生在其他11个图像。
如表所示2,99%的shin roi是正确的本地化和标签。失败的主要来源是失败的background-foreground分割三个图像由于前景和背景之间的密切相似的温度温度较低地区的小腿。
如表所示3,77.5%的脚趾roi,拇趾roi的73.7%,和79.5%的鞋跟roi是正确的本地化和标签。错误的主要来源是视觉图像的分割,在四个图片失败,和热偏差的视觉图像,而失败的八个图片。
4.2。方法通过评分者间信度验证
验证分割的结果,一个评分者间信度测试。正确的一组60 20手组成的热图像分割图像,20 shin图像,20英尺图片被选中。四个评委被要求手动限定使用FLIR牵牛星的roi区域划分的工具。自动roi提取方法开发本是本研究作为第五个评定等级。本评分者间信分析的目的是确定ROI提取方法的结果与人工评分的结果。后者目前构成地区开采的黄金标准。一个空间重叠系数,骰子相似系数(DSC) [25),是用来确定提取的区域之间的相似性。DSC的定义是 在哪里和是两个目标区域。44个roi被分为六组:手指、手掌、脚趾,小腿,脚(转炉)的球,跟roi。骰子系数是计算相应的地区之间对评委和算法和人类之间的评级机构。对于每一个ROI集团,可能有六个评委之间的两两组合,和四个评委之间的组合和算法。平均值和标准偏差(SD)的相似性系数为每个组的roi提取人类评定等级的双和algorithm-human评定等级对如表所示4。
指表4指出,对于所有的ROI组,除了脚趾,意味着algorithm-human评定等级系数类似于意味着人类评定等级系数。这意味着该算法同样可能会取代人类的评定等级。
意味着人类的脚趾集团评定等级系数0.621 0.182 (SD)和一个algorithm-human评定等级系数0.427(标准差0.170)实现,表明该算法提取roi,比人类中提取的有很大的不同。通过目视检查roi提取的算法,这是正确确定roi覆盖整个脚趾区域,而人类的评定等级的roi仅限于圆形roi,通常集中在脚趾。尽管人类和算法之间的差异,指出算法roi仍然有效和正确的,如图17。
(一)
(b)
自ROI提取的目的是衡量ROI的温度辐射数据,平均温度的ROI提取算法提取的评委。表5显示了不同平均气温由人类和提取算法。因为在糖尿病足,异常与温差为2.2°C或更大,我们认为两组之间的温差提取roi的季度2.2°C的参考是可以忽略不计的。信号测试证实,没有统计上的显著差异大于0.55°C 0.05的alpha值之间的平均温度提取的算法,通过人类的评级机构,如表所示5。这个结果表明,平均温度提取算法,提取的物质,一样的人类的评级机构。
5。讨论
实现的算法是有效的大量热图像进行测试。从表1- - - - - -3,它是指出,484 roi需要手动干预3925 roi,这意味着12.3%的roi的干预。因此,87.7%的roi提取不需要人工干预。脚的提取roi是最具挑战性的三个算法由于脚的高度重叠的温度范围和背景在捕获的热图像。
失败的尝试提取ROI可以分成两类:错过了ROI,未发现所需的ROI和没有在该地区的温度信息,和不准确的ROI, ROI的抵消从所需的位置。
系统上执行时使用MATLAB 2.7 ghz双核处理器和8 GB内存的算法需要1.4秒过程的热图像的手,小腿的热图像小于0.1秒和2.2秒的热图像。因为对于每一个主题,两个手热图像,一个小腿的热图像,和两只脚热图像被收购,算法需要7.3秒处理五个热图像。算法过程的热图像的脚还需要手动注册用户的干预热和视觉图像,通常可以在不到一分钟。因此,整个过程从五个热图像中提取所需的44 roi花了一分钟左右完成。相应的手动提取这些区域的过程,使用面积划分工具,一个有经验的用户大约10分钟。因此除了自动化区域提取工艺,显著减少操作所需的时间。
评分者间信度测试表明,公差内的roi提取算法提取roi的人类。这表明提出的算法可以用来提取温度数据处理类似的可靠性和准确性作为人类。
6。结论
几个医疗应用的温度记录需要从特定的解剖区域的提取温度数据。大多数文学领域要求临床医生使用区域划分工具手动提取这些数据。此操作是主观的,可能会导致nonrepeatable结果,而且还非常漫长,特别是大量的图片和roi。此外,此类研究的温度被认为是大区域的平均值。这项工作提出了一套算法来自动提取温度形成局部地区的兴趣。90%左右的成功率得到每个算法,以最小的用户干预。除了数据提取的自动化过程,算法还提供显著减少所需的时间操作。算法的背景下的检测在糖尿病足并发症的早期迹象,但可以扩展到任何应用程序需要温度数据来自同一地区的手,小腿,或脚。未来工作的目标应该是提高算法减少了ROI的数量和减少ROI提取过程中所需的人工干预。
数据可用性
本文中提出的方法进行了网上,MATLAB函数的形式,加上一些样品热图像和可能被访问http://www.um.edu.mt/cbc/tipmid。
的利益冲突
作者宣称没有利益冲突有关这篇文章的出版。
确认
马耳他支持的研究是通过国家研究委员会科学技术和创新项目2013(批准号r - 2013 - 028)。