一个3 d扫描模型和热图像数据融合算法对3 d医学温度记录

文摘

目标。目前,医疗热成像仍被视为一个纯粹的定性工具使我们能够区分但缺乏能力量化身体的生理和nonphysiological状态。然而,这种能力,促进医疗量化的解决这个问题,目前存在的体现在整个医疗系统。方法。一个普遍适用的方法来提高捕获的3 d空间数据携带了跟温度有关的信息;在这种情况下,方程所需的所有其他数据融合。方法可以用于高密度点云或详细的网格高分辨率但是很方便地使用在大型对象稀疏点。结果。这种方法的好处是实验演示了受伤的3 d热扫描对象。我们获取诊断信息无法通过传统的方法。结论。使用3 d模型和热图像数据融合可以量化的炎症,促进更精确的损伤和疾病诊断或监控。在医学技术提供了一个广泛的应用潜力和多个技术领域,包括电子和机械工程。

1。介绍

近年来,热成像仪的可用性已经从昂贵,笨重和繁琐的系统负担得起的和切实可行的解决方案1]。适用的传感器和过滤器已经发展到了这样一种程度,热相机可以找到已经在智能手机价格高达700欧元(2]。由于如此迅速的进展,热成像被实际应用在日常生活中还在领域和学科,以前是乐器方便专门为研究目的。

在给定的上下文中,一个典型的目标字段,例如,医学:数字医疗热成像(DMTI),医学影像的形态监测表面皮肤温度,在过去的50年里一直在发展贡献对提高循证诊断和促进疾病的早期检测。

在医学技术的当前应用程序主要是寻求在临床过程集中在评估和监测外周血管,神经,和肌肉骨骼状况在多个医学分支学科,包括心脏病、皮肤病,牙科,产科,肿瘤学,理疗,公共卫生、手术、兽医、慢性和职业病的调查3]。

虽然二维热成像能够量化的温度图像的每个像素,DMTI仍认为是单纯定性的工具,使我们能够区分身体的生理和nonphysiological州但缺乏的能力量化他们(3,4]。DMTI这是由于三个主要的缺点:几乎不可能定义感兴趣的区域(ROI)的热图像由于缺乏识别图像中明显的热特性,扭曲造成的3 d世界转换为二维表示,热的和依赖的相机视图。第一个缺点是测量投资回报率平均温度不可能的,一样的微分测量两个ROI,什么是医学热量化的主要方法(单一热价值不是用于量化,由于表面的体温是受到以前的身体活动,压力,等等。从这个原因,参考区域的平均温度之间的比较和ROI应使用)。第二个缺点也不允许测量影响的一个区域,第三个就排除了评估期间的变化。

几乎所有类型的损伤,连同许多疾病或病理变化,以增加血流量和更强的细胞代谢率的影响;两个方面引起局部温度的增加成比例的这一现象(5]。这个预定的比例依赖量化通过DMTI应该是可能的。

另一个迅速发展的技术包括3 d扫描。三维表面模型发现越来越密集的使用在一个对象的情况下必须保存在一个永久的,定常状态。在这种情况下,colour-covered 3 d模型似乎是最好的形态(6]。进一步说,目前,克隆对象也可以称为动态增长的领域。多种类型的3 d打印机市场上是可用的,,每个人都需要一个工具来构建三维模型要打印(7]。最后,基于计算机的3 d模型,由于其可塑性,变得越来越青睐对象可视化的特点是良好的能见度也小尺寸的主要细节,然后必须扩大可塑性(8]。这些解决方案和应用程序,根据定义,表现出强大的潜力应用于医疗保健。

如果结合,两个above-outlined,先进的技术可以产生大量的新信息甚至高于获得通过单独使用。这样的数据融合将随后使我们能够解决一些长期的挑战需要解决在不同的医疗行业。

这样的一个问题在于医疗量化,包括整个医疗系统的一个问题:评价方法过分不准确,不敏感,或主观的体现主要缺点的影响,例如,皮肤病,创伤学、物理疗法,和法医科学。

皮肤病的程度的客观评估疾病严重程度和病变的程度还不够,特别是由于体内缺乏可靠的量化方法来评估具体感兴趣的地区。

创伤学和法医科学遭受缺乏应对损伤严重程度的量化方法,往往通过时间。

在理疗技术无法检测早期微小的身体体积的变化,可能一个新兴疾病的症状。也很难区分生理(例如,肌肉增长)和nonphysiological(例如,肿胀)的变化,以及在疾病治疗过程的影响不能量化的顺利,因为当前的评价方法大多是基于主观的看法,健康调查和相关的形式,或低分辨率的评分系统表现出可怜interobserver相关性。

这些和其他许多使用3 d热量化问题是可以解决的。一种有效的方法似乎在于延长3 d扫描仪用热成像传感器和相关的热信息映射到三维模型的表面通过数据融合算法(图1)[9]。

这种传感器的组合生成一个多层病人的身体的3 d模型,包含每个表面的温度点和体现一个扩展的3 d体积构成的输出标准的3 d扫描仪。通过研究温度的分布在身体的表面,我们可以轻松地定位和,随后,量化炎症病灶(在意义上的平均温度梯度在受影响的地区或其程度)。在第二阶段,可以精确测量的体积增量所引起的肿胀。

除了监测炎症,合并热和空间数据允许其他医学应用。而炎症增加当地的温度、坏死导致其降低;因此,该设备可用于此特征,例如,监测糖尿病坏死组织。

论述了数据融合算法合并三维模型(捕捉到任何3 d扫描仪)和热图像(捕捉到任何热像仪)。在这种背景下,以下部分引入了一个普遍适用的过程相结合的热与空间数据;重要的是,医学诊断的相关意义和实用性实验证明了三维热模型真正的病人。

2。材料和方法

合并三维数据的部分概述过程和热图像。下面是介绍的算法适用于一个一般提供的数字对象的三维模型任何3 d扫描仪和可用的一般热产生的数据任何热成像仪。唯一的要求是了解相机的位置和方向与每一个捕获的图像。这个条件满足后,数据融合算法是全自动的,不需要人工帮助。

整个算法是图中提出2,所有的程序将在以下部分中进一步解释。

2.1。标准化的输入

各种3 d扫描仪提供不同的输出数据,或多或少的标准化、数字格式。尽管协议、结构和数据类型之间的差异不同的形式,他们共享一个共同的特点:可以认为是数据三角形网格,即一个的三角形由三个点,每一个由三坐标在笛卡尔空间中定义的。数据可能承担另一个多边形网格的形状(比如,一个四边形网格四边形或一组)或一组无序的点(点云)10]。第一类很容易转移到三角形网格,因为每一个凸多边形的数量可分为三角形(11),另一个允许转换一个三角形网格通过任何三角算法(12),例如,德劳内三角(13]。

热成像仪也表现出不同的文件格式;然而,在所有情况下,热数据是可以实现的二维矩阵的标量温度值。有些相机直接供应这种矩阵,而其他人提供彩色图像位图形式。在后者的选择,颜色和温度之间的转换比例值产生了,即颜色可以转化为标量14]。概括地说,然而,热数据被表示为一个二维矩阵,每个值是指一个特定像素的温度。

下面的讨论也假定没有图像的径向和切向畸变,这意味着应当已经输入图像预处理根据相机的内部参数。

适当的图像对齐是可以实现的,如果已知热像仪参数如下:(1)相机的位置集中在空间(向量)(2)相机视图方向(单位向量)(3)方向定义“上”在相机图像(单位向量 ,垂直于)(4)相机在水平的视角()和纵向()维度(弧度)(5)相机的焦距光学(标量)(6)值的数量(分辨率)的热图像沿水平()和纵向()维度。

前三个参数通常是直接使用各种测量跟踪系统(15)或估计场景变化(ICP-based方法,16])。参数4 - 6大多是已知相机的技术文档;或者,他们可以通过校准方法发表在17]。

重要的是要强调,这六个参数施加重大影响适当的热图像之间的匹配和三维模型,因此我们需要知道他们的精度高。这些任务具有相关的校准方法(17- - - - - -19]。正确地相互校准传感器,为这六个参数提供高精度,然后确保正确注册的热图像到三维模型,认为在进一步的文本。

2.2。计算的先决条件

下面的计算是与特定的先决条件,每个映射图像(图可以计算一次3)为了保持快速算法。

热图像的位置,位于实际坐标和由其左上的定义(),右上的(),左下方(),右下角(),是可计算的的向量和点远离中心的形象,向上或者向左边。这两个向量是缩短1/2像素大小的每个像素代表的平均颜色表面。然后,我们有

一个像素在水平的大小()和纵向()维度可以推导如下:

2.3。单一图像温度映射

映射算法的核心概念之间的射线追踪的热成像仪的起源和每个点扫描3 d模型。每个点的3 d模型,采取的步骤是如以下所示部分文章:这个单一映射为每个热成像过程执行,导致了几个热的值分配给每个点的3 d模型(热的数量值分配给一个单点的数量是由这些图像特定点在哪里直接可见)。

2.3.1。检查的可见性

在初始阶段,我们需要检查是否点()位于成像仪的视野内,也就是说,如果射线成像仪的专注点相交的平面热图像位于(飞机被定义为三个任意点的图像角点 , , ,和)。

如果我们发现一个交点(),继续留下的算法;否则,我们跳过后的相关步骤,继续步骤1下一个点的3 d模型。

然后,它必须确定在热像矩形。这是真的当所有下列条件得到满足(20.]:

然而,如果上述物品没有满足,我们跳过了。

2.3.2。检查3 d模型

满足上面的条件并不足以确定一个点直接可见,这一点可以隐藏在一个三维模型的一部分。因此,我们有义务检查射线相交的三维模型。

最简单的程序找到交集在于验证是否射线相交任何构成的三角形的3 d模型。检查ray-triangle路口,该算法从源(21使用)。

在所有的三角形算法迭代。ray-triangle路口所在地时,迭代停止,我们跳过。没有交集的三角形检查发现,问题的关键是直接可见 ,我们继续最后一步;否则,跳过这个阶段。

2.3.3。映射值的温度点

后直接可见性证明,温度计算值给定的点之间的线性插值4最近的邻近像素,考虑从十字路口的距离像素。

指数(水平指数和垂直索引最近的像素)左上的方向确定如下:

十字路口的距离从这个像素的像素大小(表示为一个百分比)的水平()和纵向()方向

温度属于点然后从邻近的温度插值像素 , , ,和 :

2.4。结合多个映射图像

在前一节中列出的温度映射过程分配几个温度值每一点可见的热图像。如果更多的重叠的热图像映射,然后相应地增加计数的值分配给一个单点的3 d模型。

追求医学发展的温度记录,我们使用长波红外热成像仪(LWIR)从现场检测热辐射;这种辐射的反射和发射的形式(22]。典型的一个裸体人体发射率范围在0.93和0.96之间(23),也就是说,辐射的主要部分被热像仪由发射形式;反射辐射从而扮演一个次要角色。

我们的实验也显示这一说法的真实性,属于单点的值的3 d模型,获得通过捕获的图像从几个不同的方向,不同的传感器噪声水平。因此,热辐射反射可以被认为是微不足道的。

最后一点温度价值因此简单可计算的平均温度从所有相关的特定点的值。

2.5。优化算法性能

虽然算法检查ray-triangle十字路口(21)是非常快,迭代整个组三角形仍然明显放缓。

程序执行时间可以显著减少层次结构允许我们不检查三角形远离光线。提出了算法利用八叉树数据结构的修改,促进三维空间的分区递归细分成八八分仪(24,25]。

最小矩形空间面积与坐标轴的模型扩展分为若干相同大小的立方体。三维模型的三角形分割形成立方体在3 d空间中尊重他们的相关位置。允许分配一个立方体,至少一个点一个三角形的空间区域。

每八个邻近方块都封装在一个边界框双倍字长边;这样的盒子然后封装在另一个边界框等等。如果一个立方体没有分配的三角形,它完全移除,类似于一个没有孩子的边界框立方体。如果一个边界框只有一个孩子,它取代了这一个孩子。结果是一个树层次结构(图4)。

测试3 d模型的十字路口时,我们开始在顶层边界框,检查十字路口;如果一线穿过,我们检查的十字路口8小格子等等。使用这种方法,我们终于达到最低水平的多维数据集,交叉的射线。只属于这些立方体测试的三角形相交。该方法明显减少测试三角形的数量,对图像映射施加积极的影响性能。

算法计算时间取决于多个参数,包括,例如,一个特定的3 d模型的复杂性,其分辨率,热图像捕获的方向,和点的顺序存储在内存中,是不可能估计计算工作量。

获得一个粗略的估计的优化性能,我们做了一个实验,一个对象是通过三维扫描仪扫描和热成像仪以完全相同的方式,但在不同的决议。扫描区域对应于100×100毫米,与固定分辨率为64点/毫米一轴和变量解决从0.2到20分。因此,点的数量波动在1.4万和250万之间。结果呈现在图5。这里,灰色线表明性能没有优化,生长迅速,即使该决议仍然很低。蓝线显示了性能在八叉树数据集大小固定的条件在5毫米,从一开始就解决线性也表现出倾向快速增长和越来越多的点。橙色线表示场景中的性能优化的八叉树管根据相邻点之间的平均距离;这个配置有近似的线性特点,指出这一事实八叉树优化降低了计算复杂度。

3所示。结果

上述数据融合方法的结果是一个三维点云或网状形式一样,被3 d扫描仪,通过热增强信息与每个点的数字模型。

实验表明,结合3 d空间和热数据将产生新的诊断结果与3 d扫描仪不可用热像仪分别使用。

详细的算法验证高分辨率网格通过RoScan捕获,一个机器人三维扫描仪能够提供3 d模型拥有一个分辨率比0.1毫米(8,26,27]。热图像被使用LWIR热感摄像机异类的GOBI1954分辨率为384×288像素,像素间距为25μm,光谱响应的波长范围8 - 14μm。建立一个计算单元,我们雇了一个台式电脑有英特尔酷睿i7 - 4790 k在4.00 GHz处理器;32 GB RAM;和一个NVIDIA GeForce 970 GTX GPU。

由于八叉树优化,数据融合迅速:以500000分3 d模型合并只有27秒10的热图像。结果数据在标准的格式(转达了28,29日),促进进口到多个三维分析软件工具;在我们的实验中,CloudCompare使用开源软件(30.]。

的截图temperature-mapped 3 d模型相关的图片所示。图6介绍了高密度三维模型的手在生理条件下,热的三维图像显示即使是最微小的细节。

图7提供了一个脚趾发炎后后的损伤和恢复。损伤诱导只是光疼痛,没有观察到的其他症状。显著的温度增量5.12°C的3 d扫描可见折磨脚趾;这身体也表现出一部分体积增量的5%。七十四小时后,经济复苏后,观察没有症状或痛苦;然而,增加温度仍在脚趾,表明这个话题并没有完全恢复。在这种背景下,让我们注意到,炎症似乎可决定的和可衡量的根源,之前成为痛苦。这一发现可以受益,例如,顶级运动员和其他运动员努力防止受伤。

图8表明测量对象在内部组织的能力,否则是不可见或可测量的传统方法。伤害的主题告诉我们大约2个月前,刚接触的时候,他提到了一个不寻常的感觉折磨的坚硬表面的手指。怀疑的原因在于一个封装的玻璃碎片的未知的维度。尽管这个位置可以通过MRI或CT检查,这些方法过于昂贵,如果用于给定的目的。我们的方法,明显更便宜,同时提供相同的信息;热数据服务定义的边界封装的碎片,和3 d模型促进物品的尺寸的精确测量。

必须强调,所有病例的诊断信息获取中显示数据7和8,所选地区的平均温度和维度,就不会没有合并可用热图像和3 d模型。这一事实然后恰如其分地展示了该技术的好处。

4所示。讨论

所描述的方法合并设置的2 d热图像数字3 d模型似乎贡献新的诊断数据通过传统方法不能得到的或通过单独使用热成像或三维扫描。本文描述一种算法对于一般的3 d模型和图像,无论数据格式。这种方法允许我们使用的算法也在其他的研究中应用程序或医疗诊断工具。

考虑它的原则,该方法适用于呈现高密度点云或详细的高分辨率网格;相反,这项技术不能方便地用于大型对象与稀疏的点。

创建三维热模型的好处已经被证明在实际实验受伤的对象。研究结果发表在文章[31日]表明,热成像仪构成一个有用的,多才多艺的诊断工具,结合3 d扫描仪时,显著增加的数据量,以促进精确诊断或监控。

这种方法不仅发现使用在医学也技术领域:热成像仪之间的数据融合和3 d扫描仪将带来许多优势,例如,机器人救援系统(32,33),这项技术的潜在可能利用增强现实技术(18]。

附加分

主要信息。(我)3 d热成像有助于量化,一步不是可执行的2 d热成像。(2)结合3 d和热成像收益率更有用的诊断数据。(3)实际实验对象显示可能的目标应用程序的情况下受伤。(iv)一般配方融合热图像,提出了一种三维模型,提供广泛的可用性与公共数据类型。

的利益冲突

作者声明没有相互竞争的利益,确认实验报告的手稿进行按照道德标准规定的《赫尔辛基宣言》。

作者的贡献

亚当Chromy开展相关研究3 d扫描和热成像并准备相应的部分的手稿。Ondrej Klima研究数据处理优化,设计和评价实验,并准备相应的部分手稿。作者已阅读、审查和批准最终的手稿。

确认

这项研究是没有赠款支持的。fekt - s - 17 - 4234(“工业自动化和控制论的4.0”),也没有。FEKT /适合- j - 17 - 4745(“联合3 d数据注册医疗”),由布尔诺的内部科学基金资助大学的技术。

引用

诉c·科菲“多光谱成像技术进入主流,”光学与光子学的新闻,23卷,不。4 - 24岁),2012页。视图:出版商的网站|谷歌学术搜索
j·t·哈德威克、o .他和j·m·斯基尔曼“使用智能手机热成像检测穿孔器,”整形外科,卷137,不。1,39-41,2016页。视图:出版商的网站|谷歌学术搜索
r . Vardasca r .摄影记者,“在医疗温度记录,当前问题”主题在医学图像处理和计算机视觉施普林格,页223 - 237年,2013年多德雷赫特。视图:出版商的网站|谷歌学术搜索
x Ju, J.-C。Nebel, j . p . Siebert”3 d温度记录成像炎症诊断、标准化技术”学报》卷5640,红外组件及其应用h .锣,y Cai和j。Chatard, Eds。,p. 266, 2005.视图:出版商的网站|谷歌学术搜索
苏耿赋。Chang杨绍明。关铭萧,S.-L。廖”,应用数字红外热成像在确定炎症状态和后续影响患者的甲基强的松龙冲击疗法的坟墓”眼病,Graefe眼科临床和实验的档案,卷246,不。1,45-49,2008页。视图:出版商的网站|谷歌学术搜索
j . h .公园,“数字恢复Seokguram石窟:数字存档和展览韩国代表联合国教科文组织的世界遗产,”2012年国际研讨会上无处不在的虚拟现实(ISUVR)Adaejeon,卷2012,页26 - 29日,韩国,2012年。视图:出版商的网站|谷歌学术搜索
s . Klein m·艾弗里·g·亚当斯,a, p . Stephen s . Steve,“从扫描打印:3 d印刷复制的一种方式,”2014年国际会议上数码印刷技术,2014年。视图:谷歌学术搜索
a . Chromy和l . Zalud“机器人三维扫描仪代替标准的医学成像模式,”SpringerPlus,3卷,不。1,p。13日,2014。视图:出版商的网站|谷歌学术搜索
l . Zalud和p . Kocmanova热成像和基于摄像头CCD数据的融合立体电视视觉网真”2013年IEEE国际研讨会上安全,安全,救援机器人(SSRR)2013年,瑞典林雪平。视图:出版商的网站|谷歌学术搜索
f . Bernardini和h . Rushmeier采集管道三维模型”,计算机图形学论坛,21卷,不。2、149 - 172年,2002页。视图:出版商的网站|谷歌学术搜索
m·德伯格、m . van Krevel和m . Overmars计算几何:算法和应用程序施普林格,柏林,第3版,2008年版。
z . c . Marton r . b . Rusu, m . Beetz”快速表面重建方法对于大型和噪声点云,”2009年IEEE机器人与自动化国际会议上科比,页3218 - 3223年,日本,2009年。视图:出版商的网站|谷歌学术搜索
M.-B。陈,“并行三维德劳内三角测量法,”2011年IEEE第九国际研讨会上并行和分布式页,52-56釜山,韩国,2011年。视图:出版商的网站|谷歌学术搜索
t·威廉姆斯,热成像摄像机:特点和性能,CRC出版社,2009年。
a . Chromy“高分辨率三维扫描在医学中的应用容量分析,“国际期刊的电子和电信,卷62,不。1,23-31,2016页。视图:出版商的网站|谷歌学术搜索
Levoy Rusinkiewicz和m .,“有效的ICP算法的变异,”诉讼第三国际会议上三维数字成像和建模,2001魁北克市,页145 - 152年,魁北克,加拿大,2001。视图:出版商的网站|谷歌学术搜索
a . Chromy相互校准的传感器表面的多光谱三维扫描,2017年。
p . Kocmanova和l . Zalud TOF的空间校准相机,热成像仪和CCD相机,”孟德尔2013:19软计算国际会议,第348 - 343页,2013年。视图:谷歌学术搜索
f . Burian、p . Kocmanova和l . Zalud”机器人映射与相机,CCD相机和热成像仪,”2014年19方法和模型在自动化和机器人技术国际会议(MMAR),第205 - 200页,2014年。视图:出版商的网站|谷歌学术搜索
r . Szeliski计算机视觉:算法和应用程序施普林格科学与商业媒体,2010年。
t·穆勒和b . Trumbore快,最小存储雷/三角形相交,”继续SIGGRAPH 05 ACM SIGGRAPH 2005课程,洛杉矶,加利福尼亚,2005年7月- 8月,。视图:出版商的网站|谷歌学术搜索
j . s . Trefil科学的本质:一个无所不包的指南法律和准则来约束我们的宇宙,霍顿-米夫林-哈考特,2003年。
p . o .口腔外科医生热舒适。在环境工程分析和应用,1970年。
t . l . Kunii边界在计算机图形学中:计算机图形学学报》东京84年施普林格科学与商业媒体,2012年。
p . Kocmanova l . Zalud, a . Chromy“3 d接近激光扫描仪校准”2013年18国际会议在自动化和机器人技术的方法和模型(MMAR)Miedzyzdroje,页742 - 747年,波兰,2013年。视图:出版商的网站|谷歌学术搜索
a . Chromy p Kocmanova, l . Zalud”创建三维计算机模型使用机器人机械手和激光扫描仪,”12日IFAC会议可编程设备和嵌入式系统,页268 - 273,爱思唯尔B。V, 2013。视图:谷歌学术搜索
a . Chromy和l . Zalud”小说3 d建模系统捕获对象sub-millimetre决议,”电气和电子工程的发展,12卷,不。5,476 - 487年,2014页。视图:出版商的网站|谷歌学术搜索
p·伯克,厚度——多边形文件格式,“2009年,2016年11月,http://paulbourke.net/dataformats/ply/。视图:谷歌学术搜索
m . Isenburg和p·林德斯特伦,”流网格”VIS 05。2005年IEEE可视化,明尼阿波利斯,页231 - 238年,MN,美国,2005年。视图:出版商的网站|谷歌学术搜索
d . Girardeau-Montaut CloudCompare——开源项目,“2016年,2016年11月,http://www.danielgm.net/cc/。视图:谷歌学术搜索
g·梅尔文,“温度记录画廊”,西南的热成像,2016年。视图:谷歌学术搜索
l . Zalud“阿哥斯——异构移动机器人遥操作系统”2006年IEEE / RSJ智能机器人和系统国际会议,第216 - 211页。北京;中国,2006年。视图:谷歌学术搜索
l . Zalud l . Kopecny f . Burian,“俄耳甫斯reconnissance机器人,”2008年IEEE国际研讨会上安全、安全救援机器人,SSRR 2008,页31-34,仙台日本,2008年。视图:谷歌学术搜索

医疗保健工程

医学机电一体化医疗

文摘