非线性神经网络增强图像可视化的区域空间引导传递函数设计

摘要

可视化提供了对兴趣细节的互动调查，并改善了解隐含信息。今天有强烈需要获取各种领域的高质量可视化结果，例如生物医学或其他科学领域。生物医学体积数据的质量通常受到部分效果，噪声和偏差的影响，因为CT（计算机断层扫描）或MRI（磁共振成像）器件可能导致指定传递函数的极其困难的任务并因此产生了极其困难的任务可视化图像差。在本文中，提供了一种基于预处理阶段的基于非线性神经网络的非线性神经网络，以提高3D卷数据的质量。基于改进的数据，提出了一种具有深度的2D直方图构造方法的新型区域空间，以识别材料之间的边界，这有助于设计适当的半归化传递函数。最后，实现了具有射线铸造算法的体积渲染管线以可视化若干生物医学数据集。有效地抑制了体数据中的噪声，并且可以通过经过修改的2D直方图设计的传递函数清楚地区分材料之间的边界。

1.介绍

由于物体的可视性和清晰的细节揭示两个特点，可视化已被证明对探索体积数据的有意义属性至关重要[1]．因为能力的获取二维屏幕上呈现的结果直接从数据字段没有提前建立网络模型,因此认证体绘制是一个有效的可视化方法,提取潜在感兴趣的信息从使用交互式图形和体积数据成像2那3.]．Kniss等人[4.使用体积渲染方法可视化肌肉，软组织和骨骼，并产生一组直接操纵小部件，以便探索这些功能方便。Ching和Chang [5.[呈现了CT（计算机断层扫描）图像的感兴趣的特征，并在内窥镜检查中产生了大的广角透视投影视图，以帮助医生在诊断中。张等人。[1通过4D心脏图像渲染同步心动MRI（磁共振成像）和3D超声卷的双模态，并通过4D心脏图像渲染可视化动态心脏。基于体积渲染。张和王等。开发了一种对心脏解剖数据和电生理数据可视化的多变可视化方法的平台[6.]．谢等人[7.]，采用分段小骨CT (tomography, CT)切片可视化耳小骨的三维几何形态，显示出与颞骨的空间关系，诊断中耳疾病。为了方便地可视化大脑活动，Holub和Winer [8.]在实时平板设备上执行3D和4D体积光线投射。

传输功能起着可视化的分类和分割量的数据，这可能会影响渲染图像的质量和用户的体积数据感知的功能的能力的基础性作用。为了测量穿过平面MR流量。浙等。[9.]提出了一种将幅值图像和速度图像合并为一幅图像的可视化方法。通过使用传递函数，速度被颜色编码并设置为预定义的不透明度。因此，我们就可以理解测量到的血流与基础解剖结构之间的关系了。Zhang提出了一种基于统计的三维心容量数据可视化方法[10，并进一步提出了一种新颖的传递函数设计方法，通过基于感知的光照增强来揭示人体心脏解剖的详细结构[11]．Yang提出了一种融合可视化框架，通过一种新的多维融合传递函数将心脏电生理模式与解剖模式结合起来[12]．

Ebert等[13]研究了测量动脉狭窄体绘制的准确性，结果表明传递函数参数的选择在很大程度上影响体绘制的准确性，然而，由于缺乏有意义的指导信息和直观的用户界面，传递函数参数的准确选择仍然是一个挑战。目前针对这一问题的方法主要有以对象为中心、以图像为中心和以数据为中心[14]．以对象为中心的方法首先通过聚类、概率和机器学习对体积数据进行分类或分割，机器学习包括人工神经网络、支持向量机和隐马尔可夫模型[15-18]．然后根据分类结果指定光学参数。

与以对象为中心的方法不同，图像中心传输函数在渲染图像上设计。通过对投影图像的评估，传递函数的参数被自动调整并递归地重新应用于原始数据，直到实现满意的渲染结果。基于一组渲染图像，何等人。[19]呈现给查询的满意的传递函数的随机方法。Marks等。[20.]提出了Design Gallery方法，为用户提供具有不同感知的各种有序图形或动画，这些图形或动画由一系列给定输入参数向量的传递函数自动生成。然后用户探索这些图像空间，以搜索满意的传递函数。

在以数据为中心的方法中，传递函数的参数是通过分析体积数据来确定的。一般情况下，在确定传递函数之前收集与数据相关的附加信息，使设计更加方便。一维传递函数的推导通常考虑体积数据的标量值。梯度(21那22]和曲线[23那24]被引入作为用于二维传递函数中的第二变量。Roettger等。[25]将传递函数的变量扩展到空间信息。将相互连接的空间区域进行分组并进行分类。Huang et al. [26]将空间信息添加到传输函数域中，并将尺寸的数量扩展为三个。通过利用三维设计的成本函数来精确地揭示材料边界，以暗示区域生长算法。提出了一些方法来分类转移函数设计的体积数据的拓扑结构[27那28]．Correa等人通过连续尺度空间分析和检测滤波器[29]得到代表每个体素尺度的三维尺度场。然后利用尺度场提出基于尺寸的传递函数，并将局部特征的尺度映射到颜色和不透明度。从而可以根据相对大小对复杂数据中标量值相似的特征进行分类。随着传递函数维数的增加，正确地确定传递函数的参数变得更加困难和繁琐。

当维度超过2时，难以指定更高尺寸传递函数的参数。直方图通常用于查找满意的传输功能。基于体积的第一和第二衍生物，Kindlmann和Durkin [22]构建了一个2D直方图，对象边界在直方图中显示为弧线。然后根据电弧半自动生成特征敏感传递函数，以揭示感兴趣的特征。Lum等人[30.]使用梯度对齐的样本而不是一阶导数作为创建2D直方图变体的第一个属性。通过直方图设计传递函数，将均匀度不同的体素映射到不同的光学参数上进行分类。但是，随着边界数量的增加，由于交叉和重叠的存在，基于上述方法的边界分离变得更加困难。

本文首先采用神经网络体积数据预处理方法进行切片去噪，以提高三维生物医学数据的质量。然后，在基于深度信息的区域空间方法建立改进的二维直方图的基础上，设计了带有预处理数据的二维传递函数。因此，对数据感兴趣的特征进行了准确的探索。节2本文中，描述了去噪的方法和基于二维直方图的二维传递函数的设计。该方法的效率和实用性节中进一步示出3.．最后，本节对结论进行了讨论4.．

2.传递函数设计

2.1。增强对切片数据

目前，CT和MRI等无创设备产生的生物医学体积数据通常伴随着噪声、局部效应和偏差。噪声或错误信息严重导致信噪比低的数据将直接影响传递函数的规范，导致图像中的目标模糊。

空间平均低通滤波如一般中值滤波和高斯平滑等具有减小噪声波动幅度的优点。而滤波会模糊数据中的细节，如线或边缘，而不注重区域边界或微小结构的处理，这使得得到的图像过于模糊。这对有效地增强包含大量细节的噪声数据的边界是一个障碍。

虽然非线性滤波具有预留边缘的成就，但由于抑制细节，它会产生分辨率的损失。为了解决这个问题，非线性增强算法使用边界信息和像素的邻居以预处理图像数据[14那31[有效地去除具有均匀物理性质的噪声区域，并显着提高图像质量。因此，通过保留物体边界和详细的结构可以通过不连续磨削来增强信息的损失。由于各向异性扩散滤波沿边缘方向平滑图像，而不是在正交方向上到边缘，所以可以保持边缘的位置和强度。与传统方法不同，神经网络可以通过层次结构了解对任务有益的更多功能。基于多层的Perceptron神经网络，Burger等人。[32]提出了一种基于大数据集学习的图像去噪算法。对于多层感知器(multilayer perceptron, MLP)，它可以表示为一个非线性函数，将一个有噪声的图像映射到一个无噪声的图像: 这里的网络有三个隐藏层。 那 那 向量值的偏见。结构的权矩阵为 那 那 ．这个函数操作组件。为了实现图像去噪，从图像数据集中选择清洁图像，并且采用输入噪声水平来产生相应的噪声图像。然后通过令人满意的后传播算法估计MLP参数： 在哪里你输入的是向量值噪声图像和H（你)为输出的映射向量值去噪图像。V.是干净的图像。网络结构如图所示1．

期间应用的图像去噪，MLP采用全连接神经网络来处理图像片段，然后分割并组合所有处理后的图像的段以形成降噪图像。首先，噪声图像被分成重叠的贴片和每个补丁你分别被解释。然后是去噪的补丁H（你）被放置在他们嘈杂的对应物的位置。因此，通过对重叠区域的平均来获得去噪图像。

２.２.区域空间导向传递函数设计

Kindlmann等。[22]增加了体素的高阶衍生物以以他所提出的方法转移功能域。这些提取的边界出现在派生直方图中的拱门，其具有表示标量值和梯度幅度的轴。尽管使用该直方图可以改善由不同特征体素引起的两个拱门的选择，相同的标量值和梯度幅度的两个拱形可以导致边界分类中的歧义。Sereda等人。[33]提出了一个基于LH直方图的多维传递函数，以方便分离以拱门表示的特征。

LH直方图方法计算每个标记为的样本体素的低值和高值FL和跳频分别。对于每个样品的体素中，如果梯度小于阈值时，体素被确定为内部采样。否则，体素被认为是边界元。FL和跳频内部体素相等，值是体素的标量。对于应该属于边界的体素，沿梯度场中的梯度和反向实现集成，直到梯度小于阈值。FL和跳频然后才能被找到。的FL和跳频所有体素的值在相同的坐标系中表示，由此获得LH直方图。自值得的价值FL不超过跳频， LH直方图中的点仅位于对角线上方。对角线上的点表示内部体素;也就是说,FL和跳频值相等。其余代表边界的体素和相应的FL和跳频值是分别是边界两种材料的标量值。

在体绘制中，用LH方法设计传递函数不仅可以减少对图像分割的依赖，而且还包含体素梯度信息和边界灰度信息。由于医学数据和临床应用的特点，需要对体素进行集中处理。

在适当的范围空间被选择，并且一个体素与所述体素相比 ．让为体素的标量或强度值 ．强度意味着和方差所有的体素分别如下： 在哪里表示体素区域空间中相邻的体素和是体素的数量 ．识别边界体素的标准可以表述为(5.）： 在哪里是材料内的一组体素是边界上的体素集合。因此它和里面的体素之间的差异超出…的范围被认为是边界体素．

另外，在复杂的边界存在的区域中，使用单一的标准将导致边界确定错误。由于一些边界只出现在一定的深度，然后消失，当他们达到一定的深度，该复合物的边界，可以进一步根据所述深度信息区分。然后修改的2D直方图使用具有深度信息的区域空间为基础的方法创建。在本文中在原始直方图中的点根据相应的深度进一步分组。

然后，根据创建的LH直方图，通过选择相关区域，并分配它们的颜色和不透明度，指定一个2D传递函数。因此，可以在体积数据中探索相应的特征。该方法的详细内容在算法中给出1．

3.结果与讨论

在本节中，使用一些数据集作为测试数据，包括牙齿数据和羊心数据，来评估所提出的传递函数的性能。数据集大小分别为256×256×161和352×352×256。所有实验都是在Intel Core i5 2.66G、4.00G RAM和NVIDIA GeForce GT 650显卡的计算机上进行的。

通过非侵入性的电流装置，例如CT和MRI扫描仪产生的生物医学体积数据通常伴有严重的噪音，这将产生较差可视图像和在所得图像中引起模糊的物体。因此，MLP神经网络被实现为去噪的体数据。在实验中，该LabelMe数据集的并集来训练MLP包含大约150,000个图像。训练前，数据被填充有填充操作和各像素填充有6种像素尺寸。噪声水平σ设置为10。我们使用大小为39×39的patch生成预测的patch，然后使用大小为9×9的过滤器对输出的patch进行平均，因此其有效patch大小为47×47。在实验中，学习率在每一层中等于 和为当前层的输入单位数。基本学习率设置为0.1。为了稍微改善结果，我们使用了步幅为3的滑动窗方法，它使用高斯窗加权去噪的小块，而不是使用所有可能的重叠小块。数字2比较图像去噪非线性增强和MLP神经网络的轮齿数据的结果。的峰值信噪比（PSNR）与非线性增强滤波是41.4294，和结构相似性指数（SSIM）是0.9325。与MLP方法的PSNR是41.4294，并且SSIM是0.9325。正如人们所看到的，MLP网络产生视觉上更加愉快的结果。与原始数据进行比较，在均质区域中的噪声被抑制，并且该图像的质量得到提高。

在LH直方图中，对角线附近的点代表材料内部。因此，包括这些点的区域被分配到转移函数中的不透明度降低，以淡出不重要的信息。剩余地区是含有感兴趣的特征的边界体素的积累。数字3.显示原始牙齿数据和MLP去噪数据的LH直方图和渲染结果。数字3(一个)描述了创建的LH直方图(左)和对应的绘制结果与原始牙齿数据集(右)。数字3 (b)显示了基于去噪数据的LH直方图(左)。从图3 (b)，我们可以看到LH直方图上的点分离更加紧密，这是由于均匀区域噪声的抑制和材料之间边界的增强。由于噪声被有效地抑制，不同材料之间的边界可以更清晰地可视化。如图3 (b)，通过实验结果具体表现出的事实是探索牙本质 - 搪瓷（黄色），并且牙本质根部周围的噪声得到显着去除。

数字4.显示使用常规和区域标准的方法，创建的LH直方图和渲染导致各向异性扩散增强的齿卷数据。非线性滤波的迭代次数是过程排序参数。数字4（a）介绍了传统方法对增强数据的可视化结果。梯度幅度阈值用于研究FL和跳频强度配置文件设置为10.数字4（b）显示了基于区域准则的方法构建的LH直方图和对应的绘制图像。这里是区域范围被设置为1.6。如图4（b），因为噪声被抑制，路径跟踪FL和跳频值从区域准则开始，对应不同特征的点分离部分的分布在LH直方图中更加集中，从而保证了边界体素的更准确识别。两个实验结果明确表明，牙本质根部周围的噪音被大大消除，边界模糊的现象被消除，牙齿的各种边界，即珐琅质-空气(白色)，牙本质-珐琅质(黄色)，牙髓-牙本质(红色)，牙本质-空气(粉色)边界，在最终的图像中显示得很清楚。

数字5.显示了利用MLP增强数据将深度信息引入区域空间后的渲染结果。用传统的LH直方图对边界体素进行分类会导致边界探测的混乱。从图4.，我们可以看到在牙髓-牙本质边界存在明显的不连续性。这种不连续性是由于对牙本质组织的边界体素错误分类造成的。由于边界出现在特定的深度，例如牙釉质在人眼附近的区域，而髓质在远离人眼的深度，因此我们为直方图的构建添加了深度信息，可以得到清晰的边界。在我们的实验中，牙釉质深度约为120，髓质深度约为80。如图中的结果图像所示图5（a），由于基于区域空间深度信息LH直方图设计的传递函数将更多的体素划分为边界体素，图中牙髓-牙本质边界的不连续(红色)4.是纠正。并在绘制结果图像中显示出准确的牙髓-牙本质边界。该方法的绘制时间为1.1s，丰富了可视化的实时交互性。

数字6.显示绵羊心脏切片数据的去噪结果，通过所提出的区域空间引导传递函数给出渲染结果。数字6(一)显示原始切片。在图6 (b)，呈现了两种相应的去噪结果。显然，预处理绵羊心脏等肌肉和脂肪的组织在降低噪声下有效，因此保持边界细节。因此，通过基于区域空间的传送功能，具有增强数据的区域空间的传送功能，可以通过基于区域空间的传送功能来清楚地可视化结构特征。6 (c)，薄片心脏的脂肪是黄色的，肌肉是红色的。羊心的侧面被涂成白色。由此，可以准确地探索羊心的结构，清晰地观察组织的形状、空间位置和关系。羊心数据集的渲染时间为2.6s。

4.结论

传递函数在体绘制性能中起着至关重要的作用，它可以直接挖掘隐藏在数据中的细节信息，并增强重要边界。在本研究中，我们首先在体积数据上实现MLP神经网络去噪，同时保持边界。该方法可以显著提高设备采集的体积数据的质量。然后对LH方法进行改进，结合区域深度信息实现传递函数的半自动生成。该方法可以避免噪声的影响，使体素更加集中。LH直方图中对角线处的体素分布更加集中，重要对象的边界得到了有效的强调。通过将LH直方图中点对应的边界体素标量值映射到适当的不透明度和颜色，可以准确地找到数据中感兴趣的特征。

数据可用性

两个数据集都是可用的打开数据http://visual.nlm.nih.gov/．

的利益冲突

作者宣称，有兴趣就本文发表任何冲突。

致谢

该作品得到了中国国家自然科学基金（NSFC）的支持，否定。61502275和中国博士后科学基金（第032221010号）。这项工作也得到了山东自然科学基金的支持。ZR2017MF051，中国国家自然科学基金（NSFC）授予否。61501450，以及授予授予的人文与社会科学项目的MOE（中国教育部）。16YJC880057。

参考文献

1. Q.章，R.伊格尔森和T. M.彼得斯，“基于GPU的可视化和4- d心脏MR和超声图像的同步，”IEEE生物医学信息技术汇刊，第16卷，第5期。5，第878-890页，2012。查看在：出版商的网站|谷歌学术
2. H. Pfister, B. Lorensen, C. Bajaj等，“传递函数烘焙”，计算机图形与应用，卷。21，不。3，第16-22，2001。查看在：出版商的网站|谷歌学术
3. Q. Zhang, R. Eagleson，和T. M. Peters，“体积可视化:聚焦于医疗应用的技术概述”，数字成像杂志，卷。24，不。4，pp。640-664，2011。查看在：出版商的网站|谷歌学术
4. J. Kniss, G. Kindlmann，和C. Hansen，“交互式体绘制的多维传递函数”，计算机图形学学报，卷。8，不。3，pp。270-285,2002。查看在：出版商的网站|谷歌学术
5. Y.-T.青和C.-L.常，“A体绘制技术产生一个非常大的广角endoscopeic视图，”医学与生物工程杂志第22卷第2期2，页109-112,2002。查看在：谷歌学术
6. 张磊，盖昌，王凯，卢伟，左伟，“基于gpu的脑缺血的高性能波传播模拟”，中国心脏病学计算会议论文集(CinC’11)，第469-472，中国杭州，2011年9月。查看在：谷歌学术
7. 谢淑珊，李富鹏，蔡美玲，“基于三维计算机断层扫描的虚拟现实耳听骨手术模拟器”，医学与生物工程杂志，第30卷，第2期1，页57-63,2010。查看在：谷歌学术
8. J.赫鲁伯和E.温纳，“在iOS设备上功能性磁共振成像的实现实时体绘制”数字成像杂志，第30卷，第2期6，PP。738-750,2017。查看在：出版商的网站|谷歌学术
9. P. Thunberg和A.Kähäri，“可视化从相位对比MRI获得的通过平面血流测量”，“数字成像杂志，卷。24，不。3，PP。470-477，2011。查看在：出版商的网站|谷歌学术
10. 张磊，王凯，杨飞等，“一种交互式心脏解剖研究的可视化系统”，医学系统杂志，第40卷，第5期。6、2016。查看在：出版商的网站|谷歌学术
11. 张磊，王凯，张慧，左伟，梁晓亮，史建军，“基于感知的光照增强的心脏可视化”，医学影像与健康信息学杂志，卷。4，不。2，pp。312-316，2014。查看在：出版商的网站|谷歌学术
12. 杨芳，吕文国，张磊，张宏刚，“基于深度加权光辐射功能的心脏解剖和缺血模型融合可视化研究”，《中国医学影像学会期刊》，第2期心脏病学会议计算的诉讼程序（CINC'15），第937-940页，IEEE，尼斯，法国，2015年9月。查看在：出版商的网站|谷歌学术
13. D. S. Ebert，D. G. Heath，B.S.Kuszyk等，“评估动脉狭窄三维计算断层扫描测量的潜力和问题，”数字成像杂志，第11卷，第5期。3，页151-157,1998。查看在：出版商的网站|谷歌学术
14. G. Gerig, O. Kubler, R. Kikinis，和F. A. joolesz，“MRI数据的非线性各向异性滤波”，IEEE医学影像汇刊，第11卷，第5期。2，第221-232页，1992。查看在：出版商的网站|谷歌学术
15. F.-Y。tzeng和k ..ma，“卷数据任意维度分类的集群空间视觉界面”第六届联合Eurographics-IEEE TCVG可视化研讨会论文集，页17-24，康斯坦茨，德国，2004。查看在：谷歌学术
16. P.Šereda，A.比拉诺瓦，和F. A. Gerritsen的，“自动化传递函数设计体积使用材料边界的分级聚类渲染，”在第八届联合Eurographics-IEEE TCVG可视化研讨会论文集，第243-250页，葡萄牙里斯本，2006。查看在：谷歌学术
17. F.-Y。Tzeng，E. B. lum和K-L。ma，“一种新的卷数据分类界面，”IEEE可视化会议的程序（VIS '03），页505-512，西雅图，华盛顿州，美国，2003。查看在：出版商的网站|谷歌学术
18. F.-Y。林美虹和k - lMa，“对体积数据进行高维分类的智能系统方法”，计算机图形学学报，第11卷，第5期。3，pp。273-283,2005。查看在：出版商的网站|谷歌学术
19. 何天生，洪l.c.， A. Kaufman，等，“基于随机搜索技术的传递函数生成”，出版第七届年度IEEE可视化'96论文集，第227-234页，加州旧金山，美国。查看在：出版商的网站|谷歌学术
20. J. Marks, B. Mirtich, B. Andalman et al.，“设计图库:设置计算机图形和动画参数的一般方法”，载1997年计算机图形会议论文集，SIGGRAPH， 389-400页，1997年8月。查看在：谷歌学术
21. M. Levoy，“从卷数据显示表面，”计算机图形与应用，卷。8，不。3，pp。29-37,1988。查看在：出版商的网站|谷歌学术
22. G. Kindlmann和J. W. Durkin，“用于直接体绘制的传递函数的半自动生成”电子学报，1998，第79-86号，美国，1998年10月。查看在：谷歌学术
23. J.Hladůvka，A.柯尼希和E.Gröller，“曲率为基础的直接体绘制的传递函数，”在计算机图形学春季会议论文集2000，第16卷，第58-65页，2000。查看在：谷歌学术
24. G. Kindlmann, R. Whitaker, T. Tasdizen，和T. Möller，“基于曲率的直接体绘制传递函数:方法和应用”，刊于VIS 2003年论文集，第513-520页，美国，2003年10月。查看在：谷歌学术
25. S. Roetter，M. Bauer和M. Stamminger，“空间化转移函数”欧洲图形学学报，IEEE VGTC可视化研讨会论文集，页271-278,2005。查看在：谷歌学术
26. r·黄。guan - liu Ma, P. McCormick, W. Ward，“可视化工业CT体积数据的无损检测应用，”in2003年IEEE可视化的程序，第547-554页，华盛顿州西雅图，美国。查看在：出版商的网站|谷歌学术
27. I. Fujishiro, T. Azuma, Y. Takeshima，“基于三维场拓扑分析的可理解体绘制的自动化传递函数设计”，发表于IEEE可视化学报，1999，第467-470，1999年10月。查看在：谷歌学术
28. S. Takahashi, Y. Takeshima, I. Fujishiro，“拓扑体积骨架及其在传递功能设计中的应用”，图形模型，卷。66，没有。1，第24-49，2004。查看在：出版商的网站|谷歌学术
29. C. D. Correa和K.-1.MA，“基于尺寸的转移功能：新批量探索技术”计算机图形学学报第14卷第2期6，页1380 - 1387,2008。查看在：出版商的网站|谷歌学术
30. 林美虹和k - l。Ma，“使用梯度对齐采样的照明传递函数”IEEE可视化学报2004,VIS 2004，PP。2004年10月289-296。查看在：谷歌学术
31. P.佩罗娜和J.马立克，“尺度空间和边缘检测使用各向异性扩散，”模式分析与机器智能学报，第12卷，第2期7，第629-639页，1990。查看在：出版商的网站|谷歌学术
32. H. C. Burger, C. J. Schuler，和S. Harmeling，“图像去噪:普通神经网络能与BM3D竞争吗?“在计算机视觉与模式识别，2012,33 (6):741 - 741，第2392-2399页，美国，2012年6月。查看在：谷歌学术
33. P. Šereda, A. V. Bartrolí， I. W. O. Serlie，和F. A. Gerritsen，“使用lh直方图可视化体积数据集的边界”，计算机图形学学报，第12卷，第2期2，页208-217,2006。查看在：出版商的网站|谷歌学术

版权

版权所有©2018肥羊等。这是分布下的开放式访问文章创意公共归因许可证如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。