文摘

在这项研究中,实现由头骨自动预测面临的可能性,我们提出一个基于端到端颅面重构方法深卷积神经网络。三维体积数据从1447头CT扫描获得的中国不同年龄的人。面部和颅骨表面数据投影到二维空间来生成一个二维高程地图,然后,用深卷积神经网络实现颅骨的预测在二维空间脸型。编码器和解码器通过编码器组成的第一特征提取,然后作为译码器的输入生成颅面复原图像。为了准确地描述不同尺度的特点,我们采用一个u型编解码器结构与跨层连接。因此,输出相应的尺度特性与功能分解在编码阶段实现不同尺度的整合,同时恢复特征尺度在压缩和解码阶段。与此同时,U-net结构有助于避免损失的问题将采样过程的细节特征。我们使用监督学习得到预测模型从头骨面部海拔地图。面部表面投影操作执行后生成3 d空间中的数据。实验表明,该方法在本研究中可以有效地实现颅面重构,和大部分的脸,恢复误差控制在2毫米的范围内。

1。介绍

颅面重构技术生产重建面临的人类头骨。根据头骨和脸之间的关系在法医学,人类学,解剖学,该技术已广泛应用于刑事调查和考古学。传统的颅面重构主要是由专家手工实现,基于人类的头和脸的解剖法受害者的头骨的石膏模型,根据软组织的关系人类的头和脸和脸和颅骨的形态特征。受害者的面部外观逐渐复制添加橡胶粘土和其他材料。这个方法通常需要一个复杂的过程,成本高,耗时。此外,结果很大程度上取决于医生的经验,所以它的应用程序在刑事调查基于及时性和真实性大大受到限制。

随着计算机可视化和虚拟三维技术的发展,计算机辅助颅面重构技术已经大大减少维修时间和工作难度和减少了主观偏差因素,这引起了广泛的关注。当前重建的方法是基于模板(1)或特征点(2,3]。基于模板的方法,提前一脸模板设置是必需的。在重建过程中,模板变形根据头骨的形状,直到脸上的特征点模板匹配特征点估计的头骨。重建可以基于固定模板(4- - - - - -7)或动态模板(8- - - - - -14]。第一功能积分方法估计面部软组织厚度的关键点,然后恢复面部的表面。虽然基于特征点的方法实际应用于法医领域,仍有局限性,主要体现在两个方面。首先,在恢复的过程中完成面临稀疏的表面特征点信息,面部细节的损失将是不可避免的。第二,人际互动往往是需要保证特征点定位的准确性,导致额外的人为因素。

颅面重构本质上是一个示例生成基于参考数据的问题。深度学习技术的快速发展,数据生成基于卷积神经网络显示了显著的优势,其中代表技术变分autoencoder (VAE) [15,16)和生成对抗网络(GAN) (17]。甘VAE和尝试学习隐藏空间的映射变量通过训练样本实际数据分布。不同之处在于,VAE计算样本的均值和方差通过神经网络,限制他们服从标准正态分布,然后样本重建隐藏变量(18];甘,直接采用博弈论的概念和措施之间的距离真正的分布和生成通过鉴别器,迫使生成器来生成一个更现实的分布。近年来,氮化镓的行业,受到了人们的广泛关注和许多变体,如WGAN [19],CGAN [20.],Pix2Pix [21),开始(22]。

卷积神经网络领域也被引入的颅面重建。李等人。23]提出使用卷积神经网络基于一个编解码器结构,它可以预测骨骼软组织的分布。高的方法计算成本,和高性能硬件要求也需要,但生成的结果并不令人满意。元等。24)使用氮化镓重建真实感三维人脸图像。数据量和计算能力的限制,作者使用3 d数据的稀疏表示来降低计算成本和提高恢复能力;刘和鑫25)提出了一个基于甘autoencoder和预测方法。候选人通过autoencoder面临生成。人脸和头骨叠加来确定最佳的脸。甘后来用于优化结果。这种方案本质上是一个深度学习版的基于模板的方法。虽然重建精度相对较高,模板方法的常见的问题是不可避免的,也就是说,生成过程非常繁琐,网络结构是复杂的。

基于上述研究,我们提出了一个端到端的面部形态预测方法基于深卷积神经网络自动估计脸从头骨数据信息。方法,名叫面部圆柱投影剩余净(CFPRN),它需要预设的脸模板和特征点检测。为了忽略不必要的计算,我们不重建面临的数据直接在三维空间但试图估计脸海拔地图在二维圆柱投影空间,和投影操作执行之后的3 d表面。我们使用u型网络结构,以适应不同尺度的特性。CFPRN很容易实现,实验验证了该方法的鲁棒性和准确性。

2。数据预处理

2.1。数据分割

颅面重构的目的是恢复3 d的脸从颅骨三维表面数据数据。数据都是来自3 d CT扫描。面对表面可以通过阈值分割简单检索,如图1(一);然而,由于软组织的复杂性分布和软骨,阈值分割不适合头骨。为了获得一个干净的头骨结构,我们选择使用滑动窗口的自适应阈值分割。滑动窗口的大小设置为777所示。全球和自适应阈值的比较数据所示1 (b)和1 (c)。

2.2。投影和投影

颅面重建任务基于卷积神经网络,经头部CT扫描获得的三维体积数据通常是过度数据量(26]。现有的硬件条件难以满足的问题构造一个功能网络直接对3 d数据根据最初的决议。事实上,在重建,只有表面的头骨和需要考虑。因此,我们使用投影操作3 d数据映射到二维空间计算。考虑到人类头上的接近一个圆截面和为了避免不一致的决议在垂直轴上,我们使用一个圆柱投影表面。平面投影和球面投影不考虑,因为前者会导致在垂直方向不一致的决议,而后者在不同的水平切片结果不一致的决议。如图2(一个)的横截面CT扫描是XOY平面,和Z设在垂直于横截面。冠状面和矢状面是XOZ平面和YOZ平面,分别。图2 (b)显示了投影平面坐标系统。

三维空间之间的坐标变换和圆柱投影平面定义如下。投影,

投影, 在哪里 从三维空间坐标, 从投影平面上的坐标。是像素值的二维投影高度代表点的距离映射到三维空间的投影轴。因此,在三维面部和头骨表面深度信息保存在投影和投影的步骤。总样品数在吗U轴。

3所示。网络体系结构

网络结构是指encoder-decoder U-net结构(27)和利用有关的想法CGAN [20.],Pix2Pix [21),和其他网络实现端到端网络。

encoder-decoder结构,网络作为一个编码器,上半年downsampling先后通过池、卷积与进步,从输入图像中提取深度特性。下半年,网络作为一个解码器,先后通过反褶积upsampling,插值,将编码器的输出特性映射回的大小之前的水平。被认为是与此同时,跨层连接,以便高层特征映射后upsampled解码器和低级特征映射相同的规模在编码器连接通道尺寸,和不同尺度特征信息融合,使预测结果更加准确和稳定。图3显示了该网络的具体结构。

网络通常分为两个部分:编码器模块和解码模块。

卷积的编码器模块主要由层和五个convBlocks;每个convBlock,见图的右下角3包含一个漏水的Relu激活层,33卷积层,和一群归一化层。编码器模块执行6 downsampling总计,池操作取代了卷积操作步长为2,以保留更多的特征信息。

译码器模块由五deconvBlocks和卷积的一层。每个deconvBlock,见图的右下角3,包含一个漏水的Relu活化层,一个upsampling层,33卷积层,和一群归一化层。解码器模块执行upsampling总共6次;双线性插值是upsampling认为,扩大功能图2的高度和宽度。特征映射后每个upsampling连接通道尺寸的特征映射相应规模的编码器。通过这样一个跨层连接,深和浅的特性可以有效地合并。

与此同时,我们使用一些技巧来提高整个网络的性能。(我)取代反褶积upsampling使用双线性插值和卷积的结构,可有效避免棋盘效应(28]。(2)取代Relu Relu漏水,可以有效地减少死亡的神经元。取代池操作与卷积操作的步长2保留更多的功能。(3)使用集团标准化(29日),而不是批量标准化可有效避免批量大小的影响训练的结果。

我们使用规范化的头骨海拔地图作为网络的输入。数据范围仅限于正常化(−1)。可以加快网络的收敛性,提高模型的泛化能力。监督数据,我们有两个选择:一是直接使用面对高程图,另一个是使用之间的残余的脸和颅骨表面(提到“面子”和“res”,分别在实验中部分)。

损失被定义为预测和实际面对海拔地图之间的距离。我们使用均方误差(MSE)定义损失函数,代表的平均值的平方预测之间的差异和实际高程地图。表达式如下: 在哪里表示像素的数量和条件 分别表示预测和标签值。

4所示。实验

4.1。数据描述

用于实验的数据集从头部cone-beam CT扫描获得从NewTom 5 g。1447名参与者的数据集包含CT数据从口腔学附属医院,南京医科大学。每个样本有540 CT片,每一片的分辨率为610×610像素大小是0.3毫米0.3毫米。1310随机选择样本作为训练集,验证集由剩下的137个样本。

4.2。评价指标

峰值信噪比(PSNR)和结构相似度(SSIM) (30.)选择作为实验的评价指标。峰值信噪比(PSNR)措施之间的比例的能量峰值信号和噪声的平均能量,这是通常用于信号恢复质量。PSNR值被定义为 在哪里表示数据的最大像素值,均方误差。除了PSNR, SSIM是考虑地面真理之间的相似性度量和预测。SSIM措施图像相似度三个方面的亮度,对比,和结构,价值范围(0,1),和大的值代表图像失真小。

5。结果与讨论

5.1。结果

我们直观的可视化实验结果。图4显示了头骨的输入高程地图。图5的预测结果表明,面对海拔地图对应的头骨在图4和相应的地面实况。我们可以看到预测结果非常接近地面的真相。Pseudocolour地图如图6可视化的输出之间的差异和地面真理(百分比),从中我们可以看到,错误主要发生在眼睛,鼻子,嘴巴。显然,因为腔的头骨,是不可能准确地预测眼睛和鼻子。

我们使用预测海拔地图生成3 d通过投影面部数据。生成的3 d面与地面实况。地图显示在图的区别7,我们可以看到,在大多数情况下,错误只限于1毫米。

5.2。比较

我们已经重复实验在不同的网络架构和不同大小的图像。具体结果表中,粗线是我们的提议。表1表明该CFPRN高精度和显示最佳的性能在所有的候选人。简称“Res”意味着网络输出的残余的脸和头骨,和缩写“脸”是指网络输出直接面对表面。表2表明CFPRN适用不同分辨率下的设置。

5.3。误差分析

(1)为了简化网络和提高效率,我们减少输入的维数,导致部分数据丢失精度。预测完成之后,进行投影,这也可能导致额外的传输错误。(2)通过误差图,我们可以看到,基本上,所有样本中有大量错误鼻子和眼睛的一部分。因为头骨在眼睛和鼻子孔,不能准确地预测,这可能是克服通过引入更多的样品。

6。结论和前景

在这项研究中,我们提出一个端到端的深度学习颅面重构的方法。该方法的主要贡献可以概括如下:(1)我们使用投影和投影的三维颅骨和脸之间数据转移到2 d海拔地图。而不是执行重建颅面在三维空间中,恢复运行在二维空间中。面对海拔地图估计根据头骨海拔地图。这样的设计很大程度上减少了数据规模和计算成本,因此该方法可以在消费者的显卡。(2)我们设计一个u型的端到端网络适合在不同尺度的特性。预测的准确性和鲁棒性是保证根据实验结果。

根据我们的实验结果,我们还可以做进一步的前景:(1)我们应该扩大样本的数量。根据性别和年龄划分样本平衡样本数据的分布。(2)眼睛和鼻子的头骨应该挖空或满。因为在这些地区的特定形状的脸无法推断出从头骨,这有助于减少对实验结果的影响被掏空或填充这些部分。(3)我们将尝试其他网络体系结构,如条件着手。通过引入更多的条件,我们可以提供细分预测准确性更高。

数据可用性

所有的实验数据都来自附属口腔医院,南京医科大学。对原始数据的访问限制是由于病人隐私。然而,数据用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。