文摘
面部表情识别(带)的兴趣日益增加是由于它的实际和潜在的应用,如人类生理互动精神疾病诊断和检测。这一领域的研究已获得了高度的关注社区近年来,取得了显著成绩;然而,一个重要的改进是必需的空间问题。这个研究工作提出了一种新颖的框架,提出了一个有效的和健壮的解决方案拿来一个没有约束的环境下;它还帮助我们面部图像分类在客户机/服务器模型以及保护隐私。有很多可用的加密技术计算昂贵但他们;另一方面,我们实现了一个轻量级的方法能够确保安全通信的帮助下随机化。最初,我们执行预处理技术遇到的不受约束的环境。人脸检测执行清除过多的背景和它检测到在真实的环境中。数据增加数据不足的政权。 A dual-enhanced capsule network is used to handle the spatial problem. The traditional capsule networks are unable to sufficiently extract the features, as the distance varies greatly between facial features. Therefore, the proposed network is capable of spatial transformation due to the action unit aware mechanism and thus forwards the most desiring features for dynamic routing between capsules. The squashing function is used for classification purposes. Simple classification is performed through a single party, whereas we also implemented the client/server model with privacy measurements. Both parties do not trust each other, as they do not know the input of each other. We have elaborated that the effectiveness of our method remains unchanged by preserving privacy by validating the results on four popular and versatile databases that outperform all the homomorphic cryptographic techniques.
1。介绍
面部表情包含最重要的非语言和丰富的情感信息在社会交际1]。人们通过语言和非语言相互交流沟通(2]。非语言沟通包括脸部表情,目光接触,面部表情,副语言(3]。根据早前的研究,而交流,50%的信息是通过面部表情,40%通过声音,8%通过语言。除此之外,由于技术的快速发展,我们花大部分的时间在电子设备上,各种各样的软件接口,紧张,原始的和非语言的。因此,面部表情识别应该进一步提高更自然和智能人机交互。
面部表情识别是用于各种领域,像智能辅导系统(ITS)心理学、人机交互、行为科学、智能交通、互动游戏(4]。它可以帮助监测异常表达在人群中在公共场所避免犯罪。也可以帮助在服务行业中及时捕捉客户的反馈和它可以提供及时的治疗的患者通过观察病人的实时表达式在医院。据埃克曼和Friesman [5),有六种基本的表情:快乐、惊讶、厌恶、恐惧、悲伤和愤怒(一些研究人员称为中性表情第七表达式)。这些表达式是转达了几乎所有物种之一。
面部表情识别是由不同研究人员广泛研究。尽管现有研究,健壮的拿来尚未开放的和具有挑战性的任务6,7]然而,大部分的识别算法不考虑类的变化引起的面部属性相同的个体的差异。因此,大多数情况下,表情分类是通过面部表情信息连同标志(8,9]。它的主要缺点是,它影响整个带系统的泛化能力,从而导致性能退化在看不见的身份10]。一个有效的带系统起着至关重要的作用在治疗患者通过观察变量的行为模式。幸福表情描绘了一个健康、积极的心理状态而悲伤和愤怒的演示一种不健康的心理状态。检测到不同的心理疾病,如自闭症或焦虑的情绪冲突的一个特定的病人。带的一个重要应用是E-health护理;如今,几乎有03亿人患有抑郁症,这也会导致自杀倾向,如果他们不及时、有效地治疗11]。一般来说,精神健康治疗像财务成本面临很多障碍,社会歧视,缺乏可选项。通常,临床人员采访病人通过语言和非语言指标识别抑郁症的症状。病人被要求填写一份调查问卷的测量抑郁严重程度(12]。及时发现抑郁症状,一个基于ai系统将有助于巩固障碍及时有效的治疗。
在本文中,我们使用不同的技术来开发一个健壮的模型的组合。最初,我们实现不同的预处理技术调整,消除图像高度不相关的信息。人脸检测执行使用面部属性由于以下原因:(1)人脸有一个独特的结构,与当地最重要的面部部分,如眼睛,嘴巴,鼻子,帮助我们在一个不受约束的环境检测的脸。所以,合作伙伴地图或响应映射的五个不同的部分是使用的方法。(2)面对坚持空间安排像上面的头发被下面的眼睛和嘴唇鼻子。因此,faceness分数已经衍生出响应的配置。(3)面对假说进行更准确的估计位置。我们的贡献是引入特殊属性监督发现面部部分反应。我们适应深卷积生成对抗网络(DCGAN)为数据增加。它帮助我们在演示真实数据的增加和提高泛化性能的低数据政权。
一个精确的和健壮的拿来,面部图像的特征表示是最重要的一步。大量的研究已经完成了局部和全局特征提取(13]。风扇等(14提出了一个模型,即。,MRE-CNN, which aimed to enhance the learning power of the convolutional neural network by considering both the local and global features. Li and Deng [15]介绍了DLP-CNN框架的歧视力量深功能增强的同时最大限度地提高组内的散射和保护当地亲密。不过,他们无法找到相对当地特性之间的关系。脸是由一定结构,每一个部分都有相对与其他部分的关系。为了解决这个问题,我们提出一个方法的空间转换由于行动单位注意机制,因此前锋最渴望的特性之间的动态路由的胶囊。最后,挤压函数是用于分类的目的。我们也面临着挑战,实现分类,客户机/服务器的相互不信任披露私人面部图像的内容并没有呈现结果到服务器。实际和潜在的应用有很多,但主要是捕捉有用的和区别的特征。表示可以帮助更好的特性来提高系统的整体效率。一个适当的、灵活、有效的面部表情识别系统将有利于这个行业。有很多标准cryptophic技术就像安全多方沟通和同态加密,但是他们计算方式过于昂贵。 Thus, we have provided a practical solution to the aforementioned problems. We assess the effectiveness and performance of the introduced model on the Extended Cohn-Kanade, MMI, Oulu-CASIA, and Real-world Affective Faces (RAF) databases. Figure1显示了一些示例图像从CK +数据库。
本文的主要贡献如下:(1)我们提出一个网络,它能够发现活动从不同的地方区域的特性之间的关系。空间信息也通过先验知识引入对象的存在的可能性。(2)实现一个简单的拿来不使用加密技术有较高的计算复杂度。(3)同时实现相同的分类精度的传统算法(nonprivacy-preserving)。
下一小节的组织如下。节2,我们提供与现有方法的问题。节3,我们精心设计的小说结构与底层的信息。部分4由结果和分析。最后,我们提供我们的研究的结论和解释最后一节的未来工作方向。
2。相关工作
带的主要目的是获取有意义的特性区别的描述性,和不变的面部变化如遮挡、光照、姿势,和其他标志的细节。有两个主要用于特征提取方法:(1)手工制作的方法和(2)deep-learning-based方法。如今,深度学习方法是获得成果显著。然而,早些时候,主要是面部表情识别是基于手工/面向工程化的特性,比如直方图梯度(猪)16),n维尺度不变特征变换(n:筛选)17),和当地的相位量化(LPQ) [18]。这些方法用于全球的详细信息的提取一个人的脸。然而,从整体的面部区域,所获得的信息和它忽略了表达变化在当地区域,含有眼睛,鼻子,嘴巴。lab-controlled环境中执行这些方法很好,学科构成表达式恒照明下,稳定的眼睛凝视,头部姿态运动。现有的手工方法演示相对较少的识别精度。为手动提取所需的努力正在产生歧视功能与表达的变化。考虑到在野外场景深度学习的方法实现了面部表情识别的鲁棒性(19- - - - - -22]。然而,影响深表示仅仅因为每个面部属性的特定主题进行巨额数量的变化,如性别、种族和年龄的特殊姿势表情。它拥有一个非常大的缺点。,the generalization capability for any model is highly and negatively affected; as a result of unseen objects, the performance of facial expression recognition is degraded. Although quite a lot of work has been done toward improving the performance of FER, alleviating the influence of inter-subject variations is still a challenge and an open area of research.
已经实现了一些技术通过减少内部类变化和通过增加组内的差异,进而增加识别的特征提取的带实时场景(23]。添加身份相关性CNN (IACNN)提出,通过减少的影响与表达式的使用和认同标志信息对比损失,面部表情识别性能可以提高24]。岛损失提出了提取有效区别的特征带(25]。此外,在[26),使用残留已经学会了学习人组成的独立表达式表示。然而,这种技术是计算昂贵,由于相同的中间表示用于中性图片的生成同样的身份,也无法解开从身份信息表达信息。然而,在(24),由于大数据扩张造成的编译形象对训练数据的形式,对比损失是严重影响的有效性25]。同样,在27),一个固定的身份提出了面部表情的转移修复身份相关信息的影响。问题依然存在的方法拿来的效率取决于表达转移过程。简而言之,它已经注意到带基于深度学习的方法优于传统的手工方法。然而,仍有缺口深度学习,因为很少有研究采用面部深度图像的深度网络作为输入。与现有的模型相比,主要目标是设计一个网络,可以完全采用分解的面部区域,容易实现,健壮。
不同的研究者有不同的方法来实现确保隐私。在[28),保护隐私数据分类是使用主成分分析特征提取,分类,使用最近邻。然而,它未能执行存在非线性的面部变化。Fisher线性判别分析提出了在29日)和PCA相比减少了错误率。然而,它并不适合维护隐私的区别的多通道中的一个特定的类类的特性。因此,LFDA FLDA提出了克服缺陷。工作(30.)满足隐私需求通过隐藏测试图像和实现结果使用Paillier Homo-morphic加密(31日]。在研究工作(32),作者提出EPOM,达到安全的目标整数处理没有导致隐私泄露的数据未经授权的聚会。在[33),建议subprotocols可以大大减少迭代逼近过程中交换的信息进行基于坐标旋转数字计算机算法。由于大型加密以及解密密钥,它涉及计算密集型操作,如大量的指数。与此同时,它也有一个有限数量的操作期间的分类数据,这使得客户机/服务器甚至更多的相互交流。因此,我们的方法可以实现真正的识别率即使在隐私协议的存在,它使用随机化,能够强烈的乘法和加法。
3所示。该方法
3.1。预处理
预处理是非常重要的,因为它的目标是获取有意义的特性,对齐,规范化最需要的视觉信息传达的面部图像。每个实时图像非线性影响面部的变化,即。,varying illumination, the difference in the contrast between the foreground and background, and irrelevant head poses. Therefore, to get the maximum possible semantic meanings of the features for further training the deep neural network, we need to perform some preprocessing techniques. This step is used for the elimination of highly uncorrelated data in the image.
3.1.1。人脸检测
人脸检测是拿来的一个至关重要的步骤,因为过度的背景,还有高度不相关的信息在图像甚至来自几个基准数据集。几乎大部分的数据集有一个额视图和高分辨率图像。所以中提琴和琼斯算法34在大多数场景中使用。
Faceness-net已经使用。提供一个完整的图像作为输入图像的卷积神经网络一代的合作伙伴地图。合作伙伴地图生成等脸部不同部位的眼睛,鼻子,嘴巴,等。面部属性进一步分类,区别于其他地区,就像如何金色头发,黑色,波浪,直,等。因此,在接下来的阶段,面对提议更精炼,所以面部属性的有效性探索学习的一个优化和健壮的人脸检测。CNN在uncropped训练图像和用于获取部分探测器没有任何明确的监督。faceness分数评估基于面对部分反应,考虑与他们相关联的空间安排。后一代的脸的提议,一个强大的人脸检测器是训练有素的,它优于其他方法。
在图2面对分为五个重要部分,眼睛,鼻子,头发和更有效的比嘴和胡子,这可以部分堵塞。因此,面部的结合部分给出更好的结果比个人面部的部分。
3.1.2。数据增加
至于带深层神经网络选择,数据增加用于产生更好的结果通过提供大量的数据。在模型的泛化能力是有效的公开数据集不足够大的验证结果更有效率。大的训练数据屈服于一个训练有素的模型。
有一些数据的标准方法增加像扭曲,旋转,改变,改变配色方案,调整图像大小,和增强的图像噪声22]。自动学习增强低数据中的数据设置,我们使用深卷积生成对抗网络(DCGAN)。它用于减轻过度拟合问题的动态数据。提供的样本作为输入是随机从所有四个边裁剪,然后执行水平翻转使数据集比原来的十倍。
3.2。双重增强胶囊网络(DE-Capsnet)
整个网络如图3,模型分为部分。首先,我们必须进行预处理图像,以避免面部图像相关的不相关的信息。然后,我们有两个模块进行进一步处理。在第一部分中,紫色的虚线框是关注意识到单位和行动由深卷积层提取的增强功能地图,这被称为增强模块1。在以后的部分,使用动态路由,胶囊之间这些增强的特征图进行编码,解码的过程是通过完全连接层(这个过程绿色虚线所示)。最后,挤压函数用于面部表情的识别。
VGG19用于增强模块1,因为它是非常健壮的对象分类除了具有一个简单的架构。更好地理解的描述,每个阶段有多个卷积层一层max-pooling紧随其后。在前两阶段,每个阶段有2卷积层。而在过去的3个阶段,每个阶段有3卷积层,分别。我们不保留过去的3层是我们必须得到特征图。
实现注意地图,我们使用了李代法等。35]。此外,我们已经进行了适当的调整我们的工作中使用的数据集获取关键面部地标。图3用蓝色显示了面部图像面部随着注意力地图地标。行动得到了单位的中心与关键面部点通过使用扩展的距离。确保天平必须相同在所有的面部图像,面部图像的大小。因此,为了使转移之间的距离尽可能多的自适应图像,测量参考用于指示在远处转移。定位操作单位,中心内部的角距离被用作了距离。对于每个操作单元,7像素附近地区已在实验中,因此,每个操作单位面积的大小是15×15。Hw分配更高的权重,这是最接近点的动作单元中心。
曼哈顿距离称为米d行动单元中心。因此,这些领域中拥有更高的价值的注意力地图对应的活跃的地区行动单位的面部图像,和一个注意力地图将进一步加强。
后一代的注意力地图,地图是进一步转发到第三阶段和第四阶段,如图3。后生成的特征图第二阶段的池层是乘以第一阶段的注意力地图,然后被并行卷积层的第三阶段。因此,卷积后的结果添加元素的元素,然后转发到max-pooling层当前阶段作为输入。类似的操作是在第四阶段完成的共同结合卷积层与注意力地图。在这里,我们使用注意力地图解释背后的原因;只是因为所有领域不是同样重要的面部表情识别。
增强模块1后,我们得到512×7×7特征图。动态路由功能的地图是美联储进一步主要胶囊层之间和面部胶囊层。三个完全连接层用于解码和重建面部形象。非线性函数,即。,the squashing function is used for facial expression recognition, which is defined in equation (2)如下: 在哪里k用于胶囊,然后呢uk和jk分别输出和输入向量。l米减少利润损失和吗lr重建损失用于更新网络中的参数。被定义为总损失lt。损失函数表达式中定义方程(3)- (5),分别。 在哪里cc称为该特定类别的分类类别和指示函数用吗我cc。代表不同的上下边界b+和b−,分别。的f表示原始图像,而fc代表了重建图像。这种分类是基于一方;的培训和测试阶段是通过聚会。然而,我们提出一个方法通过服务器将负责培训和测试将由双方共同完成的。
3.3。信息安全
安全算法是信息安全,其安全弹簧纯粹从科学理论。一想到信息安全通信是由应用科学家,香农;他进一步补充说,一次性垫系统记录良好的安全,后续两个条件(36]:(1)随机的关键信息应该是随机的和将使用一次(2)键的长度必须是只要的长度信息
即使任何规则随机参数和满足上述条件,仍然很难揭开即使敌人有着特殊的参数计算;例如,如果随机速度是一样的信息空间,足够1024−位,前和后验概率是相同的,即:没有特别的优势,敦促比先验概率的后验概率。
3.4。隐私保护安全
主要的主题是确保客户端和服务器之间的安全操作。他们两人要相互沟通,并为此需要计算 。在哪里是一个向量已知客户端和是一个向量已知服务器是一个标量。然而,只有客户知道的结果 。
在哪里客户端是由整数和输入输入服务器由浮动点。因为我们倾向于执行整数随机数,转换成整数的过程是通过扩展向量的元素 ,这是近似到最近的整数。我们使用比例因素这是大 。第一个客户添加随机数的向量和服务器做一些操作并将处理的结果返回给客户端。操作是有效的第一个扩展标量和向量通过缩放因子 ,然后结果是除以比例因子。
有一件事是肯定的,即。,the server won’t know anything about the client input and the same will be the case with the client. The client will just get to know about the result without having any knowledge about server vector and scalar. Hence, the above process is called a two-party protocol, which is completely information secure. Figure4表明任何身份的未知输入面图像可用于合成一个现实的面对其他的照片。
3.5。基于隐私保护的面部表情识别
每一个程序的第一步是马克的基本要求,然后相应地实现它们。3要求会见这个过程如下:要求1:不使用更复杂的公共加密系统。要求2:隐藏一个示例的客户端输入数据和服务器分割结果。要求3:隐藏服务器分类参数,客户端将不知道数据库的方法。
为了解释这一点,让我们打破传统的评估阶段分为四个步骤如下:
步骤1。找到测试图像的差别。
在哪里是一个不同的测试图像,是一个测试图像,的数据库中。
开始时,客户端不发送测试图像由于隐私问题。因此,客户端只发送的图像噪声向量,
拥有相同的大小作为测试图像。因为服务器只接收噪声向量,它接收任何信息关于测试图像向量。所以不同的噪声向量给出
然而,测试图像和噪声图像的区别仅仅是已知的。让我们代表它
步骤2。插图的下肢差异。 在哪里变换矩阵,是一个低维向量对应 。然而,服务器需要项目一个低维向量和噪声图像如下:
步骤3。欧氏距离计算。 在哪里是图像(低维)和培训欧氏距离和吗 。
步骤4。计算距离的长度匹配测试图像在已知的部分。 匹配的训练图像是用在哪里 ,但它是困难的为服务器计算最初的距离因为服务器不知道向量和测试图像。因此,为了达到匹配图像,服务器将发送所有 ,与一个随机数为每一个在哪里 现在客户端可以从上面的方程计算出实际距离 只是为了确保客户知道 ;如果服务器就知道,然后他可以计算欧几里得距离所提供的测试图像和训练图像。因此,服务器将能够找到相对应的表达与测试图像,最终它会影响隐私。
3.6。隐私分析
在这个研究的一部分,我们有兴趣知道方法容易受到任何隐私泄漏。我们的方法是基于双方的计算,因此只有单一的隐私泄漏的可能性可以双方之间的互动。证明我们的方法并不多余的信息泄漏客户机或服务器,使用Goldreich隐私定义(37]:
3.7。保护隐私的定义为双方的计算
安全不应披露协议我们使用隐藏信息给第三方(semi-honest)除了可以通过观察触发的信息输入和输出的政党。
我们的主要目的是验证提出党计算是否满足隐私的定义。在上述四个步骤,这显然是提到的客户端和服务器的输入和输出。因此,我们必须确保他们不推断其他比已知的输入和输出,该方法将确保隐私保证。
客户的最终目标是确保测试的服务器不知道形象,也保持了分类结果。另一方面,服务器必须保持分类参数从客户端。客户端只会分享最初噪声的图像,而不是分享真正的/原始图像;然而,图片的大小将保持不变。服务器就知道大小,它不会是一个隐私泄漏。作为回报,服务器也随机的欧几里得距离的帮助下获得一个随机整数。因此,信息理论安全。
4所示。结果与讨论
我们有四个最受欢迎的数据库用于填充的结果。这些数据库是CK + (38],MMI [39],Oulu-CASIA [40),英国皇家空军(23]。皇家空军用于大型构成和真实的表情,前三个没有大摆表情。所以在大检查我们的方法的鲁棒性提出了表情,我们使用英国皇家空军的数据基础。
4.1。描述的数据库
扩展Cohn-Kanade数据库是最广泛和最受欢迎的数据库用于面部表情识别。它包含593个视频序列,从60帧从中性转向其他表达式。总共有123受试者执行不同的表达式,研究对象的年龄从18到30年。123例,其中大部分都是女性。总共327个视频序列分为七个表达式。算法没有统一的核心原因/ CK +是它不提供具体的培训,验证集和测试集。
MMI数据库laboratory-controlled和2900年75例表现表情,视频序列和静态图像与高分辨率,326个视频序列的获得来自32个科目。MMI数据库不同于CK +,因为它使用发作,抵消,顶峰阶段。执行序列,中性表情的每个序列和到达高峰,然后返回到中性的表情。这个数据库非常困难的条件下,即,it takes care of large inter-personal variations; every subject is performing different nonuniform expressions while wearing glasses, mustaches, etc.
Oulu-CASIA数据库包含2880张图片从80例6表达式;它们中的大多数都是男性23至58岁。这个数据库是专门设计来解决照明问题由于环境变化。它包含两个不同的成像系统;第一个是近红外(NIR),而第二个是可见光(VIS)。有3种不同的变量照明场景:第一个是正常的室内照明;第二个是用于弱照明考虑场景,只是电脑显示器上;和第三个是所有的灯关闭,即。、黑暗的照明。
使用真实的情感面临数据库,由29672年的伟大,多样化的现实世界的面部图像。这些图片从网络下载基于众包的方法;独立40注释器被用于标识每个图像。这个数据库包含的大变化在不同对象的性别、年龄、种族、不同照明条件下,头部姿势,眼睛注视,遮挡,和后处理操作,这有助于我们验证网络通用的数据库。
4.2。实现细节
首先使用人脸检测预处理,面部图像数据增加,光照归一化图像的微调。高度不相关的数据删除为了进一步处理一个高质量的结果。具有里程碑意义的检测是用来识别面部分的关键。之后,VGG19作为骨干网络,功能的地图512×7×7后得到1日增强模块。然后,256×6×6特征图得到从2×2卷积内核的步幅价值;这些特征图谱进一步转发到主胶囊层8 d胶囊和32卷积层。有三个路由迭代,然后执行主胶囊层之间和面对胶囊层。每个表达式有16 d胶囊,所有较低的胶囊信息转发给上面的胶囊。然后3完全连接层,我们使用挤压函数进行进一步的分类。亚当优化器是用于学习速率为0.0001。 The value ofb+是0.9,b−是0.1。此外,批量大小设置为16和最大迭代设置为300。我们的整个网络培训。
在扩展Cohn-Kanade数据库中,我们采取最后一帧三张照片和考虑第一帧为数据选择一个中性的表情。受试者被分为一组,和一个10倍交叉验证。表1显示了平均准确率相对于其他现有最先进的方法。我们的映像的方法达到98.95%的最高精度序列技术从图像或视频序列中提取特征。
在MMI数据库中,我们把三张照片中间的每个序列与峰值相关联信息,开发一个数据集组成的624张照片。之后,增加的数据,然后执行分布在10套。对于实验来说,10横褶皱人独立执行验证使用第一帧,即。中性的表达,从每个额需要三峰帧序列。表2显示了在平均准确率与其他现有方法相比。
Oulu-CASIA数据库中进行训练和测试,我们使用最后三帧从每个序列。10倍交叉验证执行就像CK +基于主题,每一个褶皱与所有剩下的折叠是完全脱节的。表3显示了平均准确率,超越所有的新方法。达到的最高精度91.2%。
就像英国皇家空军数据库中的其他数据库一样,我们执行一个10倍交叉验证。表4显示我们的方法在英国皇家空军的平均准确率数据库。我们第一次获得了真正的阳性,假阳性,真正的底片,在10折叠和假阴性,然后我们计算了F1的分数和精密的每个类。图5(一个)显示了每个类的精度和图5 (b)显示了每个类的F1分数下面的数据库。
(一)
(b)
4.3。对验证的威胁
有几个因素可以提高面部表情识别的鲁棒性。验证我们的方法时,有一些限制现有的公开可用的新数据库。表达式的识别与一个封闭的嘴不准确与表达式以开放的嘴。考虑到协议的面部表情的脸的角度,我们注意到从正面感知觉醒的脸多面角与转变。幸福,厌恶闭着嘴,和惊喜仍未受影响的脸转身就走。此外,附近的有效价额表达更完整的左侧配置文件,而不是完整的右边。正是因为这个原因,左边hemiface观察比正确的hemiface自发的反应。面部表情分析可以增强面部运动信息如果图像是微妙的或退化。动态中性表情的闪烁的眼睛或咀嚼也是一个威胁。此外,停留时间也是一个关键因素; it takes more time over eyes than the mouth. However, the dwell time over the mouth of happy expression is relatively high. With an increase in the intensity, it can also be noticed that the accuracy is also increased, whereas the dwell time and round trip is decreased. Overall, the response time of females is faster than males even in a low-intensity environment. In the end, it was also concluded that the dwell time of the female eye is more than that of the male.
5。结论
在本文中,我们引入了先进的架构,是健壮的和有效的。个面部图像预处理使用不同的技术来对抗过度的问题背景,限制的数据,不同的照明,pose-variation和闭塞。面部图像进行了微调,然后转发到双重增强胶囊能够处理网络空间的转换。它使用行动单位注意机制,这有助于定位活跃的地区,可以帮助更好的面部表情识别。特征表征能力增强是由于多重卷积层和它有助于捕捉关键信息出现在脸的特定结构。我们进行隐私保护与随机化技术的帮助下,添加少计算昂贵的好处。它还执行不可信的双方之间的安全通信。
不同的数据库在不同条件下有不同的图片。因此,类不平衡发生由于表达不一致的注释。所以价格敏感层可以增强训练神经网络。与此同时,一个强大的、深层神经网络可以有先验知识的当地环境的变化,可以预测特定参数和固有的处理和恢复面部遮挡没有任何干预。此外,改进的健壮性带,它可以与其他模型融合。公司与其他形式如深度信息从三维人脸模型,神经科学,认知科学,红外图像和生理数据可以是一个很好的未来的研究方向。
数据可用性
所有的数据都包含在这篇文章。
的利益冲突
作者宣称没有利益冲突。