文摘
深层神经网络(款)已经在许多领域广泛采用,他们极大地促进互联网的健康的东西(IoHT)系统由矿业与健康有关的信息。然而,最近的研究表明所带来的严重威胁DNN-based系统对抗的袭击,这引起了广泛的关注。攻击者恶意工艺敌对的例子(AEs)和混合成正常的例子(NEs)愚弄款模型,这严重影响IoHT系统的分析结果。文本数据是一种常见的形式在这样的系统中,如病人的病历和处方,我们研究款的安全问题进行结构分析。识别和纠正AEs在离散的文本表示形式极具挑战性,可用的检测技术仍然有限的性能和普遍性,尤其是IoHT系统。在本文中,我们提出一个有效的和structure-free敌对的检测方法,检测AEs即使在attack-unknown和model-agnostic环境。我们表明,敏感性不一致AEs和NEs之间盛行,导致他们有不同的反应,当重要的词在文本中摄动。这一发现促使我们设计一个敌对的探测器基于敌对的特性,提取基于敏感度不一致。structure-free自该检测器,它可以直接部署在现成的应用程序无需修改目标模型。最先进的检测方法相比,我们的方法提高了敌对的检测性能,敌对的召回和一个99.7%F1-score高达97.8%。此外,大量的实验表明,我们的方法达到优越的普遍性,因为它可以跨不同的攻击者,广义模型和任务。
1。介绍
最近,深层神经网络(款)的快速发展导致了DNN-based模型被应用在物联网在许多场景中,如智能交通(1,2),智能医疗3)、社交网络(4),和信息加密(5,6]。同时,攻击的快速扩散DNN-based模型提出了更大的安全问题(7]。其中,对手的攻击,这是小说和强大,对模型性能造成不良影响。在本文中,我们研究健康的互联网安全问题(IoHT)系统对对手的攻击。作为文本数据是IoHT系统中普遍采用的形式,如病人的基本信息、病历和处方,我们关注的是可能存在的安全问题,在这样DNN-based文本分析模型。
作为文本对抗攻击存在于各种形式和实现离散扰动,这是一个艰巨的挑战来抵御这类攻击DNN-based IoHT系统。提出了对对手的攻击防御方法来解决这一挑战。当前的方法主要集中在对抗训练(8,9和敌对的数据增加10,11),通常需要再培训目标模型和大量的先验知识的攻击。另一种类型的防御方法是输入重建(12,13),可以直接部署到修改的目标模型,但伤害了准确性。相比之下,敌对的检测是一个更直接的防御策略,只有检测到敌对的例子(AEs)没有纠正他们(14- - - - - -16]。在实际应用程序中,这种策略有一个高价值的威胁,因为它提醒输入然后拒绝或提交给其他处理,而不是期待目标模型给模棱两可的和不可靠的输出。显然,敌对的检测更合适IoHT系统由于硬件限制。不幸的是,很少被注意检测、和可用的检测技术仍然有限的性能和普遍性。
在这项工作中,我们专注于敌对的检测。本研究的目的是改善检测性能和普遍性。基于敏感度不一致扰动,我们采用对抗的特点,从转变中提取的预测标签和概率分布的相似性,来训练一个检测器。该方法是有效和high-transferable能赶上AEs即使在attack-unknown和model-agnostic的情形。
我们理解的区别AEs和正常的例子(NEs)在几何方面的翻译。一个敌对的例子可以被看作是一个正常的例子沿着敌对的方向改变。几何,敌对的方向通常指向区域边界的决定是高度弯曲(17]。与此同时,一项研究指出,AEs容易导致不同的分类造成的波动高度弯曲的区域在图像域(18]。考虑攻击的目标,决定边界周围的对抗性的例子分布集中,以确保修改低,无法感知。因此,我们指向一个共同的现象:boundary-sensitive AEs。如果我们扰乱敏感AEs的一部分,它非常容易跨越边界的决定。我们认为重要的单词(手册),对决定敏感部分作出了重大贡献。如图1的技术手册,如果我们故意扰乱例子,AEs容易导致目标模型进行不同的预测,而新经济学院与原来保持一致的行为。
证实这一猜想,我们扰乱中最重要的词一组AEs和红白机分别说明模型的预测图的变化2。结果显示,在NEs,扰动最重要的词导致转移概率值,但没有穿过边界的决定。然而,在AEs,同样的扰动导致预测标签变更在大多数例子。此外,结果表明,尽管NEs变化的预测标签,概率是接近阈值决定。它表明在NEs,概率分布将Softmax层技术手册前后近摄动比AEs。
这初步工作激励我们设计一个检测器训练对抗特性提取perturbation-sensitive NEs和AEs之间的不一致性。我们得出这样的结论:敏感NEs之间的不一致性和AEs体现在两个部分:(1)预测标签是否改变后微扰技术手册;和(2)的不一致程度的扰动前后变化的概率分布。我们结合敏感不一致的两个点作为最终敌对的特性。我们的主要贡献可以概括如下:(1)我们提出一个敌对的特征提取方法,命名敏感不一致的特性(SIF)。SIF是NEs从普遍获得差异和AEs,它可以推广到不同的攻击场景,即使他们从来没有。(2)我们实现使用SIF的对抗性的检测方法和机器学习机制,名叫SIF检测器(SIFD)。实验表明我们的检测召回率是最高的99.7%,和F1-score IMDB是97.8%,证明其优越性在当前先进的方法。(3)我们现在SIFD展品可转移性的能力。在最具挑战性的环境中(即。,all of the configurations in the learning and detection phases are inconsistent), theF1-score和召回率保持在85%以上。所有的代码复制我们的实验结果是开放源码的https://github.com/AuroraHuan/SIFD-adversrial-detection我们希望他们未来的研究提供便利。
本文的其余部分组织如下:部分2综述了现有研究敌对的攻击和防御。部分3描述了该检测方法,SIFD。实验细节,结果,分析给出了部分4。最后,深入讨论和结论部分5和6。
2。相关工作
本节简要讨论敌对的攻击和防御。作为近年来的一个研究热点,已经有很多工作在对手的攻击。我们关注word-substitution攻击,得到了更多的关注,因为他们有更好的表现在语义保存和语义的正确性。与其他类别的攻击相比,更好的平衡侵略性和concealability word-substitution攻击。如第一部分中所述,我们对抗的防御系统划分为三个类别,并在本节中,我们特别注意对手的检测,这是对我们的研究最相关。
2.1。对手的攻击
给定一个文本 ,攻击者增加了听不清微扰来生成对抗的例子 ,旨在使pre-trained模型分类,在扰动包括添加、删除和替换字符或单词。
2.1.1。Gradient-Based攻击
图像编码数值向量,所产生的扰动梯度信号方法很容易转换成对应的图像(19- - - - - -22]。然而,这些方法并不符合文本域,因为自然不连续性的文本。基于为NLP的任务,因此,梯度方法通常与启发式算法相结合来产生敌对的例子,包括利用梯度的价值来确定重要的词(23),句子(24),或摄动替换的排名20.,25]。
2.1.2。在意的攻击
在这一类,攻击者可以获得每个标签的分类的信心。常见的攻击过程包括两个步骤:(1)得分的话根据信心和降序排序;和(2)扰乱顺序排序的单词直到攻击成功或停止当它到达微扰限制。贪婪搜索策略被广泛用于寻找最优置换在在意的攻击10,11,26- - - - - -28]。此外,遗传算法和bean搜索也是常见的搜索策略(29日,30.]。
2.1.3。决定攻击
最具挑战性的攻击场景是当攻击者只可以访问目标模型的预测标签。在这种情况下,攻击者通常会生成一个弱对抗的例子中,紧随其后的是优化它,直到它生成一个强大AE最类似于原始文本(31日,32]。
2.2。对抗的防御
2.2.1。鲁棒性增强
Gradient-based对抗的训练是在视觉领域广泛用于国防(19,21满意效果,而在自然语言领域是有效地提高模型的精度和泛化(8,33),但收益疲软敌对的鲁棒性。因此,虚拟对抗的训练是广泛用于文本敌对的鲁棒性(9,34,35]。此外,敌对的数据增加(10,27,36和虚拟对手的数据增加37也有效地提高模型的对抗性的鲁棒性,但这种方法很容易降低模型的准确性。朱et al。38)提出了一个基于友好的数据扩充和梯度敌对的培训,以提高模型的对抗性的鲁棒性,同时保持其准确性。
2.2.2。输入重建
离散的文本转换成嵌入向量输入到模型之前,很多利用reencoding抵御拼写错误攻击防御方法(36)和同义词攻击(39]。此外,文本级别重建方法(12,13)被用来抵御word-substitution攻击。其中,除了方法(13),其余的为特定的攻击并不是可归纳的方法是有效的。
2.2.3。敌对的检测
不同于上述两种类型的防御方法,对抗只检测报告异常没有纠正他们。虽然检测在图像域(使用17,40,41),有稀缺的研究文本对抗的学习。周et al。14]训练扰动检测器来检测潜在的扰动和嵌入估计恢复扰动基于伯特模型(42),但由特别训练AEs很难概括和伯特模型的训练耗时。丹尼莫泽什长达et al。15)提出了通过一个简单而有效的检测AEs feature-word频率,但这种方法只适用于也能进行攻击。莫斯卡等。16]训练logit-based敌对的探测器,取得了迄今为止最好的检测结果文本分类。
3所示。方法
3.1。概述SIFD
关注对手的检测,我们的想法的核心是提取的对抗性的特点和训练检测器基于这些特性,和整体流程如图3。背后的直觉方法尽管AEs和NEs极其相似的语义和视觉效果,重要的字是摄动时他们的反应不一致,即。,目标模型与AEs和NEs产出急剧变化。该方法分为三个步骤:首先,我们检查预测标签是否有改变,其标记为一个标签不一致( 在图3);然后我们计算的概率分布的相似性将Softmax层( 在图3);最后,我们结合特性和训练一个检测器。
3.2。敏感性的特点不一致
对于一个给定的输入文本 ,包括单词和目标模型 ,提取的过程特性如算法1所示,包括三个主要步骤:(1)排名词和提取技术手册。我们设计一个重要性评分函数对文本中的词,选择指定数量的技术手册参与后续的特征提取。(2)标记这个词敏感信号。我们为技术手册定义敏感词汇的概念,并将不同的值分配给敏感和非敏感词。(3)计算相似度的概率分布的扰动前后技术手册。详细说明在分段的三个步骤3.2。1,3.2。2,3.2。3,分别。
|
3.2.1之上。排名词的重要性
对于攻击者来说,不管变化意味着生成AEs,终极目标是相同的:减少修改率和最大化之间的语义相似性AEs和相应的NEs,被定义为基本条件的满足了敌对的例子。为了实现这些目标,攻击者通常选择重要单词和扰乱他们,而不是进行毫无意义的修改一些不重要的词。因此,重要的字是强大的信号之间的差异AEs和NEs,也因此成为敌对的检测最重要的特性。
重要的词贡献的预测所以把它从后预测概率的变化显著 。我们表示一个词的贡献来在模型通过 通常表示为 在哪里是文本移除 , 的概率值是去上课 , 是预测类的根据目标模型 ,和是预测类的 。
然而,在很长一段文字由多个句子,这是耗时的,因为它需要处理提出计算 ,在哪里很大。我们的目标是提高处理的效率。后研究[19,23),我们使用梯度大小估算预测每个单词的贡献。梯度下降的方向是优化信号协助模型获得的最小损失在训练阶段;因此,这个词的方向接近梯度更有助于预测 。根据这个,我们测量的重要性的话只有调查 。具体来说,我们利用数量积表示之间的角度和梯度 ,这是计算的 在哪里的嵌入 , 嵌入维数,的损失函数是 。
排名后所有的单词由方程(2),我们进一步过滤阻止的话NLTK (https://ww.nltk.org/)和宽大的(https://spcay.io/)库。此外,我们使用NLTK过滤词类,只保留动词、副词、形容词、名词、及其派生的表情,NLTK的16个词汇属性相对应。最后,我们选择最重要词作为特征的文本来源为后续的特征提取,即表示 。
3.2.2。标记敏感信号
AEs和微扰技术手册NEs的反应不同。AEs非常容易变化的预测标签由于边界AEs的敏感性。相比之下,NEs在每个类的概率变化,但最终预测标签保持相对稳定,这是类似于部分失真图像的原则而不影响模型的决定(40]。基于反应不一致,我们提出一个方法来定义输入的灵敏度 :每个单词的 ,我们获得预测类之前和之后删除这个词,然后我们定义这个词有不同的预测类的敏感词,作为一个非敏感词,反之亦然。更准确地说,删除操作显示原词的替换为<面具> pretrained模型如伯特和罗伯塔和< unk >传统款模型如LSTM和CNN。此外,基于敏感词汇的信号作为文本的测量灵敏度 ,表示为 ,这是正式的 在哪里 是word-sensitive信号,计算
3.2.3。Softmax层的分布差异
是不够单独依靠敏感信号区分AEs和Nes,离散信号很容易导致错误地回忆起许多Nes AEs。此外,这个错误是在短的长度更明确的文字因为技术手册在NEs对扰动很敏感。为了解决这个问题,我们使用不一致的概率分布的变化(即。,大量的信心预测的所有类)的另一个功能就是将Softmax层。它表示一个更微妙的AEs和NEs的区别。因此,我们使用Jensen-Shannon分歧(JSD)来计算这个特性,表示为 在哪里是将Softmax输出和 和是Kullback-Leibler发散,公式是什么
每个单词的 ,我们计算JSD值根据方程(5)和使用这些值作为分布方差的特性 ,表示为
3.3。训练检测器
3.3.1。提取的特征
最后输入功能是通过结合敏感性标志 和JSD值
因此,敌对的检测器的输入特性是一组连续向量的大小 ,标签是二进制,0为AEs NEs和1。在训练阶段,我们将数据划分为训练集和测试集的比率8:2。在测试阶段,通过查询目标模型计算输入功能 次了。在[工作相比16),这就需要查询,我们节省时间成本在特征提取和考虑更多的特性。在分段5.2,结合特性的优点是证明了烧蚀实验。
3.3.2。探测器的设计
莫斯卡后et al。16),我们不修复检测器结构,和我们训练多个机器学习模型并评估其影响。值得注意的是,我们的方法不依赖于一个特定的模型或一个特定的分类任务,即。,the detector can be deployed as a plug-and-play add-on to the target model to improve robustness. Moreover, although our detection method depends on the adversarial corpus, it is not limited to a specific attack method because the adversarial feature extraction method we design is based on the generic characteristics of AEs. Our proposed adversarial detection method is generalizable, which manifests in model agnostic, attack transportability, and data compatibility. In Subsection4.4,我们进行一个全面的概括性的分析方法。
4所示。实验
4.1。实验设置
以下4.4.1。数据集和任务
我们采用三种流行的分类基准数据集实验:互联网从IMDB影评43),新闻文章从AG)的新闻在网上44],Yelp数据集的挑战与极性标签(44]。为他们所有的人都没有一个标准的分裂火车/ dev /测试,我们将原始训练集划分为训练集和发展集的比例大约9:1。他们的统计数据如表所示1。
4.1.2。模型
我们采用四款模型,实现先进的文本分类性能:伯特(42),罗伯塔(45],CNN [46],LSTM [47]。具体来说,我们使用pretrained伯特与12变压器模型和罗伯塔模型层,12 self-attention正面,和一个隐藏的大小为768。我们将辍学10 0.1和时代,并调整他们的批处理大小为64 AG)的新闻和32人。CNN模型包含三个卷积滤波器尺寸的3层,4和5。LSTM模型128双向层和隐藏的单位。输入初始化是嵌入到300 -维pretrained字嵌入的手套(48)(https://github.com/stanfordnlp/GloVeLSTM和CNN。和批处理大小是256,时代的数量是20,CNN和LSTM辍学率是0.1。
4.1.3。攻击方法
我们雇佣四个完善的攻击方法:PWWS [26],TextFooler [10,28),英国宇航系统公司(27]。PWWS和TextFooler强大基线自然语言攻击基于黑箱集用同义词替换并产生扰动;Deepwordbug工艺品可视相似性对抗的例子数量小的拼写错误;和BAE生成语义自然AEs利用伯特掩盖了语言模型。为了确保一致性的攻击,我们研究后的重要参数(8,38]。这个词修改率0.2 0.1 AG)的新闻和他人,根据不同数据集的文本长度,和最低的门槛相似性AEs和NEs是0.84,确保AEs的合理性。
4.1.4。检测基线
我们比较方法SIFD与另外两个最先进的检测方法FGWS [15)和世界发展报告》(16)在不同数据集的组合设置,模型和攻击。FGWS,我们遵循原始论文的所有检测设置和确定关键参数,阈值 ,这是信心的最小值为AE识别差异。IMDB数据集,我们使用默认的阈值在源代码中(https://github.com/maximilianmozes/fgws);AG)的新闻,指的是调优方法和标准在原来的纸,我们选择 最好的真阳性率不超过10%的前提下NEs评判AEs。鉴于我们的方法和WRD detector-based,我们使用一个过程类似于SIFD WRD训练和测试。wrs探测器XGBoost[的架构49),参数设置是一样的原始论文。
4.1.5。评估标准
我们雇佣了几个性能标准来评估检测。我们将AEs作为正面例子(P)和学院作为消极的例子(N)检测。因此,表示数量的P预测P,表示数量的N预测P,表示数量的N预测,N,表示数量的P预测,N。标准的实验如下:
4.2。探测器结构选择
我们利用多个机器学习模型的候选架构探测器和比较他们的表演选择模型的最优检测性能后续实验。具体来说,我们使用伯特作为目标模型和调整在IMDB和AG)的新闻,然后1500年对抗的例子由TextFooler IMDB和PWWS AG)的新闻,分别。我们从这些AEs和相应的NEs提取特征,然后把训练,验证集和测试集的比例8:1:1。最后,我们训练和测试五个分类器模型,包括随机森林(50],XGBoost [49],LightGBM [51),支持向量机(52),和演算法53]。
如表所示2,所有的模型实现竞争力的检测性能,提供了所有的设置是相同的。其中,XGBoost表现略好,所以我们选择它作为探测器架构在随后的实验。XGBoost的主要参数包括:最大深度是3,学习速率为0.2,γ是0.6,披露和其他设置在我们的开源代码。
4.3。检测性能比较和分析
我们比较SIFD有两个先进的检测技术。更具体地说,我们训练和测试探测器的4.2节中在相同的过程,和nontrained FGWS,我们测试的性能调优参数设置。虽然每次随机抽样选择导致不同的例子,三种检测方法比较他们的性能在每个配置相同的例子。Deepwordbug是字符级攻击和FGWS检测只是设计也能进行攻击,我们不执行FGWS检测对抗Deepwordbug生成的例子。
如表3礼物,我们提出的方法优于基线方法在21个配置(配置总共24日)。甚至更糟的是3配置,我们的方法的效果接近最优方法。另外,我们观察到的影响IMDB上的所有检测方法总是比那些AG)的新闻。为了进一步澄清这一现象的原因,我们在分段进行更详细的分析5.3。
4.4。可转移性评价
探测器的可转移性是一个非常重要的指标,作为数据和模型在现实世界的防御阶段是不可预知的和高度可能不符合他们的训练阶段。在本节内,不同的部分4.2和4.3我们随机抽样1000条短信(500 AEs和500 NEs)来测试每个配置模型的检测能力。
我们第一次测试的可转让性探测器在各种攻击。具体地说,我们首先训练检测器和一个攻击,然后测试生成的AEs的能力检测生成的AEs其他攻击。检测效果相同的设置的培训和测试阶段被视为基线,叫做默认效果,和对应的行””标志位于表4。
从表中我们可以看出4,我们的方法总是表现良好在迁移到另一个从一个攻击。F1-score和敌对的召回率不同于默认效果最多不超过 ,和总是甚至有时比默认的效果。
此外,我们测试不同型号的可转让性。如表所示5LSTM和伯特表现出显著的可转让性,但CNN的性能相对较弱。我们给一个可能的解释这一现象。我们猜想,训练有素的CNN的决策边界更弯曲,凸区域是陡相比其他两个模型。因此,很大程度上取决与概率分布对应的NEs AEs。因此,这些AEs的探测器学习特性明显区分并获得良好的检测性能,但他们很难侦测到更具挑战性的AEs生成的其他模型。另外,我们观察到各种攻击方法的攻击的成功率与CNN模型比其他人高,和探测器基于CNN的对抗性的查全率较高,这是符合我们的猜想。
此外,我们认为最具挑战性的情况是一个所有设置在检测阶段不同于那些在训练阶段。我们选择探测器由IMDB训练+伯特+ TextFooler分段4.3作为基线检测器和测试它在两个数据集,两个模型,三种攻击方法。我们训练有素的探测器IMDB +伯特+ TextFooler与不一致的数据集和测试其检测性能,模型,和攻击方法;结果显示在桌子左边的括号6。如表6所示,上面的两个指标的得分设置的各种组合。值得注意的是,在一些设置(大胆的表6),检测效果比默认效果(括号中的值在表6),需要进一步探索。
5。定性结果与讨论
5.1。影响重要的单词
我们选择最重要的字来表示输入文本特征提取。在本节中,我们研究不同的价值的影响在检测的效果。如图4IMDB,回忆和F1-score居高不下, ,然后下降;AG)的新闻,分数达到最高点 。结果表明,最好的值是不同的文本,与文本的长度,和我们建议的范围 和的长度是文本。
5.2。特性的影响
我们考虑选择的影响技术手册、灵敏度信号标志和概率分布差异对最终的检测性能。我们使用TextFooler +伯特的不变量设置实验来测试检测有效性AG)的新闻和IMDB具有不同特性的选择。表7显示了烧蚀实验,结果证明敏感信号和Softmax分布不一致是有效的作为独立的信号。然而,最好的结果是通过结合。单独个体敏感性标志,不适用于短的文本;相比之下,Jensen-Shannon散度计算Softmax分布差异中发挥更大的影响力。此外,最高的选择技术手册,从而提高检测性能 。
5.3。数据集的影响
考虑到探测器的能力不一致对准IMDB和AG)的新闻,我们进一步探讨这种差异的关键因素。文本的长度和类的数量是两个因素被认为是。除了三个小节中提到的数据集4.1作为参考,我们添加SST-2数据集实验和分裂5000样本训练集作为测试集,使用四个数据集和两个基线设置,我们报告的结果表8。
我们观察一个微不足道的差异检测性能由类的数量,但是数据长度问题检测性能很多。我们给一个可能的解释这一现象。在短的长度文本与少量的单词,每个单词扮演更重要的角色作为信息丢失的文本有一个小的公差。因此,扰乱每个单词在NEs影响较高的波动,因此区分AEs和NEs变得更具挑战性。
5.4。挑战和局限性
我们建议AEs的普遍特征:敏感度不一致重要单词被摄动。然而,各种例子反应仍然存在扰动在不同的数据集和任务。我们承认,短的长度文本的检测效果有所减弱。我们认为福勒特性有利于进一步提高探测器的性能。
在预测技术手册中扮演着重要的角色,所以攻击者利用工艺AEs,这是一个常见的攻击模式。虽然从技术手册识别AEs SIFD含有丰富的信息,其检测性能将严重限制如果更强的攻击方法打破这种模式在未来。旨在摆脱这种猫捉老鼠的游戏,我们未来的工作包括探索可确认的防御方法,正式的担保。
SIFD,该方法不仅可以作为检测插件来帮助目标模型也与他人相结合。理论上,SIFD激励的一般性与鲁棒性结合培训,共同提高对抗从内部和外部的模型的鲁棒性。在进一步的研究中,我们将探索更多的应用潜力的检测对对手的攻击。
6。结论
我们提出一个名为SIFD基于灵敏度的对抗性的检测方法不一致特征(SIF)对微扰重要的词,含有丰富的信息识别AEs DNN-based IoHT系统。不同于以前的方法,确定了特征检测的整个文本,我们只关注最重要的部分,它的主要特点是文本,并取得更好的信号。该方法有效地提高了敌对的健壮性的DNN-based IoHT系统分析文本数据。
我们评估SIFD敌对的先进检测方法对四种攻击方法(包括字符级和句攻击),结果显示我们的方法的优越性,目前检测技术。此外,通过一系列的烧蚀实验中,我们揭示了SIFD非凡的可转让性和分析每个局部SIF机制的重要性。
数据可用性
所有的代码和数据集复制我们的实验结果是开放源码的https://github.com/AuroraHuan/SIFD-adversrial-detection,我们希望他们未来的研究提供便利。
附加分
我们确认这个提交是在不考虑任何其他杂志,没有被发表在其他地方,而不是目前正在考虑另一个杂志。
的利益冲突
作者宣称没有利益冲突。
作者的贡献
张洹,Zhaoquan顾,穆罕默德•沙菲克负责概念化;张洹,本·朱、郝Tan和穆罕默德沙菲克的方法;张洹,Zhaoquan顾,郝Tan负责软件;张洹负责准备初稿;Zhaoquan古勒王,本·朱负责编写评审和编辑;Zhaoquan顾负责资金收购;默罕默德王沙菲克和处理项目管理;乐王,穆罕默德•沙菲克和Zhaoquan顾监督这项研究。
确认
这项工作是支持的PCL的主要关键项目(批准号PCL2022A03),中国的自然科学基金(批准号61902082)、广州科技计划项目(批准号202102010507),中国国家自然科学基金(批准号62250410365)。