ACNNT3:预测基于序列的细菌III型分泌效应的注意- cnn框架

摘要

III型分泌系统（T3S）是革兰氏阴性细菌的特殊蛋白质递送系统，其将T3S分泌的效应器（T3SE）提供给宿主细胞导致病理变化。许多实验已经证实，T3SE在许多生物活性和宿主病原体相互作用中起重要作用。因此，准确识别T3SES对于有助于理解细菌的致病机制是必不可少的;然而，许多现有的生物实验方法是耗时和昂贵的。最近已经成功地应用于T3SE识别的新深度学习方法，但提高T3SES的识别准确性仍然是一项挑战。在这项研究中，我们根据注意机制开发了一个新的深度学习框架ACNNT3。我们将蛋白质序列的N-末端的100个残基转化为蛋白质初级结构信息（单热编码）和位置特定评分矩阵（PSSM）的融合特征载体（PSSM）被用作网络模型的特征输入。然后，我们将注意层嵌入CNN以学习III型效应蛋白的特征偏好，其可以直接将任何蛋白质准确地分类为T3SE或非T3SES。我们发现，新蛋白质特征的引入可以提高模型的识别准确性。我们的方法结合了CNN和注意机制的优点，与其他流行方法相比，许多指标优越。 Using the common independent dataset, our method is more accurate than the previous method, showing an improvement of 4.1-20.0%.

1.介绍

革兰氏阴性菌可以通过多种分泌系统将蛋白质分泌到宿主细胞中，从而影响细胞及其外部环境。这一过程可由多种分泌系统介导，可分为8类:I - VIII型分泌系统(T1SS-T8SS) [1.］.I型和III分泌系统与信号序列（秒）无关，而II型和IV依赖于信号序列。由秒依赖性分泌系统分泌的蛋白质具有主要由N-末端疏水氨基酸组成的信号肽序列，其可以通过细胞膜引导蛋白质。当蛋白质达到周质时，将信号肽切断。II型和IV分泌系统在周质中除去分泌蛋白的N-末端部分。系统之间的差异是蛋白质以不同方式通过外膜。当II型分泌系统分泌的蛋白质通过外膜时，需要一组另外的内膜和外膜蛋白，而IV型分泌系统包括一系列自输电运动员，其在外膜中形成孔。使蛋白质通过，自溶解切割，然后释放蛋白质。I型也不是III分泌系统的过程处理分泌蛋白的末端氨基酸，也不看出，分泌的蛋白质似乎保持在周质中。由I型分泌系统分泌的蛋白质的分泌信号位于来自蛋白质的C末端的约60个氨基酸。 This secretory signal appears to be subfamily specific, and the secreted proteins are not easily cut by proteolytic enzymes. The type V secretion system is related to the secretion of macromolecular proteins and may also be sec-dependent.

III型分泌系统是由多组分蛋白质复合物形成的跨膜通道，该蛋白质复合物在许多革兰氏阴性细菌中被广泛编码，包括大肠杆菌，志贺氏菌，yersinia，沙门氏菌和假单胞菌[2.,3.］.它可以改变信号转导[4.]和先天免疫反应[5.通过分泌蛋白质或将这些有毒蛋白质直接注入宿主细胞。III型分泌系统(T3SSs)被广泛研究，因为它们对各种人类病原体的毒性至关重要。预测T3SEs的体内和体外方法有很多，其中一些方法预测效果较好，但实验复杂、耗时长。

一些机器学习方法已经成功地用于预测T3SE，如Naïve Bayes（NB）[6.]，人工神经网络（ANN）[7.]、支持向量机[8.,9]，随机森林(RF) [10］.The disadvantage of these machine-learning methods is that features must be defined in advance, the appropriate selection of features will affect the prediction accuracy, and the flexibility of model change or update is limited [11]. 最近提出了许多深度学习方法，如LSTM[12], ResNet [13], DenseNet [14]，和VGG16[15]这些方法也可用于生物信息学和其他相关领域[16,17]. 深度学习法[11]仅使用单热编码作为模型特征输入，训练了深度CNN，在准确性方面取得了良好的预测结果。由于仅输入一个特征，CNN在提取序列特征时不能很好地连接序列上下文，因此可以改进该方法用于预测T3SEs。

注意机制近年来在神经网络中越来越流行，因为它可以对输入特征进行权衡，以衡量每个特征对物体识别的重要性。它已广泛应用于文本和图像分类[18,19]，机器翻译[20.]和生物信息学[21］.在本研究中，我们提出了一种基于Attention-CNN的n端序列预测T3SEs的方法。我们的模型从n端序列的100个残基中提取one-hot和PSSM的特征，并融合它们作为特征输入。模型中的注意层可以很好地连接序列的前后，CNN模块可以很好地提取序列的特征。我们将这两个模块结合起来，使整个框架最大限度地学习序列的特征。结果表明，该方法对T3SEs的预测是有效的;该方法不仅能准确地捕获蛋白质转运靶信息，而且比现有方法具有更好的性能。

2.材料和方法

2．1.数据集

我们从Yang等人之前的研究中收集了被称为T3SEs和非T3SEs的多种细菌的全面数据集。[10]，王等人[22， Tay等[23]. CD-HIT[24使用30％的序列同一性截止值用于序列比对，以除去具有高相似性的蛋白质，并且通过跳过具有少于100个氨基酸的蛋白质，我们获得了含有283 T3蛋白和311个非T3蛋白的平衡数据集。

通过选择革兰氏阴性菌I - VIII型分泌蛋白，去除III型分泌蛋白及其同源物，建立阴性样本集。以确定正负的比例为1:3 [11]，我们从Dong等人之前的工作中随机抽取阴性样本[8.]，剔除相似性高的蛋白序列，共835份阴性样本。

有两个测试集用于评估我们的方法。Li等人收集的独立数据集[11包含35个III型效应器和86个非III型效应器。另一个测试数据集来自植物病原体P丁香. Baltrus等人收集了85个III型效应器和14个非III型效应器，这些效应器未包含在所有模型中[25］.

目前，大多数工具基于蛋白质的全序列信息或仅基于100个c端残基[26］.在之前的研究中，n端残基也被证明为蛋白质运输提供了靶向信息[27–29]，而T3SEs的靶信息通常位于不同细菌的50-100 n端残基中[30.,31］.因此，我们在接下来的计算中只使用了n端序列。

2.2。特征提取

我们模型的特征输入是单热编码和蛋白质的PSSM的组合。将每个序列转换为具有100行和20列的一个热矩阵，并且具有100行和20列的PSSM矩阵，其集成到具有200行和20列的组合矩阵作为特征输入。单热基质中的20柱对应于20个氨基酸。单热编码解决了分类器的问题，而无需有效地处理属性数据，并在一定程度上扩展功能。然而，与PSSM相比，一热编码对蛋白质特征提取较弱。这里，PSSM的引入使网络模型能够更好地学习蛋白质的特征偏​​好，因为PSSM特征考虑蛋白质中每个氨基酸的位置重量，数量和其他参数。PSSM还考虑进化信息，因此即使相同的残留物也可能产生不同的特征，并且可以有效地从氨基酸序列中提取信息。我们使用PSI-BLAST [32]从Uniprotkb / swiss-prot的搜索数据库[33]获得目标蛋白的PSSM。矩阵是一个 矩阵,表示靶蛋白氨基酸序列中残留物的总数。同时，我们使用1,2,3，......，20表示有序的20个基础氨基酸的个体特征，并获得相应的列数。总之，表示目的蛋白氨基酸序列的位置编码为碱性氨基酸在进化过程中。

２.３.注意力- cnn模型概述

传统的CNN模型包括卷积层、池化层和全连接层，可以用来提取蛋白质的序列特征。然而，蛋白质的序列更像是由氨基酸组成的一段文本，因为当一个氨基酸可能与周围或更远的氨基酸相关时，仅仅利用CNN机制提取这些特征是不够的。我们还需要考虑蛋白质序列前后的信息以及不连续氨基酸之间的相关性。直观上，一个氨基酸或者一段氨基酸可能会对蛋白质序列产生很大的影响，所以我们可以给这个或者这部分氨基酸设置更高的权重，从而将注意力层引入到网络中。

Attention是一种基于编码-解码的网络结构模型层，在机器翻译、图片描述、语音识别等诸多领域，与其他传统模型相比，它取得了令人满意的预测结果。这种注意机制的实现保留了LSTM编码器输入序列的中间输出结果，然后训练一个模型有选择地学习这些输入，并在模型输出时将输出序列与它们关联起来。

我们在卷积和池图层后并行地添加了关注和完整的连接层，使模型不仅可以利用注意力的机制学习序列的前后特征，还可以使用CNN功能的优势萃取。

我们的框架ACNNT3首先使用多个卷积和池化层自动学习蛋白质序列特征，然后将输出的特征向量作为注意层的输入，计算神经网络是否关注该位置的序列特征的得分。我们将卷积和池化后的输出定义为一个矩阵 ,在哪里是卷积内核的数量，是序列池后的整个位置，以及列特征映射矩阵的可以看作是一个特征向量(用 )． 是用于进一步平均要素映射矩阵列的归一化重要性分数 ．通过注意网络输出的密集矩阵为 ,即。， 在哪里网络共享的重要性评分是多少为相关标准化分数。

为了整合卷积池处理后的特征和注意层输出的特征，我们首先将所有的值连接起来然后将它们线性投影到一个值，这个值代表整个序列的贡献，用 ,然后我们把它和稠密表示连接起来并将其输入到逻辑回归分类器以获得预测分数，即， 在哪里表示集成序列中的一个位置。 在哪里 , , , , ,和分别表示一个hot和PSSM编码、卷积、最大池、串联、密集连接和sigmoid操作的统一。同时，对于一个特定的序列，我们还可以输出一个权重向量，即：。，

该公式用于表示模型对输入序列每个位置的关注。

2.4。模型培训

ACNNT3由一系列模块组成，利用蛋白质n端100个氨基酸的融合特征作为输入预测T3SEs(图)1.)．ACNNT3模型由卷积层、池化层、注意层和全连接层组成。我们使用交叉验证来训练模型，提高泛化能力。损失函数使用二元交叉熵损失函数，优化器使用Adam算法。在图2.，给出了独立数据集在不同时期和不同批次下的精度比较。由于数据集不是很大，所以将训练epoch的个数设置为50，交叉验证集中的最佳批处理值为10，作为最优设置。

2．5．绩效评估

我们使用5倍交叉验证来估计我们的模型的分类性能。即，我们重复这个过程5次，并记录每一次的训练参数和平均性能参数。两类分类常用的评价指标有precision (PRE)、sensitivity (SN)、specificity (SP)、F1 score、accuracy (ACC)、Matthew’s correlation coefficient (MCC): 在哪里 , , ,和代表真正的正，真正的阴性，假阳性和假阴性蛋白质数据集的数量。

ROC曲线是真正的正面和假阳性率之间的关系，用于测量不同方法的综合性能。ROC曲线（AUC）下的区域通常用作诊断准确性的摘要测量。In the ROC curve, the horizontal axis is the FPR (false positive rate, i.e., the ratio of wrongly predicted pairs over the total number of negative pairs), and the vertical axis is the TPR (true positive rate, i.e., the ratio of correctly predicted pairs over the total number of positive pairs). The maximum AUC is 1, which means a perfect prediction, and the AUC obtained by a random guess is 0.5.

3.结果

我们已经建立了一个新的预测模型，以确定T3SE使用神经网络相结合的注意与CNN。为了研究负样本集对绩效的影响，我们将训练集分为两部分。训练集1的正负比为1 : 1，训练集2的正负比为1 : 3.ACNNT3模型分别使用训练集1和2进行训练。为了评估我们的ACNNT3模型的分类性能，我们使用ROC和AUC作为评估标准。图中显示了训练集1和2下的5倍交叉验证曲线的ROC图3(一个)和3 (b)．我们可以看到ACNNT3模型在ROC图上取得了很好的表现。模型的平均AUC在训练集1上为0.95，在训练集2上为0.98。这些结果表明，我们的ACNNT3模型能够准确地对两个训练集上的T3SEs和非T3SEs进行分类。

3．1.同一网络不同特性的比较

我们分别以一个热点的单特征和包含一个热点矩阵和PSSM的融合特征作为输入，以ACNNT3作为训练模型，并使用独立的数据集对两个模型进行评价。结果表明，在所有评价指标中，采用融合特征的模型都优于采用单一特征训练的模型，从而验证了所提出的融合特征的有效性(图)4.). 与单一热特征相比，融合特征对于蛋白质序列信息的提取更为全面，从实验结果可以看出，两类特征具有良好的兼容性。

3.2. 不同深度学习方法的比较

我们使用相同特征输入的独立数据集比较了不同流行网络模型的结果，如表所示1.. 对于一类序列加工问题，增加注意层使网络模型加强了氨基酸前后的联系和对序列中重要信息的注意。从实验结果可以看出，我们的网络模型ACNNT3在许多指标上都优于现有的深度学习框架。

３．３．与现有方法的比较

为了评估我们的方法的有效性，我们将ACNNT3的性能与四种流行的方法DeepT3进行了比较[11], BPBAac [22]，有效T3 [6.]和BEAN2 [34，在相同的独立数据集上。这些方法的参数设置与Li等人使用的相同[11］.我们发现我们的ACNNT3-1模型具有更高的 , , ,和比另外四种方法（表2.)．结果表明，该方法在几乎所有指标上都取得了令人满意的效果。的重要索引 ,ACNNT3-1的准确率为0.967，分别比ACNNT3-2、DeepT3-1、DeepT3-2、Effective T3、BPBAac、BEAN2高9.9%、4.1%、15.7%、20.0%、9.6%、10.5%。在另一个P丁香数据集上，我们的模型仍然比现有的方法在索引上的性能更好(表3.)．ACNNT3-1的准确度为0.887。我们在五倍交叉验证中选择了最佳模型，并使用了独立的和P丁香数据集来测试它。我们还得到了模型在两个测试集上的ROC曲线(图)5.). 总体而言，我们的方法在T3SE预测方面优于所有最新的方法，并且具有可靠的稳定性。

4.结论

提出了一种基于深度神经网络的革兰氏阴性菌ⅲ型分泌蛋白预测模型。为了更好地了解III型分泌蛋白的特征偏好，我们将蛋白一级序列中提取的一次热编码和PSSM作为特征输入，并将注意层嵌入到CNN中，提高模型的预测能力。该方法在大部分指标上优于现有的其他方法，并通过特征和网络模型的比较表明了其优越性。与其他常用方法相比，ACNNT3在独立测试集中预测和识别T3SEs方面更准确，体现了其优势和有效性。然而，我们发现ACNNT3的性能使用P丁香数据集不是特别明显，在ACC和MCC方面仅略高于之前的方法。我们未来的工作将集中于在其他实验指标上取得更好的结果，并将该模型应用于其他大规模数据集的预测。

为方便实现，所有数据使用在本工作和源代码的特征计算可以访问https://github.com/Lijiesky/ACNNT3．

数据可用性

用于支持本研究结果的数据包含在文章中。

的利益冲突

作者声明他们没有利益冲突。

致谢

国家自然科学基金资助项目(no . 11671009, no . 61762035);浙江省自然科学基金资助项目(no . LZ19A010002, no . LY18F020027)。关键词:岩石力学，孔隙结构，数值模拟，数值模拟

参考文献

1. M. Desvaux, M. Hébraud, R. Talon，和I. R. Henderson，“细菌蛋白的分泌和亚细胞定位:语义意识问题”，微生物学的趋势，第十七卷，第二期4，第139-145页，2009。视图:出版商的网站|谷歌学者
2. G. R. Cornelis， " III型分泌注射体"国际医学微生物学杂志，第4卷，第4期。11，第811-825页，2006。视图:出版商的网站|谷歌学者
3. S. Y. He, K. Nomura, T. S. Whittam，“哺乳动物和植物病原体的III型蛋白质分泌机制”，生物化学与生物物理学报-分子细胞研究，第1694卷，第2期。1-3页，181 - 206,2004。视图:出版商的网站|谷歌学者
4. G. N. Schroeder和H.Hilbi，“Shigella SPP的分子发病机制：通过III型分泌控制宿主细胞信号，侵袭和死亡，”临床微生物学综述，卷。21，不。1，pp。134-156,2008。视图:出版商的网站|谷歌学者
5. 《铜绿假单胞菌III型效应体在疾病中的作用》，J. Engel and P. Balachandran，微生物学的最新观点，第12卷，第2期1，第61-66页，2009。视图:出版商的网站|谷歌学者
6. R. Arnold, S. Brandmaier, F. Kleine et al，“基于序列的III型分泌蛋白预测”，PLoS病原体，第5卷，第5期。4、2009年第e1000376条。视图:出版商的网站|谷歌学者
7. MLöwer和G。Schneider，“革兰氏阴性细菌基因组中III型分泌信号的预测，”《公共科学图书馆•综合》，第4卷，第6期，第e5917条，2009年。视图:出版商的网站|谷歌学者
8. X. Dong，Y.-J.张和Z. Zhang，“使用隐藏在分泌信号中的弱守恒基序来鉴定来自细菌病原体基因组的III型效应子”《公共科学图书馆•综合》，第8卷，第2期2，2013年e56632，2013年。视图:出版商的网站|谷歌学者
9. Xie S.， Li Z.， Hu H.，“基于模糊支持向量机和超平面优化的蛋白质二级结构预测”，基因，卷。642，没有。5，pp。74-83,2018。视图:出版商的网站|谷歌学者
10. X. Yang，Y. Guo，J. Luo，X. Pu和M. Li，“使用位置特定的残留储存型材”有效鉴定革兰阴性细菌III分泌效应子“《公共科学图书馆•综合》，第8卷，第2期第12条e84439条，2013年。视图:出版商的网站|谷歌学者
11. L. Xue，B. Tang，W. Chen和J. Luo，“Deept3：深卷积神经网络准确地识别革兰阴性细菌III分泌效果，”使用N末端序列“生物信息学第35期第12页2051-2057页，2019。视图:出版商的网站|谷歌学者
12. H胡，Z。李，A。埃洛夫森和S。Xie，“基于Bi LSTM的蛋白质二级结构预测集成算法，”应用科学，第9卷，第5期。第十七条2019年第3538条。视图:出版商的网站|谷歌学者
13. 何凯，张昕，任舜，“基于深度残差学习的图像识别”2016 IEEE计算机视觉与模式识别大会(CVPR)，pp.770-778，Las Vegas，NV，美国，2016年6月。视图:出版商的网站|谷歌学者
14. “RDense:一种基于双向递归神经网络和密集连接卷积网络的蛋白质- rna结合预测模型，”IEEE访问， vol. 8, pp. 14588-14605, 2020。视图:出版商的网站|谷歌学者
15. K. Simonyan和A. Zisserman，“非常深入的卷积网络，用于大规模的图像识别”http://arxiv.org/abs/1409.1556.．视图:谷歌学者
16. C. angermueller，T.Pärnamaa，L.零件和O. Stegle，“深入学习计算生物学”分子系统生物学，第12卷，第2期7，第878页，2016年。视图:出版商的网站|谷歌学者
17. R米奥托，F。王，S。王，X。江和J。TDudley，“医疗深度学习：回顾、机遇和挑战，”简报的生物信息学，第19卷，第6期，第1236-12462018页。视图:出版商的网站|谷歌学者
18. Z杨博士。杨，C。戴尔，X。他，A。斯莫拉和E。Hovy，“文档分类的分层注意网络，”https://www.aclweb.org/anthology/N16-1174.pdf．视图:谷歌学者
19. V. Mnih, N. Heess, A. Graves, K. Kavukcuoglu，《视觉注意的反复模式》，神经信息处理系统的进步， vol. 3, pp. 2204-2212, 2014。视图:谷歌学者
20. D巴赫达瑙，K。赵和Y。Bengio：“通过联合学习对齐和翻译的神经机器翻译”http://arxiv.org/abs/1409.0473.．视图:谷歌学者
21. P.Verga，E. Strubell和A. McCallum，“同时自我参加全抽象生物关系提取，”https://arxiv.org/pdf/1802.10569．视图:谷歌学者
22. Y王，Q。张，M。太阳和D。郭，“基于位置特异性氨基酸组成谱的细菌III型分泌效应器的高精度预测，”生物信息学第27卷第2期6，第77 - 784页，2011。视图:出版商的网站|谷歌学者
23. D. M. M. Tay, K. R. Govindarajan, M. A. Khan等人，“T3SEdb:由细菌III型分泌系统分泌的毒力效应物的数据仓库，”BMC生物信息学，第11卷，补编第7页。2010年4月4日。视图:出版商的网站|谷歌学者
24. Huang y, Niu b, Gao y, Fu l, and W. Li， " CD-HIT套件:用于生物序列聚类和比较的web服务器，"生物信息学，卷。26，不。5，pp。680-682，2010。视图:出版商的网站|谷歌学者
25. D. A. Baltrus，M.T. Nishimura，A.Romanchuk等，“致致遗传性的动态演变，通过19假单胞菌的测序和比较基因组学揭示的致病性，”PLoS病原体，卷。7，不。7，2011年e1002132。视图:出版商的网站|谷歌学者
26. “细菌分泌系统III、IV和VI效应蛋白预测因子的综合评估和性能改进”，安勇，王军，李春华等，“细菌分泌系统III、IV和VI效应蛋白预测因子的综合评估和性能改进”，简报的生物信息学，第19卷，第1期，第148-161页，2018年。视图:出版商的网站|谷歌学者
27. J. D. Bendtsen, L. J. Jensen, N. Blom, G. von Heijne, and S. Brunak，“基于特征的非经典和无领导蛋白分泌预测”，蛋白质工程设计与选择，第十七卷，第二期4，pp。349-356,2004。视图:出版商的网站|谷歌学者
28. C. casperlindley, D. Dahlbeck, E. T. Clark，和B. J. Staskawicz，“AvrBs2效应蛋白进入植物细胞的III型分泌依赖易位的直接生化证据”美国国家科学院学报，第99卷，第5期。12，页8336-8341,2002。视图:出版商的网站|谷歌学者
29. Y. Yang，J. Zhao，R.L.L.MA和T. Jiang，“III型分泌蛋白的计算预测来自革兰氏阴性细菌”BMC生物信息学，第11卷，第S47条，2010年。视图:出版商的网站|谷歌学者
30. K. Schesser，E.Frithz-Lindsten和H. Wolf-Watz，“yersinia假偶霉素yope结构域的描绘和突变分析，其介导细菌和真核细胞膜的易位”细菌学期刊，第178卷，第2期24，第7227-7233页，1997。视图:出版商的网站|谷歌学者
31. M.P. Sory，A.Boland，I. Lambermont和G. R.Concelis，“使用CyaA基因融合方法的分泌物和内化进入宏观噬菌体的细胞溶胶所需的yope和Yoph域，”美国国家科学院院刊，第92卷，第2期26，第11998-12002页，1996。视图:出版商的网站|谷歌学者
32. S. F. Altschul, T. L. Madden, a . a . Schäffer等，“gap BLAST和pci -BLAST:新一代蛋白质数据库搜索程序”，核酸的研究，第25卷，第2期17，第3389-3402页，1997。视图:出版商的网站|谷歌学者
33. H. B. Shen和K. C. Chou，“病毒- mploc:通过合并多个位点预测病毒蛋白亚细胞位置的融合分类器，”生物分子结构与动态杂志CHINESE，卷。28，不。2，pp。175-186,2010。视图:出版商的网站|谷歌学者
34. 董旭东，吕旭东，张志刚，“BEAN 2.0:用于III型分泌效应的识别和功能分析的集成网络资源”，数据库，卷。2015年，第2015年第BAV064，2015年。视图:出版商的网站|谷歌学者

版权

版权所有©2020 jie li等。这是分布下的开放式访问文章知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。