基于Coattention堆叠BiLSTM神经网络问答的机制

文摘

深入学习是关键的技术在智能问答的研究任务。如今,广泛研究的问题回答都是采用的方法进行深入学习。挑战在于,它不仅需要一个有效的语义理解模型来生成一个文本表示,还需要同时考虑语义之间的互动问答。在本文中,我们提出一个堆叠双向长期短期记忆(BiLSTM)神经网络基于coattention机制提取之间的交互问题和答案,结合余弦相似性和欧几里得距离得分的问题和答案的句子。实验测试和评估公开文本检索会议(TREC) 8日至13日数据集和Wiki-QA数据集。实验结果证实,该模型是有效的,特别是它达到一个更高的平均0.7613的平均精度(MAR)和平均排名倒数(MRR) 0.8401 TREC数据集。

1。介绍

深度学习形成一个更抽象的高层表示属性特征结合低级特性来发现数据的分布式特性表征。它为NLP的研究提供了一种有效的方法。近年来,智能问答NLP领域已经成为一个突出的学科在学术界和产业界的研究热点,已广泛应用了许多有影响力的问答系统。回答选择起着至关重要的作用在问答任务中,它主要编码QA一对并输入到模型中提取关键信息和获得相应的表示1]。因此,主要任务是将问题和答案的句子映射到联合特征空间产生互相依赖的表示。最后,利用一个算法计算相似度。

在过去的几年中,大多数问答研究[2- - - - - -4)是基于知识库和常见问题,使用机器学习来分析和检索关键词。不幸的是,他们缺乏相关的语义分析的问题和答案,导致强烈的人工依赖的缺点和较差的可伸缩性。

深度学习的重大创新,深层神经网络能够有效地映射一个词在句子的意思的连续表示整个句子,而这个句子的意思表示获得更完整。因为深度学习减少了需要手动功能工程和适应新任务,它已成为一个重要的研究方法对各种任务的NLP在过去的几年中,和大量的研究人员利用它的端到端模型实现问答句子语义分析的任务。冯et al。5王),和尼伯格(6)采用卷积神经网络(CNN)和双向长期短期记忆捕捉单个句子的语义网络,分别。然而,他们忽略了问题和答案的编码表示之间的相互关系。最近,基于注意机制的模型已经探索了问答。谭et al。7和聂等。8)提出了一个BiLSTM模型,该模型结合了注意力机制来构造一个更好的答案表示根据输入问题的句子。模型将问题答案列表编码的影响考虑在内,但他们忽视的影响回答编码表示的问题,这将会导致一些偏差在最后的预测结果。例如,第一个问题是“迈克尔,你吃什么?问题2是“迈克尔,你为什么吃那么多?”,答案是“是的,我吃一个汉堡包。”“什么”和“吃”在问题1和“我”和“吃汉堡”在回答有一定的语义关联,我们可以很容易地推断出答案是对应于问题1。这意味着每个回答有一些固有的问题,表示,在某种程度上,问题是受不同的答案。除了分析的问题的答案,我们也可以推断出一些结果的问题的答案。

在本文中,我们建立一个深度学习架构问题回答,问题和答案在哪里局限于一个单一的句子。我们的体系结构的核心是两个并行分布式句子模型工作,基于堆叠BiLSTM神经网络。我们将问题和答案映射到相应的分布向量,最后计算它们之间的语义相似度。BiLSTM神经网络已经被广泛应用于近年来处理NLP问题[9- - - - - -11]。张先生和马12)建立了一个新的基于BiLSTM深度学习模型网络完成答案选择任务,取得了良好的效果。出于这个工作,我们利用堆叠BiLSTM深层神经网络包含了coattention QA对语义理解和机制模型,从而使模型来捕获长期依赖能特性和产生更深的互相依赖的语句表示QA。此外,余弦相似性和欧几里得距离和解作为一种新的指标来衡量之间的语义相似度和距离问题和答案。实验确定了文本检索会议8日至13日QA数据集和Wiki-QA数据集。比较表明,我们的实验模型实现最好的实验结果。

总结了本文的主要贡献如下:(我)一堆BiLSTM神经网络采取达到输入句子的向量表示,这可以有效地捕捉句子的语义。(2)我们的模型结合coattention机制和注意力机制对句子进行编码得到QA组之间的相互作用和影响。(3)余弦相似性和欧几里得距离协调计算两个向量之间的匹配程度。该方法能够考虑向量之间的距离和角度的关系。

本文的其余部分组织如下。部分2简要回顾相关的工作。部分3介绍了提出的问题回答的框架和方法。部分4是一个实验结果的详细分析和总结。我们会得出一个结论,讨论接下来的工作部分5。

2。相关工作

在问答的研究大大提振了文本检索会议系列自1999年以来。最近,许多相关的工作(12- - - - - -15)已经提出了很多有效的模型来回答问题。我们比较和关联该堆叠BiLSTM神经网络,coattention机制,评分标准与我们的其他方法在文献中如下。

2.1。短期记忆神经网络

以前,传统的研究方法集中在语法问题和答案之间的匹配。Punyakanok et al。3)是最早提出的一般问题和答案匹配模型通过依赖关系树模型。后来,Heilman和史密斯(2和汗等。16)提出了一个概率树编辑算法模型的句子。姚明et al。(17)构建了一个基于TREC-QA直链条件随机场数据集,提取答案,答案序列标签树的问题编辑句子。此外,周et al。4)采用词汇模式基于词关系选择答案的句子。但这些传统模型过分依赖外部条件如手工标记的信息,这需要大量的相关工作。

在最近的工作问答,主流是基于深度学习的方法。Yih et al。18和王et al。19)开发了一个语义解析框架使用卷积神经网络由一个语义相似度模型。小王和尼伯格(6)使用堆叠顺序BiLSTM网络阅读单词问题和答案的句子,它不需要任何语法解析或外部知识资源,如WordNet。然而,这些模型未能考虑问题和答案的互相依赖的表征。因此,我们将注意力机制添加到深层神经网络捕捉QA两人之间的关系。

2.2。Coattention机制

注意机制是适合推断十分不同的模态数据之间的映射关系。它可以帮助一个框架就像编解码器正确获得多个内容模型的相互关系,从而更有效地表达(1]。有很多相关的工作在问答探索注意力机制。基于递归神经网络、双向Bahdanau et al。20.)注意机制添加到模型编码和解码机器翻译的句子。Zhang et al。21)检查内在注意力机制和外在的注意机制的话语表示隐性话语关系的认可。结果表明马尔科•——一个了不起的进步F1点是1.61%。灵感来自Bahdanau等的相关工作。20.和傅et al。22),谭et al。7和香等。23)先后提出了一个基于注意机制双向单层LSTMs问答匹配,这是能够构建更好的答案表示根据输入的问题。与此同时,陆et al。24)率先提出的分层coattention模型视觉问题回答。他们使用coattention机制来计算图像的条件表示考虑到的问题,考虑到图像的条件表示问题。开明的工作,熊等。10)提出了一个动态coattention网络(宽带)获得的互相依赖的表示问题和文档,他们使用一种动态译码器指向潜在的答案。实验取得了0.8% EM和2.1%F1改善球队的数据集。更精炼coattention张和马英九提出的模型12]。作者结合coattention机制与注意力机制进行编码的表示问题和答案,这显著模型利用之间的内在关系问题和答案来增强实验结果。我们的研究也采用类似的coattention机制提取语句功能。

2.3。评分机制

在许多以前作品如刘25和他et al。26],余弦相似度已经被证明是一个有效的指标评估两个和弦向量之间的相似度的,它已广泛应用于近年来复杂的查询和匹配。然而,李et al。27)采用欧氏距离为分类决策函数来衡量新数据点之间的平均距离和支持向量从不同类别,和数据表明,它是有效的。冯et al。5小说]提出了两个指标GESD(欧几里得的几何平均数和乙状结肠点积)和AESD(算术平均值的欧几里得和乙状结肠点积)在他们的答案选择任务。他们提出了两个指标,是最好的在所有指标进行了比较。在阴等的工作。15),余弦相似性和欧几里得距离分别用于计算句子相似度和测量不同的句子之间的语义距离。结果显示,同时使用两种评价机制优于只使用余弦相似性度量。不同于之前的研究,我们的方法改善和优化以前的方法协调这两个功能。我们的结果表明,该方法是有效的。

3所示。提出的问题回答模型

在本节中,我们描述了基于深度学习提出问题回答模型,优化基于棕褐色的体系结构等。1和熊等。10]。框架构造图的概述1。

在图1,我们首先利用pretrained手套构建词嵌入层,和这个词嵌入提供了每个问题的向量表示及其候选答案。第二,堆放BiLSTM神经网络作为编码器,从每个输入句子提取隐藏的特性。相应的表征可以通过基于coattention机制的问题。问题向量输入到最大池后,注意力机制被用来生成一个嵌入根据问题的回答表示。最后,我们结合余弦相似性和欧氏距离度量之间的匹配程度,矢量答案的问题。

3.1。一个堆叠BiLSTM神经网络

LSTM网络架构[的最初是由Hochreiter和。施密德胡贝尔表示28]。更正式,一个输入向量序列 是给定的,n表示输入句子的长度。的核心结构LSTM是使用三个控制盖茨控制存储单元激活向量 。第一个忘记门决定了细胞的状态在之前的时间被保留,直到当前电池状态 ;第二个输入门决定输入的程度网络是保存到当前单元格的状态 ;第三输出门决定了细胞的状态传播给当前输出值LSTM的网络。三个盖茨是一个完全连接层,它的输入是一个向量和输出是一个实数在[0,1]。基本LSTM细胞结构如图2,它表示如下: 在哪里是物流乙状结肠函数,表明tth单词句子的矢量和显示隐藏的状态,条款和项,分别代表权重矩阵(例如,代表了忘记门重量矩阵)和偏差向量(例如,代表输入门偏差向量)三个门。

克服缺点的单身LSTM细胞只能捕获前上下文而不是利用未来上下文,舒斯特尔和Paliwal29日)发明了双向递归神经网络(BRNN)结合两个单独的隐藏LSTM层相反的方向相同的输出。这个结构,输出层能够利用相关信息从以前和未来的上下文。一个BiLSTM计算输入序列 从相反的方向向前隐藏序列 和落后的隐藏序列 。编码向量是由最后一个向前和向后的连接输出, 。 在哪里 是输出序列的第一个隐藏层。

一些先前的代表作品,通过叠加多个BiLSTM神经网络,分类或回归的性能可以进一步改善(30.- - - - - -32]。此外,有一些相关的理论支持显示深层次化模型更有效比浅代表一些函数(6,33]。我们定义了一个堆叠BiLSTM网络输出从较低的层成为上层的输入。堆叠BiLSTM结构如图3:

定义 和 分别代表问题的序列和回答的序列和指出问题和答案的长度,和指示tth问题和答案的话。我们运行一个堆叠BiLSTM问题和答案来获取他们的隐藏状态矩阵和 ,数学是如下: 在哪里的维度是隐藏状态。

3.2。Coattention机制问题表示

在这里,我们实现一个coattention机制根据答案序列编码问题,如图4。出于熊等的工作。10],我们试图执行更多的问答互动设计更加谨慎矩阵乘法,操作和串连coattention机制。

我们第一次执行矩阵乘法计算关联矩阵 ,包括亲和力分数对应所有成对的问题和答案的话。它可以描述如下:

Softmax函数应用标准化向量元素,并有效地处理multiclassification和概率分布问题。因此,列和基于行的softmax函数是用来生成注意重量的隐状态问题和答案分别在以下方程:

为了获得关注问题的向量的每个单词的答案,我们将关注重量和关联矩阵来计算新的上下文向量和 。在这里,和的结果之间的交互问题,答案向量:

3.3。细心的注意机制的答案表示

减少信息损失的堆叠BiLSTM,软流层注意可用于链接和整合信息的话(问题和答案1,13]。在提出的模型中,注意机制应用于coattention的输出。我们假设表明tth注意上下文向量的问题,和最大连接池是将输入转化为输出一个固定长度的向量 。然后,将softmax所有上下文向量的权重 可以自动根据中学到了什么通过关注机制,加权上下文向量答案是用作最后表示:

在这里,和矩阵的表示关注和 ,分别。权向量表示关注。最后表示的回答是由注意体重回答的上下文向量tth词。归一化是将softmax函数,它是成正比的 。更高的值显示较高的相关性问题,问题向量将得到更多的关注。

3.4。答案评分机制和目标函数

在这项工作中,我们度假村一个方法来调和余弦相似性和欧氏距离来评估之间的匹配程度,问题和答案。余弦相似度代表两个向量的夹角,欧几里得距离代表欧几里得空间中两点间的距离。我们希望问题和答案的语义向量之间的距离足够近,角度足够小,以最大化之间的相似度计算问题和答案对句子向量。余弦相似性和欧氏距离的原理图如图5。

得到的向量表示问题和答案的隐层模型。余弦相似性和欧氏距离计算细节如下。 是最终的匹配结果:

正常化的余弦相似性[0,1]区间,可以获得如下: 在哪里代表点乘法操作,和分别代表相应的向量的模量长度。两个点之间的欧氏距离,值方程(9)和(10)是在[0,1]。

在培训期间,积极和消极的样本可以同时通过铰链损失函数的输入。我们定义铰链损失函数为培训目标如下: 在哪里是常数,和分别表示肯定的答复和消极的答案。和分别代表了正则化参数和神经网络参数。

在培训的过程中,我们利用反向传播算法来计算梯度和更新参数实现目标函数的最小化(34]。最后,我们更新最小目标函数的参数 。

4所示。实验

在本节中,我们将介绍实验实现的详细信息,包括TREC-QA(8日至13日)数据集和Wiki-QA数据集,模型评价指标和选择的训练参数,然后,我们将仔细分析不同数据集上的实验结果证明了我们提出的模型具有良好的精度和鲁棒性。

4.1。实现细节

以下4.4.1。数据集

在本部分中,我们主要介绍两个公共数据集,TREC-QA(8日至13日)数据集和Wiki-QA数据集,我们还介绍了源、数据特征和数量的问答详细对这两个数据集。

实验操作的文本检索会议8日至13日QA数据集(http://nlp.stanford.edu/mengqiu/data/qg-emnlp07-data.tgz)来评估我们的模型,它是由王et al。35和进一步阐述了姚明et al。17]。如表所示1在TREC 8 - 12,我们使用53417个问答对训练模型,在使用1148个问答对在TREC 13和1517问答对开发和测试,分别。其中,每个问题在开发集包含2.7积极回答和11.3消极的答案;每个问题在测试集包含积极回答和14.0 - 3.2的答案。后姚明et al。17),候选人回答与40多个单词和句子的问题,只有积极或消极的候选答案的句子从评估中删除。

Wiki-QA (https://www.microsoft.com/en-us/download/details.aspx?id=52419)是一个开放域问答集于2015年由微软提供的小组。Wiki-QA中的问题主要是集中在分类的问题,数字,和个人信息。他们正在收集和组织的真实数据的用户。候选答案声明来自顶端的文本段落输入页面返回的维基百科。如表所示2过滤后,这个问题没有正确答案,得到1242 Wiki-QA问题,和293个正确答案的句子匹配问题,维基语料库的数据格式是没多大区别TREC-QA(8日至13日)。

本文所有实验进行Python, MATLAB及其优化工具箱在电脑上与英特尔酷睿2双核2.93 GHz处理器和Windows 7操作系统。

4.1.2。评价指标

王以前作品后et al。35]在这个任务中,用于我们的任务两个评价指标:平均平均精度(MAP)和平均排名倒数(MRR)。地图是指平均精度为每个查询分数。它反映了在所有查询检索系统的性能。越高的顺序返回的相关文档系统,更大的价值相应的地图。MRR表示第一个正确答案的位置相关查询。回答越向前,相应MRR值越大。更高的地图和MRR值显示更好的系统性能。我们度假村官方trec_eval (http://trec.nist.gov/trec_eval/)脚本计算这些指标: 在哪里代表所有查询的数量和代表了所有相关的数量为查询正确的答案 。 代表的平均精度 - - - - - -查询和检索率 。 代表的位置 - - - - - -th后正确的候选答案在整个答案顺序排名查询候选答案的信心。代表第一个候选正确答案的位置查询位于候选答案的设置。

4.1.3。实验设置

不同的实验因素,将测试和评估我们的方法,我们的方法是与其他最先进的方法相比,在相同的数据集。神经网络模型实现了TensorFlow图书馆。在培训的过程中,我们不断地观察测试集上的性能,选择地图,MRR得分最高的参数进行最后的评估。我们的实现如下:

(1)字嵌入。Pretrained手套(https://github.com/stanfordnlp/GloVe)[36)这个词用作嵌入层提供的共享与400年任务维度。此外,每个句子填充与OOV(词汇)处理方法固定长度的最大长度,这对问题和答案是40个单词。候选人回答池中,我们设置了许多消极的答案K= 5。

(2)参数初始化。培训期间,我们将最小批量大小设置为40,指的是亚当13)实验TensorFlow初始化学习速率为0.001。保证金0.2和正则化参数是固定的吗设置为1e−5。此外,我们尝试了单层BiLSTM BiLSTM堆放,堆放BiLSTM coattention。每一层的LSTM内存大小为200。

(3)优化算法。亚当算法(37)是采用的衰变率0.95更新参数和优化我们的模型。随后,我们添加词后辍学层嵌入,以避免过度拟合和辍学率设置为0.5。为了有效地控制重量在一定的范围内,以避免梯度爆炸、剪辑梯度法和梯度阈值设置为5。

4.2。结果和分析

为了验证算法的有效性和准确性的融合模型叠加BiLSTM网络和coattention机制在智能问答,我们测试和验证了TREC-QA(8日至13日)数据集和Wiki-QA数据集,分别和实验结果进行了分析和总结。

4.2.1。准备结果和分析TREC-QA(8日至13日)数据集

我们在单层BiLSTM进行了比较实验,BiLSTM堆放,堆放与coattention BiLSTM TREC-QA(8日至13日)数据集。图6比较了有或没有coattention句子的语义分析。图7揭示了评价指标的变化与时代的发展。表3显示了所有提到的基线实验结果的细节和我们建议的模型。

(1)不同的传统工作Yih et al。18和玉等。38),从句子结构的角度分析了问题,可以明显发现,我们的实验和许多先前的研究如BiLSTM [1和美国有线电视新闻网39)取得了更好的性能。这些研究表明,句子的语义分析是非常必要的NLP任务和深层神经网络能够使句子向量更代表。(2)我们发现我们的实验结果coattention机制明显比大多数上述结果(1,8,38]。具体来说,比较的结果第15行和聂et al。8),我们的模型实现了地图和MRR获得3.83%的涨幅为3.52%。这些实验结果强烈表明,coattention机制和注意力机制发挥重要作用在改善NLP实验结果。他们允许模型的正确使用注意输出向量和提取关键信息的灵活的输入格式。通过这种方式,他们可以解决词汇之间的差距问题和答案的同时捕获QA相关性。(3)实验堆叠BiLSTM指数比单层BiLSTM相比线11和12与13号线和第14行,分别。此外,小王和尼伯格(6)采用三层BiLSTM网络和实现地图的增加(1.52%)和MRR(1.49%)在单层BiLSTM第11行。一般来说,适量的多层BiLSTM网络有助于理解单词和单词之间的关系在一个深层次和更好的提取句子本身的特点。(4)最好的地图(0.7613)和MRR(0.8401)是通过将coattention机制纳入一个堆叠BiLSTM结合神经网络和余弦相似性和欧氏距离来计算两个向量之间的匹配程度。我们的实验结果优于最先进的基线Tan et al。1,7]地图(0.83%)和MRR(0.79%),分别显示结合余弦相似性和欧几里得距离平衡两个向量的角度和距离之间的关系,更有效地匹配问题和答案。

首先,我们进行了比较实验在模型训练过程中,选择了问答测试集的声明TREC-QA随机(8日至13日),训练/没有coattention机制的模型,并获得相应的语义向量表示通过不同的模型。具体内容验证的存在与否coattention机制影响了语句的语义的分析表示。对比结果如图6。

在图6,四个矩阵的第一行代表的语义解析结果后coattention机制的作用。下面的线没有这种机制。从图可以看出,添加coattention机制之后,更多的关键字四句话得到更多的权重;他们更突出的解析表达式的过程中声明,和动词如“是”和“。”的语义重量比文章也就相应地减少了。分析表明,coattention机制有能力捕捉语句本身和语句之间的关系可以使语句的语义表达更充分地在不增加额外的人工环境。

其次,我们验证了时代的敏感性上述几款不同的迭代周期。图7显示了每个模型的地图和MRR的变化。我们五个模型进行比较实验,包括BiLSTM BiLSTM堆放,堆放BiLSTM coattention, BiLSTM coattention,和堆叠BiLSTM coattention;此外,我们还提出了地图的变化在不同的时代和MRR相同的模型。

我们执行一个epoch-number灵敏度分析模型,不同于5到35。图7显示地图和验证数据的变化MRR当我们改变时代的数量。我们观察到,地图和MRR改变与增加的时代,但时代25后趋于稳定。然而,一些模型的映射和MRR值有下降趋势随着时代数量增加超过30。它反映了一定范围的迭代能够提高模型的学习能力和提高实验结果。

我们提出了一个优化模型通过使用堆叠BiLSTM深处,coattention机制,注意机制,和一个组合的相似性度量,我们的实验结果是线11到15所示的表3。我们相比,我们的观察总结如下。

4.2.2。结果和分析Wiki-QA数据集

我们做了进一步的比较试验Wiki-QA数据集。验证模型的Wiki-QA数据集使该方法更具说服力。模型的参数初始化和预设方面Wiki-QA数据集基本上是符合TREC的设置数据集,数据集的批量大小在哪里30。因为它也是信息检索和候选答案的顺序排名,根据官方的评价数据,地图和MRR选择评价指标。

我们也验证了设计的各种模型在不同时代Wiki-QA数据集,如图8。从图可以看出,模型往往是稳定时代达到30倍。当时代的数量继续增加,地图和MRR略微下降的趋势。实验结果不仅证明本文模型体系结构分析的解决问题是有效的句子语义,但也证明该模型具有良好的精度和鲁棒性。

每个模型在Wiki-QA数据集的实验结果如表所示4。与当前的相关研究相比,模型结果优于大多数基线模型(40,41]。比较的结果第1行和第5行表4,可以看出堆叠BiLSTM模型比单层LSTM模型更准确。此外,最好的模型相比,该模型的实验结果(42),平均精度为0.05%高于模型(42]。

领域的智能问答,这些数据结果证实该模型在声明中有一些优秀的性能问题和答案的语义获取表示,可以更好地代表语义特征。

5。结论

在本文中,我们提出了一个堆叠BiLSTM神经网络基于coattention问答的机制。堆叠BiLSTM用于句子语义理解和建模;利用coattention机制和注意力机制获得的互相依赖的表示问题和答案;余弦相似性和欧几里得距离是用来计算之间的相似性问题和答案。报道中4.2,我们的数据集进行实验TREC-QA(8日至13日)和Wiki-QA,然后实验TREC-QA(8日至13日)数据表明,最好的地图(0.7613)和MRR(0.8401)是通过使用我们的模型。我们得到一定程度的改善地图(0.83%)和MRR(0.79%)与其他最优基线相比。实验结果表明,该模型是有效的问答。注意,这个实验只是两个小数据集上测试过。未来的工作将集中在实现替换原有coattention机制与动态coattention网络+(宽带+)和将CNN纳入模型来提高实验结果。此外,该模型的实现等其它大型数据集队和SemEval-cQA将未来工作的一个重要问题。

数据可用性

这项工作所涉及的数据文本检索会议(TREC) 8日至13日数据和Wiki-QA数据集。我们使用53417年TREC问答对8 - 12训练模型,在使用1148个问答对在TREC 13和1517问答对开发和测试,分别。研究人员可以访问所有数据在以下网站:http://nlp.stanford.edu/mengqiu/data/qa-emnlp07-data.tgz,https://www.microsoft.com/en-us/download/details.aspx?id=52419。数据分为训练数据和开发/测试数据。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作得到了中国国家重点研发项目(2017 yfe0123000),研究生创新项目的研究在重庆(没有。CYS19273),常见的主要研发项目关键技术创新重点行业在重庆(没有。CSTC2015zdcy-ztzx60001)。

引用

1. c d m . Tan桑托斯,b, b .周,“LSTM-based深度学习模型non-factoid回答选择,”计算机科学,1卷,2015年。视图:谷歌学术搜索
2. m . Heilman和n . a . Smith”树编辑模型识别文本的悖论,迂回,问题的答案,”2010年人类语言技术研讨会论文集的北美章计算语言学协会NAACL停止洛杉矶,页1011 - 1019,美国2010年6月。视图:谷歌学术搜索
3. 诉Punyakanok、d·罗斯和w·Yih”自然语言推理通过依赖关系树映射:应用程序问题回答,“计算语言学》第六卷,没有。9日,2004年。视图:谷歌学术搜索
4. g .周y周、t .他和w·吴”学习与语义表示神经网络为社区问答检索”以知识为基础的系统卷,93年,第83 - 75页,2016年。视图:出版商的网站|谷歌学术搜索
5. m·冯b, m . r .玻璃et al .,“应用深度学习回答选择:一项研究和开放的任务,”《IEEE研讨会自动语音识别和理解,ASRU亚利桑那州斯科茨代尔,页813 - 820,,2015年12月。视图:谷歌学术搜索
6. 王d和e·尼伯格,“很长一段短期记忆答案句子模式选择问题回答,”协会学报》第53届计算语言学和第七届国际联合会议上亚洲联合会的自然语言处理自然语言处理、ACL-IJCNLP,第712 - 707页,北京,中国,2015年7月。视图:出版商的网站|谷歌学术搜索
7. c d m . Tan桑托斯,b, b .周,“改进的问题答案匹配,表示学习”协会学报》第54届计算语言学,ACL,页464 - 473年,柏林,德国,2016年8月。视图:出版商的网站|谷歌学术搜索
8. Y.-P。聂,y汉,人类。黄娇,和A.-P。李,“引起encoder-decoder模型选择问题的答案回答,“前沿的信息技术和电子工程,18卷,不。4、535 - 544年,2017页。视图:出版商的网站|谷歌学术搜索
9. c .悦h .曹k .熊a .崔h .秦和m . Li”增强问题理解与动态内存网络文本问题回答,“专家系统与应用程序卷。80年,39-45,2017页。视图:出版商的网站|谷歌学术搜索
10. c .熊诉中,r . Socher“动态coattention网络问答,”美国学习国际会议上表示2017年4月,法国土伦。视图:谷歌学术搜索
11. 彭y, h . t .汗,e·威尔士和a·侯赛因”Sentic LSTM:有针对性的基于情感分析的混合网络,”认知计算,10卷,不。4、639 - 650年,2018页。视图:出版商的网站|谷歌学术搜索
12. l .张和l .妈,“基于Coattention bilstm回答选择,”《IEEE信息与自动化国际会议上,ICIA 2017澳门特别行政区,页1005 - 1011年,中国,2017年7月。视图:谷歌学术搜索
13. r . t . Chen徐,y, x,“改善情绪分析通过句子类型分类使用BiLSTM-CRF和CNN,“专家系统与应用程序卷,72年,第230 - 221页,2017年。视图:出版商的网站|谷歌学术搜索
14. X.-Y。段,S.-L。唐,S.-Y。Zhang et al .,“Temporality-enhanced knowledgememory网络似是而非的问题回答,“前沿的信息技术和电子工程,19卷,不。1,第115 - 104页,2018。视图:出版商的网站|谷歌学术搜索
15. w .阴,h . Schutze b, b .周,“ABCNN:引起卷积神经网络建模的句子对,”计算语言学协会的事务4卷,第567 - 566页,2016年。视图:谷歌学术搜索
16. m·汗·库恩,d . Malkhi g . Pandurangan k .犯错误,“高效的分布式近似算法通过概率树嵌入的,”分布式计算,25卷,不。3、189 - 205年,2012页。视图:出版商的网站|谷歌学术搜索
17. x姚明,b . v . Durme c·凯里森et al .,“答案提取序列标签树编辑距离,”学报2013年大会北美的计算语言学协会章:人类语言技术,NAACL停止,页858 - 867年,亚特兰大,乔治亚州,2013年6月。视图:谷歌学术搜索
18. W.-T。Yih x,他,温顺,“语义解析single-relation问题回答,”52协会年度会议的程序计算语言学,ACL 2014马里兰州巴尔的摩,页643 - 648,美国2014年6月。视图:谷歌学术搜索
19. l . p . Wang, j .严et al。”概念和引起CNN问题检索的多视点学习,”ACM智能交易系统和技术,9卷,不。4 - 24,2018页。视图:出版商的网站|谷歌学术搜索
20. d . Bahdanau k .赵,y Bengio”神经由共同学习对齐和翻译,机器翻译”计算机科学,2014,https://arxiv.org/abs/1409.0473。视图:谷歌学术搜索
21. b, d . Xiong, j·苏和m .张“学习更好的话语表示隐性话语关系识别通过关注网络,”Neurocomputing卷,275年,第1249 - 1241页,2018年。视图:出版商的网站|谷歌学术搜索
22. h .傅z妞妞,c . Zhang j . Ma和j·陈,“视觉皮层CNN文本分析模型功能建设的启发,“计算神经科学前沿,10卷,2016年。视图:出版商的网站|谷歌学术搜索
23. y,问:陈、王x和y秦,“答案选择通过细心的神经网络在社区问答,“IEEE信号处理信件,24卷,不。4、505 - 509年,2017页。视图:出版商的网站|谷歌学术搜索
24. j . Lu j .杨·d·巴特拉et al .,“分层question-image co-attention视觉问题回答,”学报30年会在神经信息处理系统中,少量的2016西班牙巴塞罗那,页289 - 297,,2016年12月。视图:谷歌学术搜索
25. c .刘“判别分析和相似的人制定出的措施”,模式识别卷,47号1,第367 - 359页,2014。视图:出版商的网站|谷歌学术搜索
26. y, s, c . Kang j . Wang和c盘,“跨通道通过深度和双向检索表示学习”,IEEE多媒体,18卷,不。7,1363 - 1377年,2016页。视图:出版商的网站|谷歌学术搜索
27. l·h·李,c . h . Wan r·拉库马和d Isa,”一个增强的支持向量机分类框架文本文档分类,利用欧氏距离函数”应用智能,37卷,不。1,第99 - 80页,2012。视图:出版商的网站|谷歌学术搜索
28. ,的Hochreiter和j。施密德胡贝尔表示“长短期记忆。”神经计算,9卷,不。8,1735 - 1780年,1997页。视图:出版商的网站|谷歌学术搜索
29. m·舒斯特尔和k . k . Paliwal”双向复发性神经网络”,IEEE信号处理,45卷,不。11日,第2681 - 2673页,1997年。视图:出版商的网站|谷歌学术搜索
30. m z . Liu Yang x王et al .,“从临床实体识别文本通过递归神经网络,”BMC医学信息学和决策,17卷,不。2,p。67年,2017年。视图:出版商的网站|谷歌学术搜索
31. 王c、h·杨和c . Meinel“图像与深度双向LSTMs字幕和多任务学习,”ACM交易多媒体计算、通信和应用程序,14卷,不。2、2018。视图:出版商的网站|谷歌学术搜索
32. t, s . Yu,徐b和h .阴,“复发性网络与注意力和卷积网络句子表示和分类,“应用智能,48卷,不。10日,3797 - 3806年,2018页。视图:出版商的网站|谷歌学术搜索
33. y Bengio”,学习深度为人工智能架构,”基金会和机器学习的趋势,卷2,不。1、1 - 127、2009页。视图:出版商的网站|谷歌学术搜索
34. j·h·弗里德曼,“贪婪的近似函数:一个梯度增加机器,”统计年报卷,29号5,1189 - 1232年,2001页。视图:出版商的网站|谷歌学术搜索
35. n . a . m . Wang史密斯和t . Mitamura危险模型是什么?在qa的准同步的语法。诉讼的联合会议上实证方法在自然语言处理和计算自然语言学习,EMNLP-CoNLL 2007页,22-32布拉格,捷克共和国,2007年6月。视图:谷歌学术搜索
36. j·彭宁顿、r . Socher和c·d·曼宁“手套:全球词向量表示,”学报2014年会议上实证方法在自然语言处理中,EMNLP 20141543年,页1532 -多哈,卡塔尔,2014年10月。视图:出版商的网站|谷歌学术搜索
37. d . Kingma和j .英航,”亚当:随机优化方法。”计算机科学,2014,https://arxiv.org/abs/1412.6980。视图:谷歌学术搜索
38. l . Yu k·m·赫尔曼·Blunsom和s . Pulman“深度学习答案句子选择,”计算机科学,2014,https://arxiv.org/abs/1412.1632。视图:谷歌学术搜索
39. a . Severyn和美国Moschittiy”,学习排名短与卷积神经网络,对”学报》第38届国际市立图书馆会议在信息检索的研究与开发,SIGIR 2015,页373 - 382,圣地亚哥,智利,2015年8月。视图:出版商的网站|谷歌学术搜索
40. 杨y, W.-T。Yih, m . c . Wikiqa“open-domain问答的挑战的数据集,”自然语言处理程序会议的经验方法2015年9月,里斯本,葡萄牙,。视图:出版商的网站|谷歌学术搜索
41. y苗、l . Yu和p . Blunsom“神经变分推理用于文本处理”机器学习程序的国际会议,页1727 - 1736,纽约,纽约,美国,2016年6月。视图:谷歌学术搜索
42. f . c . Tan,问:周et al .,“环境敏感答案句子与层次的复发性神经网络选择,”IEEE / ACM交易音频、语音和语言处理,26卷,不。3、540 - 549年,2018页。视图:出版商的网站|谷歌学术搜索

版权

版权©2019 Linqin Cai et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。