一种度量语义协同的新方法

摘要

一些复杂系统的一个有趣特征是形成宏观结构被认为具有不能降低到其微水平成分的特征。这种特性被认为是协同作用的表达，其中成分的关节作用产生了不可缩短的分离的行为或其简单的组合物的独特特征。在计算各种语言和概念构建的新兴含义的情况下，协同作用，表征复杂系统，已经很好地承认，但难以概念化和量化和量化。在本文中，我们提出了一种用于量化语义协同作用的新型测量/程序。这项措施涉及在生物学中提出的协同作用的一般概念。我们通过提供能力来验证这一措施，以便预测语言化合物的语义透明度（实验）名词的抽象等级（实验）.

1.介绍

一些复杂系统的一个有趣特征是形成宏观结构被认为具有不能降低到其微水平成分的特征。例如，我们认为水作为“湿”，而“湿润”不表征氢或由水的氧分子。在自然语言中，相同的新出现行为是显而易见的，其中单词化合物如热狗的意义不能沦为它们的成分或/及其组成性的含义。这种特征可以被认为是表达式协同作用当组成成分的联合作用产生独特的特征时，这些特征是组成成分的孤立行为或简单组成所不能还原的。

自然科学已发展了各种协同措施(例如，[1-3.]）（有关全面的审查，请参阅[4.])。它们中的大多数完全依赖于互信息的概念，例如，由[3.］．然而，对于协同作用并没有一个统一的衡量标准，将依赖于相互信息的各种协同作用衡量标准应用到“语义”环境中也并非易事。换句话说，描述复杂系统的协同作用已得到公认，但在计算新兴系统的背景下难以概念化和量化意义各种语言和概念结构。我们不熟悉任何一篇论文，其中的协同语义结构，这里描述为“语义协同”，已经被科学地测量。

在本文中，我们提出了一种用于量化语义协同作用的新型测量/程序。这项措施涉及在生物学中提出的协同作用的一般概念。我们通过提供能力来验证这一措施，以便预测语言化合物的语义透明度（实验）名词的抽象等级（实验）.为清楚起见，我们首先解释并说明语义协同效应的含义，然后介绍措施并测试它。由于该措施与来自社会科学和人文学科的人有关，因此不一定具有信息理论的背景，通过几个完成的例子，已经努力提供了明确的主要思想的阐述。

2.语义协同与复合词

为了引入语义协同效应的思想，我们使用语言化合物的示例。当两个或多个单词或更精确地“lexemes”连接时形成语言化合物以产生新单词。复合词不是词典的边缘语言元素，并认为复合是伴随着语言的出现的第一个过程之一[5., 1页)。

这些成分在多大程度上对化合物的意义起作用是在标题下讨论的语义透明性[6.-9.］．例如，Seafood是一种高度透明的化合物，因为Sea和Food都有助于它的含义。毕竟，海鲜是我们从海里得到的食物。相比之下，单词Dog似乎有助于理解复合词Hotdog的意思，除非你理解“Hotdog”表示的香肠和腊肠之间的视觉相似性，这种理解是基于具体的文化知识。Hotdog的例子清楚地说明了语义的协同作用，因为这个复合词的意思既不能简化为Hot，也不能简化为Dog，甚至不能简化为它们的简单组成。如果一个聪明的外星人试图通过查询《牛津英语词典》中“热狗”和“热狗”的定义来理解“热狗”的意思，他可能会遭遇失败。一件轶事可以进一步说明这一点。六十年代初，第一作者的一位老朋友访问了英国，他生平第一次看到一个卖香肠的摊子，上面挂着“热狗”的牌子。尽管英国人非常喜欢狗，但他们也吃狗肉做的香肠，这让他感到震惊。

在Hotdog的情况下，在化合物的语义透明度要高得多的情况下也是显而易见的。在其语义透明度方面，复合指南中的复合指南评分为顶部化合物[10］．然而，即使在这种相对简单的情况下，也没有简单的计算过程来推断它的意义，从它的成分的意义，如它相对较老的习得年龄，大约是5岁。在这种情况下，必须澄清的是，术语“语义透明性”和“语义协同”尽管在概念上相关，但在概念上没有混淆。语义透明性是一个令牌，它实例化了语义协同的一般机制。然而，语义透明不能等同于语义协同。一个化合物的意义可以从其成分中派生出来的程度，与包含在化合物中的信息为我们提供超出成分提供的信息的附加价值的程度是不一样的。正如我们在实验中所展示的，语义透明度与我们的语义协同措施之间的相关性是显着的，但远非完美，如果两个概念相同，那么应该是这种情况。

在理解语言复合词背后的认知过程方面已经进行了大量的工作。此外，还有一些值得注意的尝试，试图建立“语义组合”的计算模型(例如，[11])。然而，了解对化合物的理解和开发这些过程的可行计算模型的认知过程远远不受当前纸张的范围并完全超出当前纸张的范围。我们使用Word化合物和单词的抽象水平的上下文仅用于验证我们的语义协同措施。因此，我们的主要目标是新措施的发展和验证。

在本文中，我们首先使用单词化合物的情况来测试我们的语义协同措施。虽然化合物的语言和计算模型已经显示了组分对化合物的语义透明性的贡献（例如，[6.那12)，这一点从心理学研究[7.复合词的意思不是简单地由各个部分构成的。因此，复合词的语义透明性可以作为一个测试案例来验证我们的语义协同度量。然而，我们反复强调这一点，这篇论文并没有假装模拟化合物的认知加工或建立理解化合物的计算模型，尽管它可能与这两个挑战都有一些关联。

3.意义和分布语义

前面我们已经提到，协同措施很大程度上依赖于相互信息的概念。基于相互信息的协同措施并不需要处理“意义”，因为它们只关注减少不确定性。然而，任何试图发展一种衡量语义Synergy应该解释它依赖的具体意义感，并且这种意义嵌入了测量过程中的方式。在这里，我们采用“分布语义”的想法（[13那14]）为了澄清如何表示意义。“分布语义基于类似上下文中发生的词语的假设往往具有类似的含义（Harris，1954; Firth，1957）。该假设自然导致矢量空间模型，其中单词由上下文向量表示（Turney＆Pantel，2010）“[14, 1页)。在这种情况下，我们可以考虑热狗的意思，例如，通过使用与它搭配在一个大的英语语料库。例如，检索当代美国英语语料库(简称COCA) [15]对于Hotdog的右/左/左/左侧的单词，我们识别诸如面包，番茄酱和芥末等搭配。我们可以将这些单词组织为一个基础为一个“上下文向量”其中值是搭配'频率或概率。该载体可用于代表热狗为各种实际应用的含义，实际上，在自然语言处理和计算认知的背景下，分布语义的这种简单概念已经被证明是极其强大的。鉴于Hotdog及其成分（即，Hot和Dog）的含义可以通过使用其上下文向量来表示，我们如何测量词复合的协同作用？

4.测量语义的协同作用

在基因相互作用的背景下，[1提出了两者之间的协同作用和关于可能正式化如下： ,““表示成分之间的相互信息。当适用于化合物的背景时，这种制定背后的想法在其简单性上吸引人;在从成员加入贡献中减去各个组成部分的独特信息的总和后，协同作用是仍然存在的。类似地，我们建议单词的语义协同作用和，就一个复合词而言，可以概念化为使用的唯一上下文向量所获得的信息和用于近似上下文向量减去逼近时获得的信息通过简单地将得到的信息相加的近似以及使用时获得的信息近似．我们应用的玩具例子可以更好地阐明这个想法Kullback-Leibler分歧衡量。

让我们假设我们想衡量复合海鲜词的语义协同作用。我们搜索Coca的海鲜，海洋和食品的搭配，将这些搭配集团成一袋单词，作为我们的矢量的基础。这袋单词可能包括以下词：蟹，盐，服务，虾餐厅，水和葡萄酒。

接下来，我们用上面的包词来组成一个分享基础对于海鲜，海和食物的上下文载体。我们使用指示目标字（即海鲜，海和食品）的每个单词的值来加载vectors。见表1．

此时，我们可能希望通过使用海洋和食物的分布来近似海鲜（即其含义）的分布。根据分布假设，可以通过使用其上下文向量来表示海鲜的含义。因此，通过使用海洋和食物的分布近似海鲜的分布可能表明，在修改海上和食品的前后分布（即，Senses）的信仰时，我们在海鲜的后验分布时获得了多少信息。如果海鲜的含义是其成分的协同产物，那么通过其上下文向量表示的海鲜的含义，通过其上下文向量所代表的所表现意见，应该涉及一些收益作为信息的信息在海鲜中代表不能完全近似于海洋和食物中的信息。增益越高，协同作用越高。在这里，我们可以使用Kullback-Leibler分歧，这是一个不对称度量两个概率分布之间的差异和：

我们可以使用通过使用其每个组成部分的分布来近似单词复合海鲜的分布。这是一个详细的例子，显示了我们如何将海鲜通过海和食物近似的分布。

表格1向我们展示，餐厅与海鲜并沉淀的概率为0.70，其概率与大海并沉淀为0.09。因此，我们首先计算 接下来，我们看到将螃蟹串联螃蟹的概率为0.05且海水0（转换为0.001）。因此，我们计算 等等。我们将这些表达式归纳如下:（) =．

同样，我们计算了食品和海鲜的差异度量。（）= 2.85，和（）= 4.70。这些结果表明，通过使用海洋而不是使用食物更容易近似海鲜的上下文向量。

5.实验

5.1。实验1

5.1.1。方法

在下面的小节中，我们将介绍我们的数据集和用于度量语义协同的过程。

5.1.2中。数据集

对于第一个实验，我们使用了[10］．该数据集包括629个语言化合物，以及由人类评委根据熟悉度(FAM)、习得年龄(AoA)、语义透明度(TRANS)和图像性(IMG)等相关指标对它们进行评级。语义透明度是指从复合词的成分中可以推断出复合词的意义的程度。可象性是指化合物可以被想象到的程度。由于TRANS可以被认为是语义协同的表达，所以它是第一个实验的重点。

5.1.3。程序

我们用复合词表示每个词，左字单词，以及正确的词as．对于每个单词，我们在COCA中搜索在目标单词的左右4个位置的搭配。从这个列表中，我们筛选出300个最常见的词素形式的单词(）只属于名词，动词和形容词的词性，并且（）使用我们的目标字（那,）.第二个限制旨在过滤掉高频率和嘈杂的搭配。每个列表都存储为单词包和单词包那,统一为一个唯一单词(即引理)的列表，最大基数为900。从这个列表中，我们删除那,．该列表被组织为形成上下文向量的唯一单词的字母列表。此基础用于描述那,．接下来，我们构造特定的向量那,通过加载每个引理的频率并将频率转换为概率。我们定义了三组单词和四个向量：（1） 1由与之搭配的引理的概率组成的向量（2）放_1：这意味着，首先，我们识别交叉点处的单词和和它们的频率。从这个单词列表中，我们“删除”同样存在于∩ ．在这个过程完成后，剩下的唯一单词将被识别在基中，并装载值以形成一个有标题的向量独特_ ．（3）放_ ：

它计算与set_相同但这一次，我们识别存在的词语∩ 但并不存在∩ ．再次，最终矢量，标题为独特_ ，由构成基的900个相同的单词组成，但只有存在于at的单词才有不同于0的值∩ 但不存在∩ ．（4）set_joint.=∩ ∩

这次，我们识别三个单词交叉口存在的单词（即，∩ ∩ )和向量，标题联合的，包括900字，但只有包含在内的单词set_joint.不同于0的值是它们的频率的和那,转换为概率。

每个向量被转换为一个概率向量，其中值0被转换为0.001。在接下来的步骤中，我们将基于“软”版本的Kullback-Leibler Divergence得出三个指标。这些是信息的度量获得，因为他们向我们提供了关于从成分的上下文载体的上下文载体或其共享语义空间的上下文载体的先前分布到化合物的上下文载体时所获得的信息。措施的一般结构非常简单：

在哪里总是和是唯一的_， 独特_或联合。（1）第一个措施标题为获得_ ， 在哪里=和=．在这种情况下,是唯一的向量吗正如我们之前计算的那样。（2）第二项措施有标题获得_ ， 在哪里=和=．在这种情况下,是唯一的向量吗正如我们之前计算的那样。（3）第三个措施标题为Gain_Joint， 在哪里=和=联合的．复合词的语义协同测度计算如下:（5）Semsyn =.）.因此，语义协同被定义为（1）当试图使用所分配的元素的先前分配来估计化合物的分布时获得的信息那,乘以的基数set_joint., -（2）信息增益的总和独特的先验分布的乘以set_的基数加上从独特的先验分布的乘以set_的基数．

我们没有使用Kullback-Leibler Divergence作为其对数函数的组成部分，我们想用它来识别协同效应。当使用上面函数的一个版本进行试验时，结果略逊一筹。此外，我们将信息增益乘以每个相关集的基数，因为发现在单词的语义场交叉处存在的单词数量与化合物的语义透明度相关，一项发现，与表明成分在决定化合物透明度方面的作用的文献一致[12］．

5.1.4。分析和结果

表格2显示了语言复合词的各种测量方法之间的皮尔森相关性(）.只有在，并强调与TRANS的相关性。

假设1。我们假设如果我们的语义协同措施（即，Semsyn）有效，则Semsyn和Trans（假设）之间应预期负相关性1a）随着越多的协同作用而言，在语义上的透明度越透明，学习它的时间越多（获得的收购年龄）（假设1b），它越熟悉（假设1c)，越难以想象(假设)1d)。3.提出了我们的协同措施与上述措施的相关性。

所有结果都在统计上显着．人们可能想知道TRANS和SemSyn之间的相关性是否受频率的影响和在我们的语料库中。要解决这个问题，我们再次测量了相关性，这次通过控制频率和．由此得到的皮尔逊相关系数仅略低于之前得到的()，表明组分的频率对TRANS和SemSyn的相关性影响不大。

我们可以看到我们的第一个假设，并得到了各种变体。有趣的是，在化合物的措施中，最高的相关反应是用AOA的）和IMG（.394）。这意味着该化合物的语义透明度越高，孩子们的学习越早，而且它更具想象力。在这种情况下，在表中看到它很有趣3.语义协同措施与Trans相关联相同的程度转变与AOA和IMG相关。该结果表明，语义协同作用的新措施可以预测与化合物的收购年龄及其偶然程度相同的语义透明度。

另一种测试主要研究假说的方法（即，假设1a）通过比较语义透明度测量值高或低的化合物的协同效应评分。在这种情况下，我们应用极端群体研究设计．我们已经确定了在TRANS (H)上得分最高的前25%的化合物，并将它们与得分最低的25%的化合物(L)进行了比较。使用单向方差分析，两组之间的差异在统计学上是显著的(那)，其中Partial Eta Squared = 0.223，根据科恩的行为科学规范认为是a大的影响的大小。正如预期的那样，语义上不那么透明的化合物(L)在测试中的平均得分更高SemSyn测量（-250与-541，RESP。）。

假设2。SemSyn被发现与TRANS呈线性相关，这一事实并不表明它有能力成功地将化合物分类为透明或非透明。在分类任务中使用SemSyn，通过应用机器学习程序，可以进一步支持其有效性。因此，我们还在一个分类任务中测试了语义协同度量的有效性，其中SemSyn作为语义透明性上将化合物分类为L或H的唯一特征。

我们已经假设Semsyn将为我们提供预测，在透明度上的额定额定值的预测显着增加。通过将化合物在透明度上的额定额定额定低的概率比较透明度来判断预测的这种显着增加，因为分类器预先预测它（即分类器的精度）。将精度与预测进行比较，我们可以使用我们数据集中L案例的基本速率来获得。在我们的数据集中，50％的化合物被标记为L，因此可以认为任何高于50％的精度衡量标准。我们使用了两种机器学习分类程序：（1）分类和回归树(CRT)模型与十倍交叉验证程序（2）这K.-最近邻算法(-NN)的距离计算和十倍交叉验证过程的欧几里德度量

结果显示在表中4.在机器学习和自然语言处理的规范之后，使用分级器的精度，召回和准确性来评估其性能。

精度是L种情况下L种情况中L种情况的真实百分比。召回率是我们数据集中标识为L的分类器的案例占所有L案例的百分比。准确率是分类器正确识别L格(即分类器正确识别的化合物，其语义透明度较低)和正确识别非L格的总体指标。准确度和召回率的测量是指在预测低透明度化合物方面的成功。我们可以看到，这两个分类器在预测方面都比基础率(50%)有显著提高，平均提高了20%。这些结果进一步支持了我们测量的有效性。

在第一个实验中，我们验证了我们测量的语义协同在词的上下文。非常重要的是要强调这样一个事实，即我们使用了复合词的上下文来验证我们的测量，并且无意与旨在预测复合词的各个方面(如语义透明度)的算法竞争。我们已经提到了其中一些尝试(例如，[11)，但这篇论文却有一个完全不同的目的。然而，研究我们的语义协同度量与语义距离度量的预测能力之间的预测价值是很有趣的。根据化合物与其组成成分之间的语义距离，可以预测化合物的语义透明度。语义协同度量是否有超出这些语义距离的预测价值的贡献是一个悬而未决的问题。为了回答这个问题，我们使用了语义的向量空间模型[14]具体使用术语矩阵由[16］．相对于术语到文档的LSA模型，我们更喜欢这个矩阵，因为它在术语到词汇-上下文关联方面保留了相似度的共同意义，而且它已经成功地用于认知和社会计算的各种研究。使用术语到文档的矩阵，我们测量了每个词和它的第一个成分之间的语义距离，并为这个新的测量命名_compound。同样，我们测量了复合词和第二个词之间的语义距离，并命名为新的测量_compound。回想一下，我们的协同测量和化合物的语义透明度之间的皮尔逊相关为−0.40。皮尔逊相关_compound和反式是（之间）之间_compound和反式是（）.Semsyn与之呈负相关_compound (),_compound (那），意味着成分的语义协同率越高，它们的载体与单词化合物的载体之间的距离越低，如术语预期。一种测量相对贡献的更好方法_compound,_Compound和Semsyn用于预测化合物的语义透明度是通过重复CRT分析并将化合物分类成低透明性化合物和高透明度化合物。使用带有十倍交叉验证的CRT分类器和_compound和与仅使用SemSyn获得的准确率相比，复合特征给了我们更好的准确率(分别为76%和72%)，但召回率较低(分别为69%和87%)，准确率略低(分别为74%和76%)。当进入_compound,_compound和SemSyn加入到模型中，我们获得了最高的精度(82%)和准确率(77%)，但召回率(71%)略低。特征的归一化重要性表明SemSyn在模型中具有最高的归一化重要性(100%)，其次是_compound（89％）和_compound(40%)。同样，设计预测语义透明性的最佳算法完全超出了本文的范围。然而，我们所进行的补充分析证明，我们的语义协同度量可能有助于预测语义透明度，而不是通过一个强大的模型来衡量组成部分的语义距离。

对主要研究问题的另一个补充分析可能涉及词位意义优势的作用[10］．词位意义优势度(LMD)测量的是第一/第二词位在决定整个化合物意义上的相对优势度。在我们的数据集中，LMD是在一个范围从0(即整个化合物的意义在第一个词位)到10(即整个化合物的意义由第二个词位决定)的尺度上测量的。在[10， LMD测试中得分为4分或更低的化合物被命名为“Headed”，得分为6分或更高的化合物被命名为“Tailed”。在我们的数据集中，139个化合物被鉴定为“Headed”(45%)，167个化合物被鉴定为“Tailed”(55%)，表明第二词位占优势。

要记载，我们已经计算了通过第一个lexeme的载体近似于近似化合物的载体来获得的信息（即，Gain_)和第二个词位(即Gain_）.增益得分越高，使用组分的载体近似近似化合物的含义越困难。可以通过使用这些措施来解释LMD，因为第一和第二lexeme的相对主导地位应以在试图通过使用每个组分的载体近似化合物的含义时所获得的信息来表达。因此，我们可以假设在比较增益措施上的头部和尾化化合物时会发现显着差异。

使用LMD作为因子(即头尾化合物)的MANOVA和两个增益测量作为自变量，两组之间发现了统计学上显著的差异(那）.但是，差异在统计上仅为GAIN_措施 （)，而尾化合物得分较低(相对、职责)。这意味着，由第二个词位决定复合词整体意义的Tailed复合词，是指第二个词位的上下文向量与整个复合词的上下文向量的意义“更接近”的复合词。有趣的是，第一词位的信息增益不对称，表明词汇语义优势与第一词位和第二词位提供的信息不对称且关联不大。

5.2。实验2

在第一个实验中，我们使用了复合词来验证我们的测量。我们假设，如果化合物的语义协同得分有效，则语义协同得分与语义透明度得分之间存在显著的负相关。研究结果为测度的有效性提供了一定的实证支持。但是，对度量的验证不可能仅凭一种情况就完成，因为语义协同不一定要用语义复合来表示。另一个测试用例涉及单词的抽象性/具体性评级，将在下一节中解释。

根据[17]，单词的含义可能归因于两个维度：体验和分布。经验维度涉及意义的感知方面。例如，樱桃的含义在很大程度上决定了樱桃的感知方面，是红色，小，圆形，甜味等。可以立即理解，具体话语的含义似乎更加倾向于他们的感知体验维度或与它们并置的词语的感知维度。识别COCA中樱桃的搭配并记住它们，我们可能很容易识别它们围绕性质（例如树）和食物（例如，馅饼）组织。

意义的分布维度涉及到一个词的意义是如何从它与其他词的联系中派生出来的。例如，“民主”一词指的是一个与可感知实体无关的概念。民主的意义完全取决于它与其他词语的联系，这些联系决定了民主作为一种特定形式的政府的意义。可见，意义的分布维度与词语的抽象性水平有着深刻的联系。更抽象的词的意义更依赖于分布维度。在这种情况下,我们可以假设一个词的具体性/抽象性评级应该与它的分数相关的语义协同的含义抽象词不能平凡地减少任何感性实体或句话说通过它定义的意义;而民主的含义可能是句话说定义其语义网络的协同作用的产物,樱桃的意义可能是不合作的,因为它依赖于一个简单的和感性的成分(例如,颜色,形状,大小和口味)或单词的意义联系在语义网络(如苹果,草莓)。因此，我们假设一个词的抽象性将与我们的语义协同量呈正相关。

5.2.1。数据集

我们使用了一个数据集，其中包括37058个英语单词的具体程度评级，这些单词来自4000多名参与者[18］．每个参与者被要求用一个从抽象到具体的5分制量表来评价这个词。我们在数据集中确定了名词，并选择了前150个具体词和前150个抽象词。

5.2.2。程序

让我们表示我们分析的每个目标词语（)。我们首先根据实验中使用的相同程序确定每个目标词的搭配．接下来，我们选择了两个排名靠前的搭配(仅限名词)，记为和，并递归地确定了自己的搭配。从这一点开始，程序与实验中使用的程序完全相同，但用Abs来代表．这个想法是，根据意义的分布维度，将我们的信念从构成目标语义上下文的词的前一个上下文向量，更新到目标的后验上下文向量，需要更多的努力。因此，抽象性与语义协同是正相关的。

5.2.3。分析和结果

有在我们的数据集中，149个词表示数据库中最具体的名词(51%)，其余的是最抽象的词(49%)。抽象性与SemSyn有统计学意义(那），Semsyn的标志已经转向负，以便提供对抽象排名从混凝土开始抽象的结果的简单解释。计算线性回归以基于其协同评分预测单词的抽象水平。找到了一个统计上显着的回归方程（那),0.288。为了检验SemSyn的预测能力，我们应用了两个机器学习分类程序。结果显示在表中5.．

假设我们的数据集中抽象词的基本率为49%，平均精度为71%，这意味着预测提高了22%。这些结果表明了协同效应的预测能力，从而为协同效应的有效性提供了另一层实证支持。

6.结论

着名的GESTALTL口号“整体与其部件的总和”是新兴结构的清晰迹象，呈现协同过程的指纹。必须注意，这一协同效应至少在理论上是难以依赖于互信息的措施来捕获的。Synergy涉及在分析的尺度转变，而互相信息的衡量标准没有直接解决缩放的这种变化。这个理论点可以通过计算物理和Landauer原则来解释[19］．文献[19]认为，每当系统删除一些信息时，此过程都是不可逆转的，并且伴随着熵的最小价格，该熵释放到环境中。在从某些输入中产生某个输出的计算过程中，此价格是明显的，例如在特定实例中形成抽象语义类别的情况下[20.］．例如，在Hot and Dog中计算Hotdog时，需要在计算Hotdog的新结构时丢失一些成分信息。换句话说，在一个不可逆的自然计算过程中，在不同的分析尺度之间转换时，化合物的形成需要一些信息的丢失和一些信息的获得。在这种情况下，基于相互信息的协同措施不能直接用于代表获得和损失伴随语义结构的出现。

在本文中，我们已经迈出了开发语义协同度量的第一步。这种度量考虑了上下文向量之间的转换所带来的信息增益(和损失)，保留了协同过程所带来的信息增益/损失的概念，以及向量在语义协同的上下文中所操作的语义表示。

这种语义协同措施的措施具有超出特定和有限的上下文的各种应用，其中在该具体研究中已验证。例如，可能有兴趣研究某些概念（例如，上帝，爱和达尔文主义）的方式通过历史改变。解决这一挑战的一种可能方法是通过将这些概念的语义字段追溯到所上下文向量的实例化所经历的变化。但是，量化这种变化远远不断微不足道。从我们的语义协同措施的衡量标准导出的一种可能的方法是追踪概念的语义协同变化的方式。分析该措施的轨迹可用于识别概念的演变中的“提示点”和历史地标的变化。这个想法和其他人可能是值得开发的，研究人员是一个语义协同概念可能是价值的。

相互竞争的利益

提交人声明他们没有竞争利益。

参考文献

1. D.Anastassiou，“多种交互基因之间协同作用的计算分析”分子系统生物学，第3卷，第2期。2007年第83条第1款。视图:出版商的网站|谷歌学术
2. V. Griffith，量化协同信息论文)，加利福尼亚州理工大学2014年。
3. P. L. Williams和R. D. Beer，“多元信息的非负分解”，https://arxiv.org/abs/1004.2515．视图:谷歌学术
4. N. Timme，W. Alford，B. Flecker和J. M.Beggs，“协同作用，冗余和多元信息措施：实验主义的观点”计算神经科学杂志第36卷第2期2，页119-140,2014。视图:出版商的网站|谷歌学术
5. C. Semenza和C. luzzatti，“组合大脑中的话语：复合词的加工。介绍特刊，“认知神经心理学，卷。31，不。1-2，pp。1-7,2014。视图:出版商的网站|谷歌学术
6. M. J. Bell和M.Schäfer，“建模语义透明度”形态学第26卷第2期2, pp. 157-199, 2016。视图:谷歌学术
7. S. Frisson，E. Niswander-Klement和A. Pollat​​sek，“语义透明度在英语复合词的处理中的作用”英国心理学杂志，卷。99，没有。1，pp。87-107，2008。视图:出版商的网站|谷歌学术
8. G. Libben，《化合物处理中的语义透明度:表征、处理和损害的结果》大脑和语言第61卷第1期第1页，30-44页，1998。视图:出版商的网站|谷歌学术
9. G. Libben, M. Gibson, Y. B. Yoon，和D. Sandra，《复合断裂:语义透明性和形态学标题的作用》，大脑和语言，卷。84，否。1，pp。50-64,2003。视图:出版商的网站|谷歌学术
10. B. J.Juhasz，Y。 -赖，和M. L. Woodcock，“一个629英语复合词的数据库：熟悉的评级，lexeme意味着主导地位，语义透明度，收购年龄，想象力和感官体验”行为研究方法，第47卷，第47期。4, pp. 1004-1019, 2015。视图:出版商的网站|谷歌学术
11. P. D. Turney，“语义的组成和分解:从识别到生成”，https://arxiv.org/abs/1405.7908．视图:谷歌学术
12. S. Reddy, D. McCarthy, and S. Manandhar， "复合名词组合性的实证研究"，刊于第五届国际自然语言处理会议论文集，第210-218页，清迈，泰国，2011年11月。视图:谷歌学术
13. 美国克拉克词汇意义的向量空间模型。当代语义学手册， Wiley-Blackwell，纽约，纽约，美国，第二版，2012。
14. P. D. Turney和P. Pantel，“从频率到含义：矢量空间模型的语义，”人工智能研究杂志， vol. 37, pp. 141-188, 2010。视图:出版商的网站|谷歌学术
15. M. Davies，“3.85亿词的当代美国英语语料库(1990-2008 +):设计、建筑和语言学见解”，国际语料库语言学第14卷第2期2，第159-190页，2009。视图:出版商的网站|谷歌学术
16. P. D. Turney, Y. Neuman, D. Assaf，和Y. Cohen，“通过具体和抽象语境的字面和隐喻意义识别”，发表于自然语言处理中实证方法的会议会议（EMNLP '11），pp.680-690，爱丁堡，苏格兰，2011年7月。视图:谷歌学术
17. M. Andrews，G.Vigliocco和D. Vinson，“整合体验和分配数据来学习语义表示”，“心理评估，卷。116，没有。3，第463-498,2009。视图:出版商的网站|谷歌学术
18. M. Brysbaert，A. B. Warriner和V. Kuperman，“具体评级评分为40万人普遍已知的英语单词LEMMAS”行为研究方法第46卷，第46期3, pp. 904-911, 2014。视图:出版商的网站|谷歌学术
19. C. H. Bennett和R. Landauer，“计算的基本物质限制”科学美国人，第253卷。1，第48-56页，1985。视图:谷歌学术
20. B. Tamir和Y. Neuman，分类的物理学，复杂性，2015年。

版权

版权所有©2017 Yair Neuman等人。这是一篇发布在创意公共归因许可证，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。