基于位置的社交网络联合深度推荐框架

摘要

基于位置的社交网络，如Yelp和Tripadvisor，允许用户与他们的朋友分享访问地点的体验，近年来越来越受欢迎。然而，随着越来越多的地点变得可用，对能够提供个性化建议的精确系统的需求就会增加。通过提供这种服务，兴趣点推荐系统吸引了不同社会的兴趣，从而改进了方法和技术。通过利用额外的数据更好地了解用户的偏好，深度学习为进一步增强这些系统提供了令人兴奋的机会。在这项工作中，我们建议基于文本和上下文嵌入的神经网络推荐(TCENR)是一个深度框架，它使用上下文数据，如用户的社交网络和地理空间数据，以及文本评论。为了更好地利用这些输入，我们使用了多种最适合每种类型数据的深度神经网络。TCENR采用流行的多层感知器来分析系统中的历史活动，而文本评论的学习则使用建议框架的两种变体来实现。一种是基于卷积神经网络从文本评论中提取有意义的数据，另一种是采用递归神经网络。我们提出的网络通过Yelp数据集进行评估，发现在准确性、均方误差、精度和召回方面优于多个最先进的基线。此外，我们还对推荐系统的设计选择和超参数进行了深入的了解，希望揭示深度学习对基于位置的社交网络推荐的好处。

1.介绍

在当今的信息时代，它已成为在做出任何决定之前具有可靠数据的先决条件。最好是，我们希望在投资我们的时间和金钱之前从志同道合的用户获得评论，以获得任何产品或服务。基于位置的社交网络（LBSN），例如Yelp，TripAdvisor和Foursquare，提供有关潜在位置的此类信息，同时允许用户与其朋友和其他具有类似品味的用户连接。事实上，这些网络正在获得普及。yelp最近（https://www.yelp.ca/factsheet每个月每月都有7200万个移动活跃的用户，而TripAdvisor每月达到3.9亿用户（https://www.tripadvisor.com/tripadvisorinsights/w828）．但是，由于LBSNS拥有更多具有各种偏好的用户，并且每天正在添加其他位置，因此在查找适当的餐厅或地点访问之前，浏览所有可能性变得耗时。

兴趣点(Point-of-interest, POI)推荐是推荐系统(recommendation systems, RS)的一个子领域，它试图为LBSN用户提供个性化的建议。如果使用得当，它可以为最终用户节省时间和精力，并鼓励用户将来在LBSN中同时作为消费者和内容提供者使用。协同过滤(CF)可能是最突出的RS范式。它是基于这样的假设:过去有类似活动的用户将来也会有类似的偏好。

虽然POI推荐方法通常试图解决与标准推荐系统类似的问题，但它们需要克服额外的挑战。首先，通常被称为冷启动问题的数据稀疏性是基于这样一个事实:大多数用户只会与可能的位置的一小部分进行交互，反之亦然。当采用CF方法时，在变化较大的情况下，很难根据过去相似的活动来表示用户和位置。对于系统很少或不知道过去的交互的用户和位置来说，这个问题更加严重，因为可用数据不足以完全捕获它们的特性。其次，与其他推荐方案不同，是否访问某个地点的决定不仅取决于目标用户的喜好，还取决于她的朋友的喜好[1]．他们可能共享系统未知的不同兴趣，导致RS需要学习的决策过程更加复杂。此外，与位置本身相关且系统未知的属性可能会对决策产生影响。例如，是否有停车场或公共交通便利，或该地区本身的受欢迎程度，都可能是用户的决定性因素。这些挑战证明了经典的CF方法是不够的，容易像以前的工作报告的数据过度拟合[2，3.]．

通过利用社交网络（如社交网络）的常规方法来解决稀疏性的常见方法是通过使用上下文数据[2，4、地理位置[5，6类别[1，以及文本回顾[7，8]．近年来，深度神经网络已被广泛采用[2，9，10.]采用此类复杂的上下文输入，同时能够处理大量可用数据。已经引入了不同的神经网络架构来改善推荐性能，例如多层的感知（MLP）[3.，11.，12.]，卷积神经网络（CNN）[13.- - - - - -15.]，以及递归神经网络[16.- - - - - -18.]．这些技术可以从添加上下文属性中获得极大的好处。随着越来越多的数据可用，整合这些特性为改进个性化的POI推荐过程提供了一个很好的机会，本文将对此进行说明。

虽然众多作品建立了基于深度学习的推荐系统的潜力，但大多数人都专注于单一类型的神经网络，最适合他们给定的任务。然而，在这项工作中，我们打算包含多种类型的神经网络，即MLP，CNN和RNN，以使用各种类型的输入提供POI推荐。首先，我们将描述我们提出的方法，基于文本和上下文嵌入的神经网络推荐该框架利用用户的社交网络、地点的地理数据、文本评论以及历史活动，提供个性化的top-k POI推荐。通过联合优化MLP和CNN，所提出的模型将学习相同用户位置交互的不同方面，因此将更适合捕捉用户选择的潜在因素。然后我们将给出TCENR的扩展，记为 ，在那里我们用RNN的CNN组件替换CNN组件并尝试通过将书面评论视为顺序输入来尝试学习用户偏好和位置属性，而不是通过专注于最重要的单词来缩小。虽然已经开发了所提出的解决方案，但为特定类型的输入提供了建议，但我们声称可以轻松地推广到能够支持其他功能的框架。

我们工作的主要贡献如下:（1）我们呈现TCENR，这是一个联合列车和CNN提供POI建议的框架，以及变异， ，执行相同的任务，同时采用RNN代替CNN组件。(2）据我们所知，在使用社交网络、地理位置和自然语言评论作为输入，联合训练MLP和CNN完成POI推荐任务方面，还没有做过任何工作。（3）通过对Yelp数据集进行评估，发现我们提出的框架在准确性、MSE、精度和召回方面优于7个最先进的基线。（4）通过对比这两种替代模型，我们深入了解了文本评论作为普通过去互动的二次输入的影响，以及CNN和RNN在相同实验设置下的情感分析任务的比较。（5）我们进一步对我们提出的网络中最重要的超参数和设计选择进行了全面的分析，揭示了深度神经网络在POI推荐任务中的不同组成部分。

在以下部分中，我们首先将背景介绍并向我们的模型引入相关的工作。在部分3.我们发展我们提出的框架，这是评估和分析，节4．最后，我们总结了我们的工作，并在部分中介绍了未来的工作5．

2.相关工作

包含有关用户和项目的其他数据是提供有意义的建议并减轻冷启动问题的常见策略。在POI推荐系统的区域，其中数据很稀疏，这种做法是必不可少的。

2.1。基于上下文的推荐系统

基于位置的社交网络通常丰富的上下文输入，目前为卢比提供了各种数据富集的机会。这些特征包括时间[9，空间位置[19.，用户的社交网络[4，项目的元数据[1]， 相片 [20.，以及人口统计资料[11.]．

上下文数据通常作为输入的一部分或作为正则化因子并入RS。参考 [11.，21.]利用基于mlp的网络在建模复杂关系方面的优势，将多个特征嵌入到输入中，然后将其输入到一系列非线性层中。最后一层的输出是用户-项目交互的表示，根据给定的上下文进行调整。序列性通常被引入到推荐系统中，通过及时处理过去用户和商品交互的序列。在POI推荐的情况下，它包括将签入序列输入到基于rnn的层，如长-短期记忆(LSTM) [22.]或更简洁门控复发性单位（GRU）[23.]．

空间数据的使用通常通过将输入空间划分为角色和区域来完成。假设用户在离家很远的时候行为会有所不同，之前的作品[5，6为每个用户生成了两个配置文件，一个在她的家乡使用，另一个在更远的地方使用。最近的方法[24.- - - - - -26.]试图将输入空间分成地理区域，然后经常通过分层结构融入模型之前。尽管基于区域和角色的方法能够更好地区分不同位置的用户行为，但它们不提供个性化的用户表示，并且可以忽略从一个区域到另一个区域的偏移偏移的潜在变化。例如，用户可能更愿意访问不同地区的星巴克位置，关闭或远离家庭。在[中，富集了附加数据的地理特征25.，27.]其中的下一个位置预测由过去的签到的序列被部分确定。然而，这些方法不是通用的，不能扩展到包括额外的特征，从社交网络或文本数据导出。

此外，对于高度稀疏环境中的任务，如POI推荐、添加特定于用户或项目的输入，可能会降低模型的泛化能力。然而，采用相同的数据作为调节因子可以提高模型的性能，减少过拟合。在[4]，社交网络中连接用户之间的相似性用于约束矩阵分解（MF）模型。参考 [2]利用社交网络和地理距离来加强对用户和位置的类似嵌入，从而提高了模型对很少历史记录的用户和位置的一般化能力。

２.２.基于文本的建议

由于许多网站鼓励用户对他们的数字评级提供书面解释，文本评论是最受欢迎的数据类型之一，被集成到RS中。以前的工作采用基于概率的方法，使用文本输入来缓解数据稀疏问题[28.- - - - - -31.]．通过将每个评论表示为一个词汇包，基于lda的模型能够提取出可以用来表示用户兴趣和位置特征的主题[5，6，25.]．这些概率方法通常能够成功地处理标准CF方法难以解决的问题，比如类似用户缺乏足够的历史数据时的外地推荐。然而，正如最近的研究表明[17.，32.]，未能保持单词的原始顺序和忽略它们的语义，阻碍了给定回顾的成功建模。另一方面，采用神经网络取代评论的新兴趋势允许这样的学习而不丢失数据。这些实现通常可以分为基于rnn的[17.，18.[基于CNN的[14.，15.)模型。

基于rnn的推荐系统通常依赖于句子的顺序结构来学习它们的意思。在[18.，则将描述目标项的单词输入到双向RNN层。遵循GRU体系结构，该模型利用来自连续单词的累积上下文来更好地表示每个单词。为了保持和更新单词的上下文，递归模型需要管理大量的参数。当采用流行的LSTM范式时，如[17.]．

继它在计算机视觉领域的成功之后[33.]基于CNN的模型在其他领域获得了普及，例如文本建模[34.]．通过采用在给定文档的滑动窗，这样的网络是能够通过识别词语的相关子集来表示文本中发现的不同的特征。参考 [15.遵循标准的CNN结构，包括嵌入来表示每个单词的语义含义，卷积层用于生成本地特征，以及最大汇集操作以识别最相关的因素。在[14.]，建立两个CNN，以基于其评论来表示目标用户和项目。得到的向量被视为用户和项目表示，然后将其馈送到非线性层以学习它们的相应额定值。

我们声称，通过联合学习上下文和基于文本的深度模型，我们提出的方法将更好地利用协同过滤的优点，同时更适应其在稀疏场景中的缺点。这将通过学习用户和位置在直接交互中的相似性，以及从他们的书面评论中提取的潜在特征的相关性来实现。[35.]建议的JRL，一个类似地尝试联合优化多种模型的框架，其中每个框架是负责通过专注于不同的输入来学习相同任务的独特视角。然而，虽然JRL是一般框架，但专注于许多类型的输入可扩展性，我们的建议方法为POI推荐的任务量身定制。

3.神经推荐

3.1。神经网络架构

下面的推荐系统旨在通过使用两个并行神经网络学习用户位置交互来改进POI推荐任务，如图所示1．所述基于上下文的网络，在该图的左侧部分呈现，被设计使用社会和地理属性添加到用户-POI偏好模型和基于多层感知结构[2，3.]．如图所示1，卷积神经网络负责文本建模单元[14.]．它试图通过分析用户和地点评论的潜在含义来了解相同的偏好。这两个网络中的每一个都基于对用户/POI输入分别进行建模，以了解它们在合并层中定义的共享交互。

3.1.1。基于上下文的网络层

为了更好地捕捉LBSN中用户与位置之间的复杂关系，我们选择采用多层感知器架构。通过叠加多层非线性，MLP能够学习其输入的相关潜在因素。它首先被输入大小的用户和位置向量N和米，其中每个输入元组 转换为稀疏的单热点编码表示。在输入层的顶部有两个完全连接的嵌入层，它们将用户和位置的稀疏表示投影到更小、更密集的向量中。为和 ，各嵌入基质是 和 ，在哪里和是相应的尺寸。

我们利用用户的社交网络和位置的地理图形来约束学习嵌入。两个softmax层采用表示形式和作为输入，并将它们转换回N和米大小的向量,分别。用户输出层， ，来描述用户嵌入的相似性都N用户可以形式化表示为 在哪里和是层的权重矩阵和偏置矢量和一个为非线性激活函数。由于用户和POI特定层之间的相似性，位置输出层， ，将不会在本节中开发。执行和类似于用户你社交图, ，和位置P.的空间图， ，分别导致平滑因子限制连接实体嵌入的量的差异。

用户和位置嵌入被投影到合并层，并由连接操作符组合。使用连接而不是点积允许不同的嵌入结构，这反过来改善了生成的表示[3.]．作为以下神经网络的输入层，合并层可以表示为 ，在哪里 由于用户位置嵌入向量的简单连接不允许对交互建模，所以添加了隐藏层来学习这些连接。采用流行的整流线性单元(ReLU)作为这些层的激活函数。更正式,问：-th隐藏层可以定义为 在哪里和是问：th层参数。

3.1.2。文本建模网络层

为了提高模型的覆盖面，一个基于文本的网络介绍。它可以同时获悉同样的交互，基于上下文的网络，而是用自然语言输入。另外两个向量和 ，代表用户你的和位置P.“文本评论”分别应用于此网络的输入。每个传染媒介都包括所有N用户写的或关于位置的文字合并在一起，保持原来的顺序。这些单词随后被映射到C-维度向量，在下面的嵌入层中定义它们的语义。用户嵌入层的输出是用户使用的所有单词的表示你矩阵形式，可以表示为 在哪里 表示两个向量的级联，是用户s -这个词，和 是预先训练的文本嵌入层的查找函数[36.，37.]代表词汇中的每个词作为大小向量 ．同样的,表示字嵌入用于位置矩阵 ．

由于培训上述上下文模型所需的大量参数，使用基于CNN的架构来实现文本网络，该架构通常比RNN更大地计算。用户的语义表示和位置的评论将送入卷积层，以检测最能捕获审查的含义的文本的部分。这些层生产特征映射在嵌入的单词向量上，使用的窗口大小为和过滤 ．如[14.[Relu用作该层的激活功能： 在哪里是用户s -个输入字的嵌入和这 -个特征，从完整的文本中提取。

基于标准CNN结构，卷积层生成的特征映射通过池化层缩减: 选择最大池以识别最重要的单词及其潜在值。是从用户中提取的所有简明特性的集合吗文本输入。然后是完全连接的层来联合建模不同的特征，并为用户生成潜在的文本表示和位置 ，分别表示为和 ： 为了将用户和位置全连接层的输出结合到同一个特征空间，使用了共享层。它将两个输入连接起来，并通过使用额外的隐藏层来学习它们的交互作用:

这两个神经网络最终被合并以产生一个预测 ．两个网络的最后一层，每个网络都代表用户位置交互的不同视图，被连接并馈送到另一个隐藏层，负责混合学习： 其中S形函数被选择了对隐藏层的输出转换为所希望的范围 ．

３．２．连续的文本建模

为了进一步研究通过在TCENR中集成文本建模组件而获得的收益，我们建议进行扩展，表示为 ．在以前的语言建模任务中取得成功[17.，18.]以及它捕捉句子顺序性质的能力，我们使用RNN组件从评论中学习潜在特征。图中给出了建议扩展的说明2（b），而普通TCENR中使用的CNN方法如图所示2（a），以便为比较提供方便的基础。更具体地说，我们遵循先前工作的发现[18.，23.]，并使用GRU来实现我们的循环网络。GRU是一种结构，与LSTM相比，它的性能具有竞争力，但参数更少，使其更高效: 在哪里是输入字的忘记门 ， 是输出门，是结合当前词嵌入的新候选国家， ，与以前隐藏的状态，当前状态是否为word由输出门建模。表示元素明智的产品，和 ， ， ， ， ，和GRU权重矩阵是什么 ， ，和是偏压矢量。

由于一个词的上下文可以由前面和后面的其他词或句子决定，我们提出的方法在用户嵌入上采用双向GRU， ，和位置, ．每个字的隐藏状态由前向GRU层和后向GRU层学习，记为和 ，分别。在考虑到所有周围单词的上下文时，学习一个单词的更简洁和结合的表示，我们喂养了依次和额外的双向GRU层，使其输入每个单词的输入是 ．第二个经常性单位将输出潜在矢量，每个矢量是由目标用户或候选项目写入的单词的顺序注入表示。允许文本建模的方法是TCENR和TCENR之间唯一的变体为了进一步减少学习参数的数量，所有修改的字向量将被馈送到池池和完全连接的层，最初呈现在（6） 和 （7）， 分别。这将允许我们直接确定RNN对POI推荐系统的文本建模的效果，以及使模型能够学习更简洁的用户和位置表示。如在TCENR中，将合并生成的向量以便学习用户位置交互。

３．３．培训网络

为了训练推荐模型，我们采用点态损失目标函数，如[2，3.，14.]，预测之间的差异和实际值是最小化。为了解决LBSNs的隐式反馈特性，我们从数据集中抽取一组负样本，记为 ．

由于推荐任务的隐式反馈性质，算法的输出可以被看作是一个二元分类问题。由于S形的激活函数被使用在过去的隐藏层，输出概率可以被定义为 在哪里和是用户和位置的嵌入层。同样的,和文本评论是否嵌入层和表示模型参数。取负对数的可能性P.导致模型预测部分的二进制交叉熵损耗功能：

由于模型中还有两个输出，即用户的社交网络和位置的距离图， ，另外需要两个损耗函数来训练网络。我们遵循[2假定与谁共享相同的情况下应该有类似的嵌入两个用户。这是通过最小化给出的实例嵌入上下文的日志丢失实现： 在哪里的定义为1）。将二进制类标签置于帐户，提示以下丢失函数，相应的对应最小化用户的跨熵丢失一世和上下文C关于y类标签： 在哪里我是否有返回1 if的函数y在给定的集合中，否则为0。同样的逻辑用于表示POI上下文的损失函数，但由于空间限制，不会提供。

我们同时最小化三个损耗功能 ， ，和 ．联合优化提高了推荐的准确性，同时加强了对社交网络中接近的位置和连接的用户的相似表示。损失函数使用两个超参数进行组合，以加权上下文贡献:

为了优化组合损失函数，可以采用梯度下降的方法，更具体地，我们利用自适应力矩估计（ADAM）[38.]．该优化器自动调整学习率，产生比标准梯度下降更快的收敛速度，并使学习率优化过程更有效。为了避免在训练模型时额外的过拟合，我们集成了一个早期停止准则。模型参数初始化为高斯分布，输出层参数设置为均匀分布。

4.实验和评估

4．1.实验装置

为了评估我们提出的算法，我们使用了Yelp的真实数据集(https://www.yelp.com/dataset/challenge)。它包括文本评论的子集，以及用户的朋友和企业的位置。由于模型评估使用的资源有限，我们选择过滤数据集，只保留一个简洁的子集，其中所有用户和地点少于100个书面评论或少于10个朋友被删除。过滤后的数据集包含141,028个评论，评分矩阵的稀疏性为98.08%。社会图和地理图是通过随机漫步构建的。采样原始顶点的10%作为基本节点，用户和位置分别在每个基本节点上连接20和30个顶点，窗口大小为3。为了构建POI图，如果两个地点相距1公里，则认为它们直接相连。

为了测试我们的模型的性能，原始数据通过随机抽样分开到培训验证测试集，各自的比率为56％-24％-20％，导致78,899次培训实例。此外，输入数据对每个正极的4个负位置进行负面采样。

为了有效地将我们的建议与其他方案进行比较，我们采用与[2，3.]．MLP输入矢量用嵌入大小为10，而在合并结果的顶部添加了两个隐藏层。在塔架架构之后，每层的大小是其前身大小的一半，隐藏单元的数量分别为32和16，用于第一和第二层。

在CNN组件中，每个单词都由一个具有50个单元的预先训练的嵌入层来表示，卷积层的窗口大小为10，步长为3。在执行了池大小为2的max-pooling操作后，会产生3个特征映射。结果由一个包含32个单元的隐藏层进一步建模。在合并两个隐藏单位之后，我们将使用另一个包含8个单位的隐藏层来学习它们的交互作用。将下列三种损失函数(15.)，我们遵循的结果[2，并设置超参数 ．对于模型的训练阶段，在50个最大时期和批量大小为512个样品中使用0.005的学习率。

4.2。基线

为了评估我们的算法，我们选择将其与本七，经验证明，框架：(我)高通滤波器(39.]．递阶泊松矩阵分解。用泊松因子分解隐式数据建模的贝叶斯框架。(2)nmf [40]:非负矩阵分解(non - negative Matrix Factorization)，这是一种仅以评级矩阵作为输入的CF方法。(3)Geo-SAGE [5]:利用地理数据和人群行为预测LBSNs用户签到的生成方法。(iv)LCAR [6:位置内容感知推荐系统。利用LBSN中的本地首选项和关于poi的内容信息的概率模型。（v）NeuMF [3.]．神经矩阵分解。将MF和MLP相结合的最先进的隐式评级模型。（vi）速度(2]．偏好和上下文嵌入。一个MLP基于与另外情境图的POI推荐平滑的框架。（vii）DeepCoNN [14.]．深度合作神经网络。一种基于cnn的方法，通过利用用户和位置的自然语言评论来联合学习明确的预测。

在评估我们的模型和基线的任务中，我们选择全面应用精度和均方误差(MSE)N测试样本，以及精度（Pre @ 10）并召回（REC @ 10），用于每个用户的平均前10个预测。

所提出的模型上TensorFlow（https://www.tensorflow.org）后端的顶部使用Keras（https://keras.io）来实现。所有实验均使用NIVIDA GTX GPU 1070进行。

4．3．绩效评估

我们提出的算法和7个基线的性能报告在表中1，括号中为TCENR对各方法的改进率。所给出的结果是基于三次单独执行的平均值。

从结果中可以见证，所提出的模型TCENR与所有基线相比，实现了整体的最佳结果。此外，发现它显着优于HPF，NMF，地理鼠标，LCAR，PACE和DeepConn 基于单侧不配对t检验的准确性和MSE。与NeuMF相比，在精确度和召回率方面的对比结果表明，TCENR为用户提供的建议较少，但更相关。虽然与所有方法相比，NMF提供了最好的精度分数，但它在所有其他度量中表现不佳，这使它成为一个不太理想的模型。仔细观察就会发现，令人惊讶的是，NeuMF在准确性、精确度和回忆率方面都优于PACE。这可能是由于测试的数据集稀疏程度较低，不允许完全获取上下文正则化。此外，仅使用前500个单词来表示每个用户和位置的文本输入可能解释了DeepCoNN模型在数据集上相对较低的得分，而Geo-SAGE和LCARS的性能表明，仅仅依靠地理数据并不允许这些模型完全捕获LBSNs中的用户偏好。

比较TCENR及其建议的扩展提供对比的结果。通过使用RNN代替CNN从文本评论中提取用户和位置特征，降低错误率，提高准确率，提高召回率。可以认为，通过准确地捕捉用户评论的不同方面，模型能够强化其假设，从而在某些情况下减少不确定性。然而，当面对文本方面和基本事实之间的对比时，它可能会选择错误的类标签。尽管如此，结果显示了采用最合适的技术和措施来学习不同的数据类型的重要性，而不是在所有输入中使用单一的方法。此外，它显示了将文本数据与历史活动结合使用的积极影响。报告的性能进一步表明，在未来的推荐任务中，选择CNN和RNN进行语言建模任务。

为了进一步评估我们建议的框架和运行时的七个基线，图中给出了完全训练每个方法所需的平均时间3.．如结果所示，TCENR与大多数基线具有竞争力，发现比DeepConn和LCAR更有效。报告的运行时间进一步证明了基于cnn的文本建模解决方案的相对效率。由于使用循环层增加了可训练参数的数量，我们基于rnn的扩展的训练时间比TCENR长329%，同时取得了比较的结果。

4.4。模型设计分析

在本节中，我们将讨论几种设计选择对建议模型性能的影响。

4.1.1。合并图层

模型的最后几层负责结合MLP和卷积网络的密集输出，其重要性需要密切关注，因为它影响网络联合学习和预测本身的能力。为了正确选择融合算子，考虑了以下几种方法:(我)使用连接将两个模型的最后一个隐藏层结合起来。使用此方法的模型将表示为并在（9）。(2)使用点产品合并最后一个隐藏的图层，从而产生了一个名为的模型可以定义为 (3)结合前面描述的两种方法，其中两种表示将通过连接和点积共同学习。得到的模型表示为并可通过组合(9） 和 （16.)使用加法并将结果转换为用s形函数: (iv)采用两个网络预测结果的加权平均值。表示为 ，该模型可以定义为

如图所示4，采用更简单的加权平均值和点产品的方法导致TCENR的较差性能，展示了利用每个子网络学习的潜在特征的附加值。结合DOT产品的表现不佳的方法时 ，连接的使用比只使用点积更好。然而，由于这两种方法是使用简单的平均值进行集成的，因此只使用了在产生最佳结果，因此集成到最终模型中。

10/24/11。中长期规划层设计

虽然它是由[3.]，添加更多的层和单位到基于MLP-推荐器具有积极的作用，使用CNN的和附加的隐藏层表明它是一个主体值得研究。为此，我们测试了该算法与用于学习在变化的大小与上下文正规化用户 - 项目交互8至128隐藏单元1-4隐藏层。在测试仪的准确度方面的结果列于表2，其中隐藏图层的数量被定义为列，并且第一单元的大小作为行呈现。与以前的结果不同，我们发现具有32和16个隐藏单元的两个隐藏层导致我们数据集的最佳性能。

4.4.3。单词量

使用原始订单的书面评论允许通过寻找每几句话最佳表示，并最终为整个文本找到最佳表示，利用CNN和RNN的优势。但是，我们的最终数据集是由非常长的评论组成，在哪里完全学习单个用户或位置，需要超过20,000个单词，使其在计算上提取相关表示昂贵。为了从书面评论的顺序性中受益，同时保持解决方案可行的，单词数量限制在500-6000的范围内。可以从图中见证5，准确性的准确性略有提高，因为单词数量高达3000，而其他单词导致用户和位置的增加偏差，越来越长，又降低了模型的学习能力。

5.结论与未来工作

在本文中，我们开发了一种名为TCENR神经POI推荐系统。该模型利用有关用户，位置，空间数据，社交网络和文本评论数据来预测用户的兴趣点有关的隐含偏好。TCENR车型两种类型的用户定位的互动：通过上下文信息正规化本地签到以及用来描述用户的体验的话。我们进一步扩大了我们提出的方法，并提出 ，文本数据使用RNN而不是CNN建模。通过Yelp数据集进行评估，与7个最先进的基线相比，提出的算法在准确性和MSE方面始终取得了更好的结果。

对于未来的工作，我们打算将模型评估扩展到额外的LBSN数据集。此外，我们计划通过在额外数据上分析其表现，在额外数据上分析其表现，在审查的新用户和地点，调查拟议的框架对冷启动问题的贡献。

数据可用性

用于支持本研究发现的数据可由通讯作者要求提供。

利益冲突

作者声明他们没有利益冲突。

致谢

本研究得到了国家自然科学基金(61572289)和国家科学研究委员会发现基金的部分资助。

参考文献

1. H.李，Y.戈河洪，和H.朱，“点利益的建议：学习从朋友潜力签入”，在第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，第975-984页，ACM，旧金山，加利福尼亚，美国，2016年8月。视图:出版商网站|谷歌学术搜索
2. C.杨，白L.，C张，Q.元，J.汉，“缩小协同过滤和半监督学习：对于POI推荐神经的做法，”在第23届ACM SIGKDD国际知识发现和数据挖掘会议，第1245-1254页，ACM，哈利法克斯，NS，加拿大，2017年8月。视图:出版商网站|谷歌学术搜索
3. X. He，L. L. L. Zhang，L. nie，X. Hu和T.0.Chua，“神经协作过滤”第26届世界宽网络国际会议的诉讼程序，国际万维网会议指导委员会，173-182页，澳大利亚珀斯，2017年4月。视图:出版商网站|谷歌学术搜索
4. 马海辉、周东、刘超、吕先生、金我，《社会正规化的推荐制度》，载于《中国社会科学》第四届ACM国际网络搜索和数据挖掘会议的诉讼程序，PP。2011年2月287-296，ACM。视图:出版商网站|谷歌学术搜索
5. W. Wang，H. Yin，L. Chen，Y. Sun，S. Sadiq和X. Zhou，“地理贤者：空间项目推荐的地理稀疏添加剂模型，”第21届ACM SIGKDD国际知识发现和数据挖掘会议，第1255-1264页，ACM，澳大利亚新南威尔士州悉尼，2015年8月。视图:出版商网站|谷歌学术搜索
6. H.阴，Y.孙，崔B.，Z.胡，和L.陈，“LCARS：一个位置的内容感知推荐系统”，在第19届美国计算机学会SIGKDD国际知识发现和数据挖掘会议论文集，pp.221-229，ACM，芝加哥，伊利诺伊州，美国，2013年8月。视图:出版商网站|谷歌学术搜索
7. 王灿，“科学论文推荐的合作主题模型”，刊于第17届ACM SIGKDD关于知识发现和数据挖掘国际会议的议程（KDD'11），第448-456页，ACM, 2011年8月。视图:出版商网站|谷歌学术搜索
8. H. Wang，N. Wang和D.-Y.Yeung，“推荐系统的协同深入学习”第21届ACM SIGKDD国际知识发现和数据挖掘会议，pp.1235-1244，ACM，悉尼，南威尔士州，澳大利亚，2015年8月。视图:出版商网站|谷歌学术搜索
9. J. Manotumruksa, C. Macdonald和I. Ounis，“场地推荐的深度循环协同过滤框架”，刊于2017年ACM关于信息和知识管理会议的诉讼程序，第1429-1438页，ACM，新加坡，新加坡，2017年11月。视图:出版商网站|谷歌学术搜索
10. Q.刘，吴，D.王，Z.LI，L. Wang，“环境感知顺序推荐”2016年IEEE第16届数据挖掘国际会议论文集， pp. 1053-1058, IEEE，巴塞罗那，西班牙，2016年12月。视图:出版商网站|谷歌学术搜索
11. H T。程，L. Koc，J. Harmsen等，“推荐系统的广泛学习”第一次推荐系统深度学习研讨会论文集，第7-10页，ACM, 2016。视图:谷歌学术搜索
12. 赵伟，王超，“基于poisson因子模型的产品推荐的神经网络个性化排序方法”，复杂，卷。2019年，第2563674，16页，2019年。视图:出版商网站|谷歌学术搜索
13. A. Van Den Oord, S. Dieleman，和B. Schrauwen，“深度内容为基础的音乐推荐”，在第26届国际神经信息处理系统会议论文集，进展的神经的信息处理系统，第2643至2651年，2013。视图:谷歌学术搜索
14. L. Zheng，V. Noroozi和P. S. Yu，“使用评论的建议”联合用户和物品的深层建模，“第十届ACM网络搜索和数据挖掘国际会议论文集，第425-434页，ACM，剑桥，英国，2017年2月。视图:出版商网站|谷歌学术搜索
15. D. Kim, C. Park, J. Oh, S. Lee，和H. Yu，“用于文档上下文感知推荐的卷积矩阵分解”，刊于第十届ACM推荐系统会议论文集，第233-240页，ACM, 2016。视图:谷歌学术搜索
16. B. Hidasi, A. Karatzoglou, L. Baltrunas，和D. Tikk，“基于会话的递归神经网络建议”，2015，https://arxiv.org/abs/1511.06939．视图:谷歌学术搜索
17. A. Almahairi，K.Cho，K.Cho和A. Courville，“学习来自审查的分布式译文，”在第9届ACM会议关于推荐制度，第147-154，ACM，维也纳，奥地利，2015年9月。视图:出版商网站|谷歌学术搜索
18. T. Bansal, D. Belanger，和A. McCallum，《问格鲁:多任务学习的深度文本推荐》第十届ACM推荐系统会议论文集，第107-114页，ACM, 2016。视图:谷歌学术搜索
19. 陈建军，张伟，张鹏，英平，牛凯，邹敏，“兴趣点推荐的空间和时间研究”，复杂文章编号6928605,16页，2018。视图:出版商网站|谷歌学术搜索
20. 赵鹏，徐旭东，刘颖，盛文生，郑凯，熊海华，“Photo2trip:利用地理标记照片的视觉内容进行个性化旅游推荐”，出版2017年ACM多媒体会议论文集- MM 17，pp.916-924，ACM新闻，山景，加利福尼亚州，美国，2017年10月。视图:出版商网站|谷歌学术搜索
21. P. Covington, J. Adams，和E. Sargin，“深度神经网络的youtube推荐”第十届ACM推荐系统会议论文集，第191-198页，ACM, 2016。视图:谷歌学术搜索
22. 彭译葶。Wu, A. Ahmed, A. Beutel, A. J. Smola, H. Jing，《循环推荐网络》(Recurrent recommendation networks)第十届ACM网络搜索和数据挖掘国际会议论文集，第495-503页，ACM, 2017。视图:谷歌学术搜索
23. A. Beutel, P. Covington, S. Jain et al，“潜在交叉:在循环推荐系统中使用上下文”，在第十一届ACM网络搜索与数据挖掘国际会议论文集，第46-54页，ACM, Marina Del Rey, CA, USA, 2018。视图:出版商网站|谷歌学术搜索
24. H.贤，王W.，H王，陈L.和十周，“空间感知层次合作深度学习的POI推荐”IEEE知识与数据工程汇刊，第29卷，第2期11, pp. 2537-2551, 2017。视图:出版商网站|谷歌学术搜索
25. 殷慧，周旭东，邵勇，王辉，S. Sadiq，“基于兴趣点推荐的用户签到行为联合建模”第24届ACM国际信息和知识管理会议论文集，pp.1631-1640，ACM，墨尔本，澳大利亚，2015年10月。视图:出版商网站|谷歌学术搜索
26. P.赵，X.许，Y. Liu等人，在“开拓层次结构的POI推荐”2017年IEEE数据挖掘国际会议论文集，IEEE，新奥尔良，LA，美国，2017年11月。视图:出版商网站|谷歌学术搜索
27. 赵鹏，朱海波，刘玉玲等，“下一个目标:一个时空门控网络的下一个poi推荐”，出版第33届AAAI人工智能大会论文集(AAAI 2019)，2019年。视图:谷歌学术搜索
28. 王慧，张飞，谢旭东，“基于深度知识感知的新闻推荐网络”，《中国科学:信息科学》2018年万维网大会论文集2018年4月，法国里昂，第1835-1844页。视图:出版商网站|谷歌学术搜索
29. Y.龚和Q.张，“使用注意力卷积神经网络的Hashtag推荐”第25届国际人工智能联合会议论文集，IJCAI 2016，第2782-2788页，美国纽约，2016年7月。视图:谷歌学术搜索
30. 徐淑珍，《多指针共同关注网络的推荐》，载于第24届ACM SIGKDD国际会议知识发现和数据挖掘程序，pp.2309-2318，伦敦，英国，2018年8月。视图:出版商网站|谷歌学术搜索
31. Z. Cheng，Y. Ding，L. Zhu和M. Kankanhalli，“方面感知潜在因子模型：评级预测评级和评论”2018年万维网大会论文集2018年4月，法国里昂，第639-648页。视图:出版商网站|谷歌学术搜索
32. D. Tang，B. Qin，T. Liu和Y. Yang，“用神经网络的用户建模，用于审查评级预测”2015年IJCAI的第24国际人工智能国际会议的诉讼程序，pp.1740-1346，阿根廷，2015年7月。视图:谷歌学术搜索
33. Y. LeCun, L. Bottou, Y. Bengio，和P. Haffner，“梯度学习在文档识别中的应用”，IEEE的诉讼程序，卷。86，没有。11，第2278至2324年，1998年。视图:出版商网站|谷歌学术搜索
34. Y. Kim，“句子分类的卷积神经网络”，出版2014年自然语言处理经验方法学术会议论文集，第1746-1751页，计算语言学协会，多哈，卡塔尔，2014https://aclanthology.info/papers/D14-1181/d14-1181．视图:谷歌学术搜索
35. 张颖，艾青，陈旭东，“基于联合表示学习的高阶推荐方法”，硕士论文2017年ACM关于信息和知识管理会议的诉讼程序，第1449-1458页，ACM，新加坡，新加坡，2017年11月。视图:出版商网站|谷歌学术搜索
36. J. Pennington, R. Socher，和C. Manning，《手套:词表示的全局向量》，收录于2014年自然语言处理经验方法学术会议论文集， pp. 1532-1543, 2014。视图:谷歌学术搜索
37. T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, J. Dean，“单词和短语的分布式表征及其组合”，发表于第26届国际神经信息处理系统会议论文集，神经信息处理系统的进步，PP。3111-3119，泰浩湖，内华达州，2013年，https://dl.acm.org/citation.cfm?id=2999959．视图:谷歌学术搜索
38. D. P. Kingma和J.Ba，“亚当：一种随机优化方法，”2014年，https://arxiv.org/abs/1412.6980．视图:谷歌学术搜索
39. P. Gopalan, J. M. Hofman，和D. M. Blei，“分级泊松因子分解的可扩展推荐”，刊于第31届人工智能不确定性会议论文集，UAI 2015，页326-335，荷兰，2015年7月。视图:谷歌学术搜索
40. X. Luo，M. Zhou，Y. xia和Q. zhu，“一种基于高效的非负矩阵分解的推荐系统的协作过滤方法”工业信息学学报，第10卷，第5期。2, pp. 1273-1284, 2014。视图:出版商网站|谷歌学术搜索

版权

版权所有©2019 Omer Tal and Yang Liu。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。