文摘

推荐系统已经成为不可或缺的在线服务为用户因为他们缓解信息过载的问题。提出了一些工作来支持学习的个性化推荐利用协同过滤的潜在用户和条目表示隐含的用户和项目之间的相互作用。然而,大多数现有的方法简化了隐式频率反馈二进制值,使协同过滤无法准确了解潜在的用户和项目特性。此外,传统的协作过滤方法通常使用线性函数模型之间的交互潜在功能。线性函数的表达可能不足以捕获用户的交互的复杂结构和降解这些推荐系统的性能。在本文中,我们提出一个神经个性化排序模型的协同过滤隐式反馈频率。该方法集成了排名泊松系数模型中神经网络。具体来说,我们首先开发一个排行第三的泊松系数模型,结合泊松系数模型和贝叶斯个性化的排名。该模型采用成对学习方法学习排名的使用条目之间的偏好。之后,我们提出一个神经个性化排序模型的排行第三的泊松系数模型,命名NRPFM,捕捉user-item交互的复杂结构。 NRPFM applies the ranking-based poisson factor model on neural networks, which endows the linear ranking-based poisson factor model with a high level of nonlinearities. Experimental results on two real-world datasets show that our proposed method compares favorably with the state-of-the-art recommendation algorithms.

1。介绍

推荐系统(1)已经成为不可或缺的组件在电子商务中,网上新闻和社会媒体网站。这些系统为用户缓解信息过载问题,通过发现用户的隐藏的偏好和为用户提供个性化的信息,产品或服务。如此有吸引力的特性,推荐系统被广泛用于许多在线应用程序,包括亚马逊、Youtube和Netflix。

作为推荐系统应用最广泛的技术之一,协同过滤(CF) [2在电子商务取得了巨大的成功。CF方法,独立于特定的领域,通过分析过去的活动用户提出建议。CF的主要思想就是把潜在的用户首选项和项目特点,造型user-item交互行为。在各种各样的CF方法,矩阵分解(MF) [3,4吸引了大量的关注,由于其为处理大型数据集的有效性和效率。MF法假定只有少数潜在因素的偏好的用户和项目的特点。矩阵分解方法同时嵌入用户和项目特征向量到一个低维空间潜在因素。

大多数的传统CF方法明确的反馈,即。由用户给出的评级项目。他们通常逐点地回归方法预测评级申请未被注意的项目。然而,显式反馈可能并不总是可用,因为它是相对难以收集。因此,使用隐式反馈(例如,单击书签和购买)来表达用户的偏好更常见的实际的推荐系统。在CF与隐含的反馈,只有积极的实例被观察到,而消极的实例和缺失值混合在一起,使个性化推荐与隐式反馈更具挑战性。

协同过滤与隐含的反馈被称为看到下面成了协同过滤(OCCF)问题[5,6]。为了解决OCCF问题,锅等。5和胡锦涛et al。6)提出了一种加权正规化矩阵分解(WRMF)方法。Rendle et al。7)制定推荐排名的问题,提出了贝叶斯个性化排名(BPR)。赵et al。8]提出了社会贝叶斯个性化的排名(SBPR)模式,集社会关系与用户的隐式反馈估计用户的排名的物品。然而,大多数现有的方法OCCF简化隐式的用户和项目之间的相互作用。不管多少次用户与一个项目时,他们使用二进制隐式反馈指示用户是否点击或查看一个项目(5- - - - - -8]。换句话说,现有的方法通常使用矩阵分解模型来量化二进制隐式的用户和项目之间的相互作用。直观地,隐式交互的次数,反映了用户的偏好程度。数量的相互作用越大,越优先。因此,这样的简化方案使CF方法无法准确地捕捉用户的首选项物品。

此外,在报道9),基于矩阵分解的模型使用一个线性函数(即。,inner product) to model the interactions between the user latent features and the item latent features. The expressiveness of the linear function is too limited to capture the complex structure of users’ interactions, which hinders the performance of recommender systems. Hence, He et al. [9)提出了一个通用框架,叫神经协同过滤(NCF)推荐系统,并建议将神经网络应用到学习非线性函数的数据交互。非线性相互作用函数从交互数据赋予推荐系统具有高度的非线性。类似传统的推荐方法,明确工作反馈,然而,NCF的逐点学习方法降低了推荐性能由于数据稀疏问题。

解决上述问题,本文提出一种神经个性化排序模型与隐式频率反馈,协同过滤于一体的排名泊松系数模型中神经网络。具体地说,我们基本上采用泊松系数模型(PFM) [10,11),而不是经典的矩阵分解技术,模型的隐式的用户和项目之间的相互作用。泊松系数模型取代了通常的高斯可能性与泊松似然概率矩阵分解,保证nonnegativity的潜在因素。此外,正如马指出,et al。10),泊松系数模型建模的频率数据比传统的矩阵分解模型。然而,数据稀疏的隐式反馈频率限制了泊松系数模型的性能,因为可用的观察反馈是不够的泊松系数模型学习潜在的功能。解决数据稀疏问题,我们开发一个排行第三的泊松系数模型,它结合了泊松系数模型和贝叶斯个性化的排名。排行第三的泊松系数模型采用双向的学习方法学习偏好之间商品的排名。为了捕获交互的复杂结构,此外,我们提出一个神经个性化排序模型的排行第三的泊松系数模型,称为NRPFM。NRPFM集成的排名泊松系数模型中神经网络,它提供了线性排行第三的泊松系数模型具有高度的非线性。在我们的神经个性化排序模型,我们使用多层感知器(MLP) [12学习非线性和非平凡user-item互动关系。因此,我们提出了神经个性化排序模型结合的优势排名泊松模型中学习用户的偏好排序项之间隐含的频率反馈,和捕获的神经网络非线性user-item互动关系。

我们工作的主要贡献总结如下:(我)我们提出一个排名泊松系数模型中,结合泊松系数模型和贝叶斯个性化排名来解决数据稀疏的隐式反馈频率。(2)我们提出一个神经个性化排序模型协同过滤与隐式反馈频率。这个神经个性化排序模型集成的排名泊松系数模型中神经网络,它赋予线性排行第三的泊松系数模型具有高度的非线性。(3)我们执行广泛的实验评价方法在真实数据集。结果表明,我们提出的方法优于最先进的推荐算法。

本文的其余部分组织如下。部分2简要回顾了在推荐系统相关工作。部分3介绍了一些初步知识。部分4描述了我们建议的项目推荐算法的细节。实验是评价部分5。最后,我们得出结论本文并提出一些未来工作方向6。

2。相关工作

在本节中,我们审查推荐系统的主要相关工作,包括传统的协同过滤推荐方法和神经网络方法。

2.1。协同过滤

协同过滤(CF) [2)方法被广泛部署在现代电子商务网站和取得了圆满成功。CF方法包括两个主要类别(2:基于内存的算法和基于模型的算法,根据不同的方式利用user-item评级矩阵。

基于内存的CF算法,也称为neighbor-based方法,使用整个user-item评级矩阵生成的建议。典型的基于内存的算法包括基于用户的方法(2)和基于项目的方法(13,14]。基于内存的方法的基本假设是,类似的用户有共同利益,和用户通常更喜欢类似的物品。关键问题的基于用户和基于项目的方法是采用合适的相似性度量计算两两之间的相似性用户或项目。典型的相似性措施包括余弦相似性、皮尔森相关系数,调整余弦相似度(13]。基于模型的CF方法首先学习一个预测模型,描述用户的评级行为,利用统计和机器学习技术。他们使用预测模型来预测用户未来的行为。典型的基于模型的滤波方法包括贝叶斯网络(2),聚类模型(15,16),潜在语义分析(17,18),并限制玻耳兹曼机(19]。

各种CF方法中最受欢迎的方法,矩阵分解方法(MF) [3,4)吸引了大量的关注由于其有效性和效率在处理一个非常大的规模user-item评级矩阵。矩阵分解的基本假设是,只有一些潜在因素偏好的用户和项目的特点。因此,矩阵分解方法同时嵌入用户和项目特征向量到一个低维空间潜在因素,用户的偏好和商品之间的相关性特征可以直接计算。典型的矩阵分解方法包括NMF [20.]及[4),圣言+ + (21],MMMF [22]。

上述基于矩阵分解的推荐算法通常了解用户和项目的潜在特征向量(即用户的显式反馈。,用户的评级项目)。显式反馈但并不总是可用,因为它很难收集。所以,更常见的推荐系统提供用户的偏好使用隐式反馈(例如,单击书签和购买)在现实世界中,因为隐含的反馈是相对容易获得的。然而,只有积极的实例中隐含的反馈,和消极的实例和缺失值混合在一起,使个性化推荐的隐式反馈更具挑战性。协同过滤与隐式反馈称为看到下面成了协同过滤(OCCF)问题[5,6]。为了解决OCCF问题,锅等。5和胡锦涛et al。6)提出了一种加权正规化矩阵分解(WRMF)方法。WRMF将所有缺失项视为负面实例和分配不同的信心,积极的和消极的实例。Rendle et al。7)建模的排名反馈和提出了一个贝叶斯个性化推荐系统排名(BPR)标准基于隐式反馈。锅等。23]扩展BPR和提出了集团贝叶斯个性化排名(GBPR),通过引入更丰富的用户之间的交互。GBPR聚集的特点类似的用户组减少抽样的不确定性。在[8],赵等人提出了社会贝叶斯个性化的排名(SBPR)模式,集社会关系与用户的隐式反馈估计用户的排名的物品。在[24)、赵等人利用区域社区匹配技术来生成个性化的本地用户感兴趣的位置。特别是,他们提出了贝叶斯概率与社会和位置张量分解正规化(BPTFSLR)框架提取用户的潜在的社会维度从用户的隐式反馈。必须指出隐含的反馈更实际的推荐系统比显式反馈。因此,最近的研究方向建议已经转向学习用户的隐藏的偏好从隐含的反馈,而不是推断用户的口味从显式反馈。

2.2。神经网络模式的推荐方法

最近,许多研究采用神经网络技术,设计推荐算法,因为神经网络技术能够有效地捕捉非线性和非平凡的user-item互动关系(25)和提取深度和抽象特征表示为用户和项目,导致大提高推荐的质量。神经网络的代表推荐算法包括宽&深学习(26],NCF [9],NFM [27],AutoRec [28],CDAE [29日],ConvMF [30.]。

在深层神经网络技术中,多层感知器(MLP) [12)能够近似可测函数并在推荐系统广泛采用。程提供谷歌玩的应用建议,et al。26]提出了广泛和深度学习的方法,包括广泛的学习模式和深度学习模型。广泛学习组件是一个单层感知器和可以有效地记忆功能的交互使用跨产品特性转换。中长期规划深度学习组件应用推广到未被注意的特性通过低维嵌入的交互。在[9),他等人提出了一个总体框架神经协同过滤(NCF)基于神经网络的CF。具体来说,NCF利用多层感知机学习user-item交互功能,它赋予NCF造型具有高度的非线性。NCF的框架下,提出了NCF的三个实例化,即。GMF,延时,NeuMF。GMF雇佣了一个线性内核交互模型的特性,中长期规划和利用非线性内核user-item交互功能。基于GMF和延时,GMF NeuMF结合线性和非线性电路的延时造型复杂的用户和项目之间的相互作用。此外,王et al。31日]扩展NCF解决跨域(即社会推荐问题。,recommending the relevant items of information domains to the potential users of social networks) and proposed a neural social collaborative ranking (NSCR) approach. NSCR enhances NCF by plugging a pairwse pooling operation on top of embedding vectors and utilizes the graph regularization technique to model the cross-domain social relations. In addition, in order to simultaneously model the low-order feature interactions and the high-order feature interaction, Guo et al. [32)提出了一个端到端的模式,名为deepFM无缝融合分解机(FM) [33)和延时。类似于deepFM,员工调频和MLP建议,他et al。27)提出了神经分解机(NFM)预测下稀疏的设置。不像其他MLP-based方法,NFM介绍Bi-Interaction池组件嵌入向量,这抓住了二阶特性相互作用后的低级,极大地促进了隐藏层NFM学习高阶功能交互。NFM的延伸,AFM,也提出了(34]。AFM能够充分考虑不同特征相互作用的重要性,学习的重要性每个特性相互作用通过神经网络的关注。

作为一种深层神经网络的核心组件,autoencoder [35)技术可以重建通过低维输入输出层中的隐藏的空间;一些研究人员使用推荐系统中的autoencoder技术提高推荐的性能。例如,Sedhain et al。28)利用提出建议和AutoRec autoencoder范式。特别是,AutoRec user-partial观测向量或item-partial向量作为输入和隐藏嵌入到一个低维空间。最后,AutoRec采样输入输出层的直接优化均方根误差(RMSE)。根据类型的输入,AutoRec包括两个变体:U-AutoRec I-AutoRec,对应采取user-partial观测向量和item-partial向量作为输入,分别。古典autoencoder技术相比,去噪autoencoder (DAE) [36)技术能够发现更健壮的交涉,避免学习身份的功能。为了把DAE的优点,许多研究工作员工DAE CF技术(37,38]。李等人。38)提出了深度协同过滤框架(DCF),结合深入学习模型与基于MF的CF。DCF中使用深度学习模型的关键是边缘化的去噪auto-encoders (mDA) (39),计算效率更高,学习模型参数有一个封闭的解决方案。此外,吴et al。29日)利用DAE的概念并提出了协作去噪autoencoder CF (CDAE)。关键CDAE和上面的区别DAE-based CF是CDAE认为个性化用户因素的方法编码为每个用户潜在的向量,大大提高推荐的性能。以上DAE-based推荐方法(29日,37,38]假设观察user-item交互是一个损坏的版本的用户的偏好和学习的潜在表征腐蚀user-item偏好,可以用来重建用户的偏好。相比之下,王et al。40提出了一种分层贝叶斯模型,称为CDL。CDL集成堆叠去噪autoencoder (SDAE) [41成及[4),共同使用SDAE学习项目内容的深度表示和利用及对评价矩阵进行协同过滤。注意,CDL需要SDAE而其他的项目特征作为输入(即DAE-based方法。、AutoRec DCF和CDAE)让用户反馈作为输入。换句话说,CDL利用深度学习组件模型辅助信息,而不是模型的用户行为。

卷积神经网络(CNN) (42)是一种专门的前馈神经网络处理数据的网状拓扑结构。CNN-based推荐方法通常利用CNN来提取深和抽象特性表征(30.,43- - - - - -45从图像、音频和文本信息。王等人。46)提出了一个视觉内容增强兴趣点(POI)建议方法(VPOI)。通过CNN VPOI包含视觉特征提取为学习及用户和POIs的潜在功能。他等。44)提出了一个可视化的贝叶斯个性化排名(VBPR)算法,结合了视觉特性从CNN在曼氏金融产品图像。在[45),Oord等人利用CNN提取潜在的功能从音乐音响的音乐推荐。龚et al。43)制定标签推荐任务多类分类问题,提出了基于注意力的CNN架构标签的建议。郑et al。47)神经网络提出了深度合作(DeepCoNN)。DeepCoNN包含两个平行的cnn耦合在一起共享公共层模型的用户行为和评论的条目属性。此外,金正日et al。30.)集成CNN概率矩阵分解,提出了推荐的卷积矩阵分解(ConvMF)。ConvMF利用CNN捕捉项目内容的上下文信息和进一步加强评级预测精度。其他神经网络方法包括基于递归神经网络(RNN)的方法(48- - - - - -50),限制了玻耳兹曼机(元)为基础的方法(19,51),生成对抗(基于网络的方法52]。

还有其他跨域多通道推荐系统研究的发展提供有趣和深刻的讨论来指导未来的发展方向。作为一个例子,聂et al。53)提出了一个计划,从概率角度排名web图像复杂的查询。具体来说,他们首先提出了一种基于启发式的方法来检测名词短语的视觉概念从复杂的查询。然后,他们提出了一种异构网络自动估计每个图像的相关性分数,共同整合三层关系,从语义级别的视觉层次。聂et al。54)集中在一个具有挑战性的图片搜索性能预测问题。通过分析规范化折扣累积获得(NDCG)和平均精度(美联社),他们发现,只有图像的关联概率的预测是需要计算其数学期望。因此query-adaptive提出了基于学习的方法来估计每个图像的关联概率给定查询。

我们的工作最相关的BPR (7]和NCF [9]。比较与NRPFM BPR, BPR的主要区别和NRPFM包括三个方面:BPR是为了学习潜在用户和项目从隐式特征向量二进制反馈,而NRPFM旨在了解潜在的用户和项目陈述隐含的频率反馈,这是更实际的建议方案;BPR使用一个线性函数(即。,inner product) to model the interactions between user latent features and item latent features. By contrast, NRPFM uses a nonlinear function learned from a multilayer perceptron to model the complex interactions between latent user features and latent item features, which endows NRPFM with a high level of nonlinearity;从本质上讲,BPR假定用户的隐式反馈符合高斯分布,这并不符合频率数据严重倾斜。但NRPFM假定用户的隐式反馈遵循泊松分布,这是更适合安装倾斜频率反馈。此外,尽管NCF和NRPFM利用多层感知器模型之间的非线性相互作用,潜在用户的特性和潜在的项目特性,NRPFM和NCF的区别主要在于三个方面。类似于BPR, NCF也为隐式二进制反馈,这是一个简化的形式的隐式反馈频率。相比之下,NRPFM直接学习用户的偏好和商品特征的隐式反馈频率。此外,NCF利用逐点地学习方法潜在用户和项目特征向量,而NRPFM利用双向学习方法潜在的特征向量为用户和项目。NCF,只观察到的反馈对潜在用户的学习和项目特征向量。相比之下,NRPFM使得缺失值也有助于学习潜在的用户和项目特性。因此,NRPFM在某种程度上更好地缓解数据稀疏问题。NCF还假定用户的隐式反馈是高斯分布,而NRPFM使一个不同的假设用户的隐式反馈遵循泊松分布。

我们建议的神经个性化的排名通过泊松系数模型是这个方向的一个重要尝试。此外,我们考虑更实际的建议方案,用户表示他们的偏好使用隐式频率反馈,而不是使用简化的隐式二进制反馈。此外,尽管它是直接使用深度学习技术来扩展个性化推荐模型(即排名。,BPR), this scheme is not able to infer latent user preferences and item characteristics from implicit frequency feedback because traditional ranking based personalized recommendation models essentially are designed to deal with implicit binary feedback. By contrast, our proposed deep learning based personalized ranking model is built on top of BPR, Poisson factor model, and deep learning technique and unify the strengths of these models to more accurately learn latent user and item features from implicit frequency feedback. In short, our contributions are three-fold. Specifically,我们使用泊松系数模型来模拟用户的隐式反馈频率。随后,我们利用非线性函数从深层学习算法模型潜在用户之间的复杂交互特征向量和潜在的项目特征向量。最后,为了培养推荐模型,我们样品的三胞胎的偏序集隐式频率反馈,从而缓解数据稀疏问题。

3所示。初步知识

在本节中,我们介绍了初步的知识与我们提出的基于神经个性化排名推荐算法。我们首先描述的推荐问题部分3.1。然后,我们简要介绍了泊松系数模型部分3.2。

3.1。问题描述

在典型的推荐系统与隐式频率反馈,用户的隐式反馈是用于构造user-item交互矩阵 ,这是由两个实体集:一组的用户 和组项目 。每个条目的表示数量的用户之间的交互和项目 。交互的数量反映了用户的偏好对某些物品。注意,在推荐系统显式反馈,反馈通常表示评级项目的价值由用户 。评级通常是整数,落入 ,在这表明缺失值,因为用户尚未评价项目。推荐系统的隐式频率反馈,然而,反馈有一个更大的范围与评级。例如,在购物网站,用户可以单击数百次在一些产品,同时为其他产品的用户可能单击几次。此外,的混合物缺失值和消极的实例在隐式的场景中,这表明用户不知道项,分别和用户并不喜欢它。与用户交互项的集合表示为( )。在实践中,user-item交互矩阵通常是非常稀疏的许多未知的条目,因为一个典型的用户可能只与一个小比例的项目。这user-item交互矩阵的稀疏性质导致推荐质量差。在本文中,我们使用“反馈”和“互动”可以互换使用。

推荐系统的任务与隐式频率反馈是学习用户的隐藏偏好利用用户的交互历史和为他们提供的排名列表用户可能感兴趣的物品。

3.2。泊松系数模型

泊松系数模型(PFM) (10)是一种生成概率模型,它假定每个观测到的元素遵循泊松分布与期望 。预期值矩阵 映像到用户潜在的特征矩阵 潜在的特征矩阵和项目 。除了假设生成观测元素的泊松分布,烤瓷地方伽马先知先觉和 , 在哪里 是伽玛函数。和伽马分布的形状和速度参数,分别。

一个观测元素的生成过程如下。(1)为每个用户 ,生成的每个组件用户潜在的特征向量: 。(2)为每个项目 ,生成的每个组件项目潜在的特征向量: 。(3)生成 。

的后验分布和鉴于user-item交互矩阵如下: 在哪里 , 。

最大化log-posterior分布 结果在接下来的目标函数:

烤瓷应用随机梯度下降算法(SGD)技术学习用户潜在的特征矩阵潜在的特征矩阵和项目 。

4所示。我们的方法

我们的动机是学习用户首选项和项目特征隐式频率反馈,以及模型通过深度学习用户交互的复杂结构。为了实现这个动机,我们不适合直接观察到隐式频率反馈,但符合部分订单的用户首选项条目中嵌入三胞胎,从隐式采样频率反馈根据我们的假设。赋予排行第三的泊松系数与高度的非线性模型,我们使用多层感知器学习的非线性和非平凡user-item互动关系。在下面几节中,我们详细的提出了神经个性化排序模型,神经网络集成到基于排名的泊松系数模型的协同过滤与隐式反馈频率。

4.1。排行第三的泊松系数模型

在实际的推荐系统中,隐式的用户和项目之间的相互作用通常显示在频率数据的形式,它反映了用户的偏好程度。数量的相互作用越大,越优先。传统的推荐模型通常简化二进制的隐式反馈频率反馈,一定程度上导致信息丢失。泊松系数模型(10)取代了通常的高斯可能与泊松概率矩阵分解的可能性,保证nonnegativity的潜在因素。此外,正如报道(10),泊松系数模型适用于模拟频率数据,显示类似的属性隐式交互。因此,我们基本上采用泊松系数模型来量化用户的交互行为和学习隐含的潜在用户特性和项目特性频率反馈。类似于经典的矩阵分解模型(3,4),泊松系数模型基本上采用逐点地回归方法学习的表示为用户和商品的观察反馈。从这个意义上讲,只有观察反馈贡献潜在用户的学习特点和项目功能。由于数据稀疏问题,一般出口在推荐系统中,可用的观察反馈是不够的泊松系数模型学习的特性,导致推荐系统的性能退化。

贝叶斯个性化排名(BPR) [7)是一个受欢迎的成对学习方法与二元协同过滤反馈和被广泛采用在许多推荐模型(8,23]。BPR潜在用户和项目特性的优化学习贝叶斯成对排名标准。与逐点学习方法不同,BPR假定用户更喜欢nonobserved项观察项。事实上,BPR本质上是缺失的值导致推荐模型的训练。因此,这种双向的学习方法在某种程度上缓解数据稀疏问题。

解决隐式的稀疏频率反馈,我们提出一个基于排名的泊松系数模型,它结合了泊松系数模型和贝叶斯个性化的排名。排名基于泊松系数模型采用双向学习方法学习偏好之间商品的排名。具体地说,我们假设用户的偏好为项目增加交互的数量增加。这个假设意味着三个方面:首选项观察项的排名高于nonobserved商品的偏好;如果观察到的两个项目,一个用户喜欢的更多的交互在另一个数量少的交互;两个nonobserved物品,我们不能推断出他们的偏好。让表示数量的用户之间的交互和项 ,和为用户和项 。如果 ,然后,用户喜欢的项目在项目 ;也就是说, ,在哪里表示用户偏好之间的关系和物品。如果 ,然后 ,在哪里代表一个阈值参数。换句话说,如果之间的区别和超过阈值 ,我们假设在项目的偏好排名高于项目的偏好 。在形式上,训练集(即。,the set of triplet )定义如下:

考虑到用户偏好之间的关系和项目 ,我们最大化后验概率学习潜在的用户和项目特性。表示模型参数;也就是说, 。通过贝叶斯推理的后验概率和可以得到如下:

所有用户都被认为是相互独立的,和偏好的排名(用户、项目)为一个特定的用户也被认为是独立于其他(用户、项目)对排名。因此,所有用户的似然函数是作为制定 在哪里是指示函数。基于整体和反对称性的属性偏好关系,(6)是写成 表示用户的概率喜欢的项目在项目和被定义为 在哪里 是物流乙状结肠函数。是一个真正的价值函数模型参数和捕捉用户之间的关系 ,项目 ,和项和定义如下:

此外,γ先验假设的潜在用户和项目特征向量:

替代的似然函数中定义(7)和中定义的模型参数先验(10)(5);然后最大化后验概率的日志;我们获得排名泊松系数中模型的目标函数如下:

应该注意的是,这两个烤瓷和排行第三的烤瓷基本上假定每个观测到的元素在user-item交互矩阵遵循泊松分布。此外,他们两个地方伽马先验每个条目的潜在用户特征矩阵和项目特征矩阵。此外,他们基本上是生成概率模型。排行第三的PFM模型是烤瓷的延伸。排名烤瓷和烤瓷中模型的区别是烤瓷逐点地推荐模型,而排名烤瓷中采用双向学习模型参数的方法。烤瓷,只有观察反馈贡献学习推荐模型参数。排行第三的烤瓷,观察反馈和缺失值有助于学习模型参数。

4.2。神经个性化排序模型的体系结构

所示(9),排名基于泊松系数模型使用一个线性函数(即。,inner product) to model the interactions between the user latent features and the item latent features. As reported in [9),线性函数的表达能力有限,可能不足以捕捉用户的复杂结构的交互,这阻碍了性能排名基于泊松系数模型。捕获交互的复杂结构;因此我们开发一个神经个性化排序模型的排行第三的泊松系数模型,称为NRPFM。该模型集成神经网络排名泊松系数模型中,赋予了线性排行第三的泊松系数模型具有高度的非线性。在我们的神经个性化排序模型,我们使用多层感知器(MLP) [12学习非线性和非平凡user-item互动关系。图1介绍了我们提出的架构模型,它包括两个分支——左分支用来预测评分的积极(用户、项目)和右分支-一对。每个分支包括四层:嵌入层,合并层,隐藏层和预测层。

嵌入层。嵌入层是旨在将用户和项目映射到低维的空间和使用紧凑和密集的真正价值向量,而不是稀疏和高维向量,表示用户和项目。

我们的模型是一个三联体的输入 表明用户的索引排名和相应的项目 。一个炎热的编码用户和条目索引后,我们得到的稀疏表示用户和项目。然后,我们使用嵌入的映射进行查表获得用户和项目和 。在形式上, 在哪里 显示的结果在一个炎热的编码为用户或项目。 和 是用户嵌入矩阵和项目嵌入矩阵,分别。嵌入矩阵和潜在的特性矩阵派生从矩阵分解模型具有相同的语义。因此,代表了潜在的特征向量的用户和说明项目的潜在特征向量 。

在嵌入层,我们将在用户嵌入和项目嵌入每一对(用户、项目)的合并图层。连接用户和项目共同编码嵌入的用户首选项和项目特征。然后,我们喂连接嵌入到隐藏层。这个设计出现层是广泛采用的基于多层感知器(MLP),推荐方法(9,26]。

隐藏层和预测层。自嵌入的简单连接不占任何用户潜在的功能之间的相互作用和项目潜在的特性,我们利用一个多层感知器(MLP)学习user-item互动关系,它赋予我们的模型具有高度的非线性。延时栈多个完全连接隐藏层,每个隐层非线性变换前隐层的输出通过权重矩阵和激活函数和提要输出到下面隐藏层。整个MLP采用塔式结构,层的大小层的一半的大小吗 。基于这种结构,更高的隐藏层能够学习更抽象的特性为用户和项目。

预测层与最后一个隐藏层,以ReLu为激活函数预测项目得分。正式的预测分数项由用户定义如下: 在哪里是预测层的权重矩阵。 , ,和表示权重矩阵、偏差向量和激活函数分别th隐藏层。是用户的连接嵌入和项目嵌入 。的预测分数项由用户以同样的方式计算。我们采用ReLU作为隐藏层的激活函数,因为其他激活功能,如乙状结肠和双曲正切、饱和度和导致过度拟合。

4.3。模型的学习

对项目预测分数反映用户的偏好。在获得积极的预测评分(用户、项目)和负(用户、项目),也就是说,和 ,真正的价值函数修改如下:

整合上述函数关系排名泊松系数模型中,神经个性化排序模型的目标函数定义如下:

我们初始化用户嵌入矩阵和项目嵌入矩阵泊松分布,参数化的形状参数和速度参数 。在训练阶段,根据规则的训练集的建设 ,我们统一样本三胞胎 在每个迭代中,控制消极的物品为每一个积极的实例的数量。洗牌这些采样三胞胎之后,一批三胞胎被送入神经个性化排序模型。优化算法,我们采用亚当(55更新梯度),因为亚当曲调基于自适应的学习速率方案,因此收益率快速收敛。

5。实验

在本节中,我们在真正的数据集进行几个实验来比较我们建议的推荐算法的性能与最先进的方法。

5.1。数据集描述

有许多数据集用来评估推荐算法的性能,如MovieLens (https://grouplens.org/datasets/movielens/),Yelp (https://www.yelp.com/dataset/challenge),Epinions这样(https://snap.stanford.edu/data/soc-Epinions1.html)和Netflix (https://www.netflixprize.com/)。然而,他们中的大多数只(即由显式反馈。评级)。在我们的实验中,我们选择两个公开的数据集(http://www.ntu.edu.sg/home/gaocong/datacode.htm):Foursquare和Gowalla,来评估我们的方法的性能,因为它们包括隐式频率反馈的用户。Foursquare (https://foursquare.com/)和Gowalla (http://gowalla.com/)是两种流行的基于位置的社交网络(LBSNs),吸引许多行业和学术界的关注。用户在Foursquare和Gowalla,展示他们的喜好的在一些地点“签到”(如餐馆,游客,和商店)。换句话说,通过签到用户与位置。签入一些扩展的数量表示用户的偏好度的位置。

在Foursquare数据集,所有签到收集从2010年8月到2011年7月在新加坡。Gowalla的签到数据集是在加利福尼亚州和内华达州从2009年2月到2010年10月。在这两个数据集,用户检查在少于5的位置已被移除。与此同时,位置少于5用户过滤掉。Foursquare数据集包含194108个登记从2321用户在5596位置观察。我们随机抽样原始Gowalla数据集的一个子集的评价。Gowalla采样数据集包括242172登记从5000用户在23997位置观察。聚合后的登记记录基于用户和位置标识符,我们获得105764项在Foursquare的用户位置相互作用矩阵,和160689项Gowalla的用户位置相互作用矩阵,分别。Foursquare和Gowalla的稀疏数据集 和 ,分别。因此,Foursquare和Gowalla数据集非常稀疏。在Foursquare数据集,每个用户平均在45.57位置检查。Gowalla,平均每个用户在32.13位置检查。

Foursquare和Gowalla的一般统计数据表进行了总结1。

5.2。评价指标

我们关注的推荐问题隐含的反馈,这是制定项目推荐问题,旨在为用户提供最高排名最高的物品。因此,我们使用两个广泛使用的排名指标来评估不同的推荐算法的性能,即,Precision@和Recall@ ,在哪里是排名推荐列表的长度。给定一个用户 ,精度和召回的定义如下: 在哪里前,为用户推荐的项目列表和用户访问项目列表吗在测试集。最终Precision@和Recall@整个推荐算法的平均精度和召回的值计算出所有的用户,分别。对于这两个指标,我们集 在我们的实验评估性能。

5.3。比较的方法

为了评估我们的方法的有效性,我们用以下方法比较先进的方法:(1)及:这种方法提出了Mnih和Salakhutdinov4),可以被视为一种概率扩展的圣言56)模型。及代表了潜在的用户和项目特征向量通过与高斯概率图模型的观测噪声。(2)BPR: BPR采用贝叶斯个性化的排名标准(7]项排名。OCCF BPR是一个双向的学习方法的问题。在我们的实验中,我们采用一个统一的采样策略user-item对模型训练样本。(3)延时,延时是NCF的实例化(9连接用户和项目嵌入的),和源连接到神经网络模型的非线性user-item交互。(4)NeuMF: NeuMF NCF的另一个实例,这是一个强大的基线,融合了广义矩阵分解和多层感知器同时模型之间的线性和非线性相互作用潜在用户的特性和潜在的项目特征。(5)烤瓷:这种方法提出了马et al。10]。烤瓷关注网站推荐和用户的隐式反馈使用泊松分布模型。(6)NRPFM: NRPFM节中描述4。NRPFM是一个神经个性化排序模型与隐式频率反馈,协同过滤于一体的排名泊松系数模型中神经网络。

5.4。实验设置

为了使一个公平的比较,我们设置每个方法的参数,根据各自的引用或基于我们的实验。在这些参数设置,每个方法达到最佳性能。及,我们集和0.001。BPR, ,我们采用一个统一的采样策略user-item对模型训练样本。及、BPR和烤瓷,我们组所涉及的学习速率梯度下降算法0.0001。对于延时,我们采用塔式结构的神经网络三个隐藏层,每个隐层的大小在哪里 。嵌入用户和项目的大小等于第一个隐层的大小,我。e, 32。对于NeuMF,我们采用原始论文的默认参数设置:隐藏层的数量设置为3,和每一个隐层的大小 ,分别。负样本的数量为每个积极将4和广义矩阵分解的嵌入大小设置为10。烤瓷, 。对于我们的提议NRPFM,我们初始化模型参数使用伽马分布形状参数 和速度参数 。我们设置的隐藏层数是3,每个隐层的大小 。与此同时,我们将负样本/正实例的数量是8, 并采取亚当与批处理大小为256的优化器。

对于每个用户,我们随机抽取70%的访问地点作为训练集,其余30%的位置作为测试数据。我们进行数据分割的5倍和报告的平均结果为每个数据集测试集。

5.5。推荐质量比较

表2和3报告所有的推荐质量相比Foursquare和Gowalla数据集的方法。

从表2和3,我们有以下的观察:在这两个数据集,及执行方法相比在所有最严重。除了数据稀疏问题,一个可能的原因是,及假定用户的隐式反馈符合高斯分布,这是不适合建模的隐式反馈频率。比及BPR达到更好的性能。这是因为BPR采用成对学习方法来推断潜在用户和项目特征向量,使缺失值有助于学习的模型参数。因此,在某种程度上,这种双向的学习方法可以缓解数据稀疏问题。虽然延时和NeuMF应用逐点学习方法的潜在表示用户和项目,它们通常优于BPR。这显示了神经网络的优势在捕获用户的交互的复杂结构。中长期规划的性能改进和NeuMF BPR证明使用神经网络来捕捉非线性user-item互动关系对协同过滤是有益的。烤瓷优于以很大的优势及BPR和达到类似的性能。此观测结果表明,泊松系数模型更适合建模使用的隐式反馈频率比概率矩阵分解。与此同时,烤瓷比BPR的整体性能。这是因为烤瓷只使用观察反馈学习的特征向量,遭受数据稀疏问题。NBPFM始终优于其他方法,这表明我们提出的模型的有效性与隐式协同过滤频率反馈。我们建议的方法提高了Precision@3 NeuMF Foursquare和Gowalla 6.4%和8.9%,分别。Recall@3而言,改进的NBPFM NeuMF Foursquare和Gowalla分别为9.2%和4.6%,分别。这个观察证实了我们的假设,即整合的优势排名泊松模型中学习用户的偏好之间的排名项目和神经网络在捕捉非线性user-item互动关系能够提高推荐质量。所有的比较方法在Foursquare比Gowalla取得更好的成绩。原因是Gowalla比Foursquare稀疏。与致密user-item交互,推荐的方法是更能准确地了解潜在的用户和项目特征向量,从而导致更好的推荐性能。

5.6。敏感性分析

5.6.1。神经网络的深度的影响

在我们的方法中,我们使用神经网络,我。e、延时、学习用户和项目特征向量之间的非线性相互作用,从用户的隐式反馈。神经网络的深度是一个重要因素,影响神经网络的表达能力。部分,我们进行的一组实验研究神经网络的深度影响推荐质量。我们解决最后一个隐层的大小为8和不同神经网络的深度从1到4。例如,如果神经网络的深度是4,然后神经网络的结构 ,和嵌入用户和项目的大小是64。其他参数保持相同的设置节中描述5.4。我们只在Foursquare在表给出了该系统的实验结果4Gowalla和实验结果显示类似的趋势。

在表4NBPFM -表示NBPFM方法隐藏层。是显示在表4,NBPFM始终优于NeuMF不同数量的隐藏层。此外,它不是有利于NBPFM堆栈中长期规划更多的隐藏层学习潜在用户和项目之间的非线性相互作用函数特征向量。一个可能的原因是,一个更深层次的神经网络使NBPFM有更多可训练的参数,这是相对困难的学习训练数据有限,导致退化的推荐性能。此外,对于NBPFM没有隐藏层,NBPFM——的性能甚至优于NeuMF。NBPFM -可以被视为一种变体的排行第三的泊松系数模型,利用用户和项目的连接映射进行预测评分。这个观察以某种方式显示我们提出的有效性排名泊松系数模型的协同过滤中隐式反馈频率。

5.6.2。负样本的影响

在本节中,我们进行另一组实验来调查负样本推荐质量的影响。我们每个积极改变负样本的数量从1到16和观察变化的推荐质量。我们设置隐藏层的数量是2自NBPFM达到更好的性能在这种设置下,表所示4。和其他参数保持不变。实验结果的NBPFM Foursquare在图所示2。

显示在图2神经个性化模型,我们提出了对负样本的数量。建议首先提高质量负样本数量的增加,然后降低负样本的数量进一步增加。这表明不足或过多的负样本可能伤害NBPFM的推荐性能。NBPFM达到最佳的性能当负样本的数量大约是8。

5.6.3。参数的影响和

在我们的方法,参数和控制γ的形状和尺度分布,用于初始化用户嵌入矩阵和项目嵌入矩阵。我们执行另一组实验来评估的敏感和 ,通过改变的值从1到5 ,或不同的值从0.1到0.5 。NBPFM对不同的实验结果和在Foursquare在数据绘制3和4,分别。

我们可以看到,两者兼而有之和严重影响我们的提出的建议模型的性能。在的情况下固定值2,NBPFM执行最好的时候大约是0.2,进一步减少或增加的价值导致性能下降。在修复的价值0.2,NBPFM显示了类似的趋势;也就是说,all the evaluation metrics firstly move upwards and then begin to drop down, when超过某个阈值。这个观察表明NBPFM也是敏感的初始化用户嵌入矩阵和项目嵌入矩阵,最初编码用户首选项和项目特点,分别。

6。结论和未来的工作

在本文中,我们提出一个神经个性化排序模型与隐式频率反馈,协同过滤于一体的排名泊松系数模型中神经网络。我们首先开发一个排行第三的泊松系数模型,它结合了泊松系数模型和贝叶斯个性化排序模型的隐式反馈频率。排行第三的泊松系数模型采用双向的学习方法学习偏好之间商品的排名。然后,我们利用神经网络进一步扩展排行第三的泊松系数模型,并提出一个神经个性化排序模型来捕获user-item交互的复杂结构。神经个性化排序模型利用多层感知机学习非线性user-item互动关系和赋予线性排行第三的泊松模型与高水平的非线性因素。在两个真实数据集的实验结果表明,我们建议的方法优于最先进的推荐算法。

我们只能推断出用户的偏好和物品的特点从用户的隐式反馈。从辅助信息,如社会关系和用户评论,有利于推荐算法,我们计划将这些辅助信息集成到提出神经个性化排序模型来提高推荐性能。此外,最近的深度学习的进步,例如,注意力机制,图卷积神经网络,并生成对抗网络,显示巨大的潜力在自然语言处理和计算机视觉领域。因此,上面的深度学习技术的应用推荐系统将是一个有趣的方向。

数据可用性

邮政数据用于支持本研究的发现是可用的http://www.ntu.edu.sg/home/gaocong/datacode.htm。邮政数据是公开的,可以直接下载http://www.ntu.edu.sg/home/gaocong/data/poidata.zip。数据集提出了部分的描述5.1我们的手稿。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是自然科学基金支持部分的江苏省高等教育机构(批准号17 kjb520028), NUPTSF(批准号NY217114),南京邮电大学通达学院(批准号江苏省XK203XZ18002),清局域网项目。