离散动力学性质和社会

PDF
离散动力学性质和社会/2021年/文章
特殊的问题

离散动力学复杂的自然和人工系统之间的相互作用

把这个特殊的问题

研究文章|开放获取

体积 2021年 |文章的ID 6693730 | https://doi.org/10.1155/2021/6693730

延安Yupeng Liu,小陈, 一个端到端的顺序推荐评论基于Aspect-Level神经模型”,离散动力学性质和社会, 卷。2021年, 文章的ID6693730, 12 页面, 2021年 https://doi.org/10.1155/2021/6693730

一个端到端的顺序推荐评论基于Aspect-Level神经模型

学术编辑器:普Tomasiello
收到了 2020年11月28日
修改后的 2021年2月3日
接受 09年2月2021年
发表 2021年2月20日

文摘

用户的评论的项目包含大量的语义信息对他们的偏好。本文模型用户的长期和短期偏好通过aspect-level评论推荐使用一个连续的神经模型。具体来说,模型设计与创建用户和项目编码表示提取全球和本地相关的和item-related评论。给定一系列的邻居用户的用户,我们设计一个层次关注模型来捕获级别的偏好顺序模式,一个指针模型来捕获方面的个人偏好,和传统的注意模型平衡级别和方面的个人偏好的影响。最后,长期和短期的首选项组合成一个表示用户和项目配置文件。大量实验表明,该模型大大大大优于其他先进的基线。

1。介绍

在信息爆炸的时代,信息过载是用户面临的一个重要问题。推荐系统是解决这一问题。他们已经演变成一个基本工具,帮助用户在选择项。推荐模型包括评论基于模型(1),引起模型(2- - - - - -4],基于模型[5)等(6- - - - - -8]。

在学术研究领域,大量的工作集中于造型长期偏好。然而,没有适当的模型对短期来自近邻用户的偏好。近邻用户经常项目由用户购买决策的影响。例如,一个用户会非常感兴趣购买苹果手机如果他/她的近邻用户购买。最近,连续的建议引起了学术和工业圈的越来越多的关注。任务是确定一个项目购买的用户通过考虑他或她的时间偏好序列。

与此同时,许多技术已经开发来解决数据稀疏问题,利用语义信号提供的评论。在文本评论模型丰富的语义信息,有必要超越文字的表面特性表征的评论。考虑以下两句话含有这个词“短”:(1)很短的电池寿命,和(2)“加载时间短。“在这里,“短”两个句子的不同的情感信息。每一个字在不同的上下文中有不同的含义。字嵌入只考虑的话不考虑每个单词的不同的含义在不同的上下文中。

为此,我们提出了一个端到端的评论基于aspect-level神经模型(RANM)顺序的建议。与管道模型相比,我们的端到端模型克服了管道模型的固有问题:时间延迟参数冗余和错误传播。的评论提供了更丰富的语义信息,增强了模型的表达能力。具体来说,我们将相关的和item-related评论嵌入一个连续密度低维向量空间利用创建卷积和self-attention。创建卷积可以获得semantic-oriented感伤的本地信息,评论,虽然self-attention可以获得单词联想全球信息的评论。双方是互补的。层次关注层是用来获取邻居用户的序列模式在欧盟层面上,使用和指针机制在个体水平。注意机制是用来平衡双方的影响。层次关注层可以获得multigranularity级别的邻居序列模式,而点机制可以获得一个个体层面的邻居序列模式。双方是互补的。 Finally, we combine the long-term and short-term preferences to obtain a hybrid representation method for more accurate item recommendations. Overall, the key contributions of this paper towards sequential recommendation are summarized as follows:(我)本文推荐评论是用来精确地表示用户和项目。我们的模型可以缓解数据稀疏问题,提供良好的可解释性推荐任务。我们所知,这是第一篇论文利用丰富的语义信息的邻居用户的评论神经顺序推荐系统。(2)更细粒度的用户和项目开发资料。此外,我们使用一个创建卷积和self-attention层来识别用户,他们的邻居,项表示。同时,我们引入一个分层的注意机制和评估指针模型multigranularity级别和个体层面的用户首选项。(3)我们进行广泛大量的实验数据集(亚马逊和Yelp)来验证该模型的有效性。的重要性的不同组件模型和参数的敏感性研究。相比之下,许多经典的基线系统和稀疏数据集上达到良好效果。

本文的其余部分组织如下。节2,我们讨论现有的工作方法。在部分34,我们描述的细节RANM,模型架构,和训练方法。第五节描述了我们的实验设置和比较模型与许多先进的基线。最后,我们得出结论本文第六节

2.1。评论基于推荐

为了提高准确性和可解释性的建议,有很多研究利用评论。两个卷积神经网络(CNN) (9)和递归神经网络(RNN) [10)已被广泛采用的评级从评论中提取语义表示预测(1- - - - - -4,11- - - - - -14]。DeepCoNN [13)是第一次尝试联合模型的用户,并使用神经网络评论的条目。从multimodel组合的角度,当1]扩展DeepCoNN [13通过引入一个附加层代表user-item一对。目标网络协助源网络评分预测。吴et al。11)提出了一种利用user-item交互模型特性从辅助用户的评论。吴et al。12)模拟联合表示为一个特定的用户和条目,包括评论基于学习和基于交互功能。发现的多个参数,茶等。4)提出了一种多点user-item交互的模型,该模型可以结合多个视图通过review-level和句co-attention。李等人。14)被认为是在一个项目的用户的角度单位语义表示,这是组织成多个逻辑感兴趣的单位。

这些方法可以分为基于交互协同过滤。从单模来看,这些都是后期交互模型。我们的方法不仅包括早期的邻居用户和项目之间的相互作用也是用户和项目之间的相互作用。我们的模型包括一个邻居的组合模型和用户模型和不同的偏好,如长期偏好和级别和个体层面的短期偏好。

2.2。基于主题的建议

许多研究试图从文本中提取语义特征通过主题模式15,16]。CTR [17]假定项目的潜在因素取决于潜在的主题分布的文本。TopicMF [18]链接的主题和潜在因素通过使用一个定义的变换函数。McAuley et al。19主题方法集成到矩阵分解通过语料库正规化可能性。徐et al。20.)提出了一个模型结合评级预测和主题选择,融合了评论和co-clusters隐藏的用户社区和项目组织。

不仅有主题信息,但也在评论情感信息。一些解决方案模型潜在的因素转变为主题图形的框架模型。王等人。21)提出了一个潜在的评级方面分析模型来确定一个局部方面的相对重要性。刁et al。22]共同模仿评级和审查通过方面一代和他们的情绪。其他解决方案局部因素从评论合并到一个潜在因素学习框架。程等。23]共同模仿aspect-level重要性和评级评论和项目图片,放到矩阵的分解框架评级预测。邵et al。24]匹配用户和项目的sentiment-aware multimodal主题模型。与第一种方法相比,该模型可以优化联合和独立。

2.3。向方面的建议

以面向方面为基础的推荐系统可以分为两个主要类别。第一类使用外部情绪分析工具来提取方面。Zhang et al。25)开发了一种使用user-item multimatrix分解模型评级矩阵,用户功能注意矩阵,一个项功能质量矩阵。陈等人。3)学会等级用户首选项基于短语级情感分析跨多个类别,进一步整合这个框架矩阵分解项目和类别的水平。贫民窟(26]预测情绪信息,然后确定用户在那项的最有价值的方面。这些作品依靠外部情绪分析工具箱的性能。

第二类自动获得评论方面的嵌入式组件模型。下巴等。5)模拟用户如何评价商品背后的多方面的过程通过估算aspect-level用户和项目基于神经co-attention机制的重要性。一个3NCF [27在评论]定义方面主题信息和嵌入信息的组合表示。李等人。28)使用一个特殊的CNN网络捕捉创建表示评论。与第一种方法相比,这种提取方法明确的方面导致错误积累在下游推荐任务。

基于主题和向方面的建议是浅潜在语义方法,但是我们的模型是一个深潜在语义方法通过复杂的层次结构。此外,我们的方法有一个更加统一的模型表示联合训练和推理和潜在语义的表示形式也更加多样化。

2.4。顺序的建议

顺序推荐使用隐式反馈是一个重要的手段。序贯模式学习被广泛验证是一个关键问题在顺序推荐29日- - - - - -32]。Rendle et al。29日)个性化的马尔可夫链模型,提出了一个映像包含常见的马尔可夫链和矩阵分解模型。王等人。30.)实现了一个分层表示模型,该模型可以捕捉用户的品味和将军都连续行为涉及事务和用户表示在评级预测。他McAuley (31日)综合相似性与马尔可夫链的方法。这些方法使用马尔可夫链模型的序列模式。陈等人。32)提出了一个更加灵活的模型集成协同过滤与记忆网络。

会话/基于cookie的推荐,不包含用户身份信息,非常类似于顺序的建议。Hidasi et al。33会话的格勒乌模型提出建议。这通常是被认为是第一次会议推荐基于深层神经网络(款)。谭et al。34)提出了两种实用的技术,即数据增加和分布的变化,改善模型性能。Jannach和Ludewig35)提出了一个启发式近邻会话框架,辅以GRU4REC (33]。Ludewig和Jannach36)提出了一种有效的基于会话的矩阵分解,提出了深入的结果性能比较等一系列算法,使用各种数据集和评价措施。我们的模型使用一种引起机制获得更具表达性的序列之间的关系。

3所示。提出的模型

在本节中,我们提出一个端到端的review-driven aspect-level神经推荐模型。图1说明了网络用户的整体网络体系结构表示。

3.1。模型架构

在表1,让 分别代表了用户和项目集。每一项 与邻居用户按年代排列顺序吗 ,在哪里 是一个邻居用户的项目 有互动。我们合并用户 和项目 的评估形成用户文档集 和项目文档 ,在哪里 是用户 和项目 分别在单词量文档长度。


符号 定义

用户组
项目集
用户
用户 的文档
的文档
的表示
用户 的长期偏好表示
用户 级别的短期偏好表示
用户 个体层面的短期偏好表示
用户 的短期偏好表示
用户 jth邻居用户表示
用户 的总体偏好表示
参数设置在CNN网络
在self-attention净参数集
参数设置在分层网络的关注
参数设置在网的关注
评级从用户 为项目

首先,用户评论 转换成一个嵌入矩阵 通过神经嵌入层, 的尺寸大小表示向量的每个单词复习。具体来说,神经嵌入层执行查找操作通过一个共享word-embedding矩阵。word-embedding矩阵可以初始化使用pretrained词向量(37,38]。

同样的颜色用于相同类型的审查和评论基于向量表示在图1,比如用户的评论和评论基于向量。相同的颜色是用于同一类型的子网,比如self-attention网络,CNN,和关注网络。

3.2。发现邻居用户

发现邻居用户可以帮助确定邻居用户的社交网络。我们使用邻居用户的评论来提高用户表示模型,因为他们可以为当前用户提供更多的信息。这里的邻居用户的当前用户的偏好相似。这里的关键是确定当前用户的邻居用户。本文采用矩阵分解法(39),一个标准的方法来检测用户的邻居。基本思想是将评级矩阵分解获得隐藏变量的表示,以便获得通过相似的邻居用户的功能。

具体来说,用户的评级项目由一个矩阵表示 ,元素的数量用户设置在哪里 和项目集 三个矩阵是用来近似评级矩阵。在学习算法中,我们使用一个迭代优化方法计算矩阵分解。 在哪里 代表的后验概率 主题为每个项目集群, 代表每个话题的分布 , 代表的后验概率 主题为每个用户。

我们使用矩阵分解得到后验概率。来推断 , , ,解决的问题是通过以下更新规则:

用户的相似性 ,鉴于评级矩阵 ,使用皮尔逊相关系数计算如下: 在哪里 表示用户的平均加权评级 ,分别。邻近的过程为你的邻居用户物品是一样的。类似于方程(5),我们可以计算两个项目之间的相似度向量使用topic-item矩阵

3.3。Aspect-Level CNN

在本节中,我们描述了aspect-level卷积的过程从评论中提取aspect-level的用户评论信息。传统上,我们使用相同的word-embedding表示相同的词。然而,语义或情感极性相同的词可以为不同的方面是不同的。在本文中,一个基于变换矩阵 用于转换是word-embedding矩阵吗 到一个基于word-embedding矩阵 嵌入这个词 方面可以表示为一个张量 不同的传统word-embedding表示,介绍了每个单词的不同方面。

然后,出于工作的李et al。28),我们使用一个CNN编码当前单词的上下文。张类似于多通道图像的特征表示。摘要传统的图像特征处理方法用于执行卷积操作在一个基于功能嵌入张量。具体来说,有n过滤器/内核 , ,在哪里 过滤器的高度。例如,如果n= 10,h={1、3、5、7、9},然后为每个大小会有两个过滤器。转换得到的非线性特性,我们使用ReLU激活函数卷积手术后使用n过滤器。 在哪里 是维h提取的一阶三阶张量, 表示elementwise张量和的产物kth卷积核 , 滑动窗口的起始位置。具体来说,上下文使用生成的窗口 当前词的话两边的。结果是 ( 是这个词的上下文特征,n过滤器的数量)。因为不同的卷积核卷积范围不同,生成的向量的维度是不同的。加工方便,不同大小的填充用于卷积核的大小不同。参数设置 aspect-level CNN层包含 , , ,

3.4。Self-Attention

一般来说,池层是用来完善卷积后的功能层。然而,并不是所有的单词都为每个用户/项目同样至关重要。卷积认为地方特色,而self-attention考虑了全局特性。集成的两个特征的抽取,可以更好地考虑从全球和本地视图(40]。为了更好的泛化能力,我们使用普通self-attention [41]。 在哪里 当前词的表示向量, 可学的参数, 是一个softmax函数。凭直觉,self-attention层计算所有值向量的平均值 ,重量是matrix-weighted查询向量点积吗 和关键的向量 一个比例因子n是用来避免大重量由于其高维度。参数设置 self-attention层包含

邻居用户的表示向量编码如下通过使用max池。最大池意味着最强的这些特性被保留。 在哪里 ( )嵌入的吗jth邻居用户和 是邻居用户的数量。用户的长期偏好 和项目表示 提取使用相同的程序。

3.5。层次关注网

分层注意机制是用来获取邻居用户之间的关系。因为邻居用户之间的关系是复杂的,分层建模需要获得不同粒度之间的关系。直观地说,邻居用户的订单顺序建议至关重要。给定一个用户u和他的邻居用户按顺序排列,每个影响项相关订单。因此,我们这个订单信息,包括位置编码嵌入到用户表示: ( ,在哪里 嵌入的吗jth位置。

我们使用物品表示 将你的邻居用户表示 成一个user-item表示 如下: 在哪里 的重量是 加权函数 计算使用以下方程在跳吗t:

请注意, 使用迭代查询。我们定义的初始值 在第一个跳。在这里, 是邻居的顺序偏好表示用户在欧盟水平。也就是说, 由所有邻居用户共同编码。参数设置 self-attention层包含 , , ,

3.6。检查指针

直观地说,团购行为并不代表个性。因此,除了用户级别的邻居表示,它还需要个体层面的邻居用户表示。例如,一个用户会买一个三星的手机仅仅因为大多数邻居用户买了一个三星的手机。在这种情况下,购买其他比三星只是噪音,被推荐模型。我们可以简单地认为 作为最终短期来自用户的偏好u,但它只在欧盟层面捕获序列模式。更好地表达用户的短期偏好,我们进一步探索邻居用户对购买行为的影响在个体层面,也就是说,确定几个用户与项目相关联。

灵感来自于指针评论基于机制的建议(4),我们选择最大注意重量的物品如下:

3.7。用户表示向量

这两个短期偏好表示的用户必须是平衡的。我们利用数量积的注意机制的加权平均级别和个人需要短期偏好。最终用户偏好短期计算如下: 在哪里 的重量级别的短期偏好 和个体层面的短期偏好 ,分别。参数设置 层包含的关注 ,这是所需的矩阵计算的注意。

用户的长期和短期的偏好也需要平衡。当前用户的偏好形成通过向量的线性组合表示如下: 在哪里 平衡两个组件的重要性和hyperparameter。项表示网络的结构类似于用户表示网络;然而,它只使用最近邻物品。相应的参数是不同的。

4所示。模型训练

我们使用一个分解机(29日)获得一阶和二阶特性。在协同过滤或矩阵分解技术,用户和条目表示映射到相同的向量表示空间 评级 可以使用内积计算 (2,42]。 是一个标量,代表着user-item交互。

连接x用户表示 和项表示 传入一个分解机。由于对称的标量产品和内积,下标j需要一个更大的价值比培训。本文采用均方误差(MSE)作为目标函数。组件网络训练中所有参数共同通过反向传播训练过程。RANM包括词的模型参数嵌入,嵌入的位置,变换矩阵,关注网络,和CNN网络。Pretraining。我们取代了层次关注与两个前馈网络层。当前用户的一个是,另一种是邻居用户和项目之间的交互部分。这种简化模型不考虑邻居用户和项目之间的交互细节。泛化。许多研究发现,深层神经网络容易遭受过度拟合。因此,我们应用一阶加权L2正规化,二阶重量和偏见。除了L2正规化,我们也使用辍学13),从而进一步减少过度拟合。辍学的技术可以防止互相适应下降一些神经单位在培训过程中(43]。


数据集 #用户 #项目 #评级 稀疏

亚马逊即时视频 5130年 1685年 37126年 0.0042
Android应用程序 87271年 13209年 752937年 0.00065
汽车 2928年 1835年 20473年 0.0038
婴儿 19445年 7050年 160792年 0.0012
22363年 12101年 198502年 0.00073
52岁,643年 91年,599年 2、84、108 0.00062
cd和乙烯基 75258年 64443年 1097592年 0.00023
手机及配件 27879年 10429年 194439年 0.00067
衣服鞋子和珠宝 39387年 23033年 278677年 0.00031
数字音乐 5541年 3568年 64706年 0.0033
电子 192403年 63001年 1689188年 0.00014
购物和美食 14681年 8713年 151254年 0.0012
健康和个人护理 38609年 18534年 346355年 0.00048
家里的厨房 66519年 28237年 551682年 0.00029
Kindle商店 68223年 61934年 982619年 0.00042
电影和电视 123960年 50052年 1697533年 0.00027
乐器 1429年 900年 10261年 0.0079
办公产品 4905年 2420年 53258年 0.0045
庭院、草坪和花园 1686年 962年 13272年 0.0081
宠物用品 19856年 8510年 157836年 0.00093
体育和户外活动 35598年 18357年 296337年 0.00045
工具和家居装饰 16638年 10217年 134476年 0.00079
玩具和游戏 19412年 11924年 167597年 0.00072
视频游戏 24303年 10672年 231780年 0.00089
Yelp18 31831年 40841年 1、666、869 0.0012

5。实验

5.1。实验装置
数据集:我们对Amazon-5cores执行我们的实验数据集(http://jmcauley.ucsd.edu/data/amazon/)。这个数据集包含了产品从亚马逊购买历史从1996年5月——2014年7月。我们对这些数据集采用5-core设置。我们只保留记录2018年在Yelp (https://www.yelp.com/dataset/challenge/)作为最终数据集,它像Yelp18表示。所有的数据集,一个标准的文本预处理方法用于过程评价。稀疏的定义是#评级/(#用户×#项)。对于每个数据集,我们随机构建训练集和测试集的比例80:20。此外,10%的训练集的记录是发展交叉验证。给出了数据集的基本统计信息表2指标:在这里,我们使用MSE性能指标。统计显著性测试(使用 显示结果)是由成对的学生的表演t以及。
5.1.1。基线的方法

分析我们的模型性能更全面,我们使用三种类型的基线进行大量的实验。这不仅可以全面分析RANM的性能也比较这些经典的性能基线。我们将介绍以下三个类别。(一)概率矩阵分解:及44]。(b)潜在的主题和浅嵌入模型与评论:RBLT [45]和CMLE [46]。(c)基于深度学习方法与评论包括注意力机制和造型方面:DeepCoNN [13(公司),1],D-Attn [2],TARMF [3],MPCN [4],ANR [5),和鲤鱼14]。Hyperparameter设置:我们应用hyperparameter优化的网格搜索方法。最后的演出超过5分。的维度选择{100、200、300}。嵌入这个词的成品尺寸大小设置为300。批处理大小更小和更大的数据集将于100年和200年,分别。RANM提议,我们设置的邻居= 5。将的数量方面K= 5,嵌入大小设置为d= 100,n= 10,h={1、3、5、7、9}的卷积层。方面的数量设置为H= 5。学习算法的学习速率设置为0.001,模型训练,权重因子设置为α= 0.1平衡长期和短期偏好,并设置为正则化系数λ= 0.0001克服过度拟合。

5.2。结果与讨论

最好的配置是用于所有基线的实验方法。深的学习方法,同样的TensorFlow实现平台是用于促进公平的比较。表3显示了所有25个开放的结果数据集。在基线,没有主导赢家在所有的数据集。不同的数据集对基线的方法有一定的影响。总的来说,在大多数数据集,基于系统(ANR和鲤鱼)比评论基于系统(TARMF DeepCoNN D-Attn,南非运输网络公司,MPCN),最佳性能的实现是通过使用一个关注机制(D-Attn、TARMF和MPCN)。评论基于系统比浅层语义模型(RBLT和CMLE)。比及浅层语义模型。同样的结论可以从平均性能。


数据集 RBLT CMLE DeepCoNN D-Attn 南非运输网络公司 TARMF MPCN ANR 鲤鱼 RANM

亚马逊 1.367 1.325 1.105 1.192 1.218 1.111 1.285 1.352 1.129 1.158 0.983
应用程序 1.601 1.582 1.562 1.552 1.337 1.625 1.375 1.402 1.412 1.325 1.201
汽车 1.325 1.158 1.259 1.426 1.313 1.205 1.024 0.967 1.151 0.978 0.945
婴儿 1.385 1.368 1.258 1.469 1.309 1.421 1.306 1.313 1.258 1.111 1.009
1.455 1.572 1.596 1.578 1.389 1.458 1.398 1.385 1.299 1.255 1.198
1.185 1.205 1.098 1.125 1.220 1.024 1.052 1.156 0.985 0.989 0.942
cd 1.256 1.156 1.203 0.952 1.186 1.001 1.123 1.054 0.926 0.930 0.910
手机 2.452 2.412 2.045 2.118 1.625 1.983 1.689 1.489 1.675 1.652 1.365
服装 1.528 1.569 1.452 1.425 1.384 1.356 1.386 1.124 1.255 1.023 1.005
数字音乐 1.206 0.870 0.885 1.045 0.925 0.913 0.853 0.989 0.889 0.820 0.789
电子产品 1.856 1.985 1.825 1.657 1.356 1.658 1.698 1.364 1.156 1.256 1.106
杂货店 1.489 1.568 1.425 1.445 1.395 1.352 1.258 1.135 1.256 1.105 1.004
健康 1.725 1.689 1.652 1.562 1.336 1.425 1.325 1.245 1.348 1.289 1.204
1.852 1.762 1.714 1.528 1.425 1.475 1.468 1.235 1.326 1.302 1.210
Kindle商店 1.333 1.258 1.098 0.917 0.986 0.993 0.856 0.786 0.878 0.798 0.724
电影 1.526 1.583 1.356 1.288 1.285 1.111 1.200 1.156 1.152 1.017 1.009
音乐 1.398 0.815 0.817 1.175 1.302 0.798 0.943 0.846 1.052 0.773 0.705
办公室 1.092 0.759 0.759 0.729 0.858 1.259 0.789 0.795 1.096 0.719 0.706
天井 1.785 1.726 1.689 1.633 1.489 1.521 1.485 1.046 1.354 1.258 1.003
宠物用品 1.658 1.628 1.521 1.595 1.446 1.485 1.460 1.385 1.352 1.294 1.213
体育运动 1.428 1.596 1.324 1.301 1.275 1.215 1.115 1.134 1.103 1.059 1.005
工具 1.566 0.983 1.020 1.487 1.225 1.003 1.169 1.082 1.256 0.960 0.952
玩具 1.396 1.425 1.305 1.236 1.106 1.112 1.213 0.985 1.093 1.007 0.920∗
视频 1.672 1.143 1.253 1.445 1.346 1.390 1.195 1.301 1.187 1.084 0.985
Yelp18 1.789 1.987 1.852 1.669 1.458 1.602 1.582 1.469 1.556 1.413 1.398
平均 1.533 1.445 1.363 1.382 1.288 1。3 1.25 1.159 1.206 1.103 1.02

最好的和次优结果以粗体突出显示下划线,分别。统计显著性测试(使用显示结果)是由成对的学生的表演t以及。

实验结果表3RANM方法优于所有基线,并通过假设测试,证明我们的模型的鲁棒性。这是因为用户的上下文更好地代表短期偏好,而其他模型只考虑长期偏好和不模型短期偏好。总的来说,实验结果证明RANM建模顺序是有用的评论评分预测。值得强调一个重要的改进是通过RANM Yelp18获得最低的稀疏数据集评估信息在所有的数据集(见表1)。与最近提议的端到端aspect-level模型(即。,ANR和鲤鱼),RANM的performance improves by 8% and 18% on an average, respectively. Compared with latent topic and shallow embedding models with reviews (i.e., RBLT and CMLE), RANM’s performance improved by 42% and 34% on an average. Compared with the earliest PMF model, RANM achieved an average performance improvement of up to 50%. These results show that the proposed system is sufficiently powerful.

5.3。烧蚀研究

我们执行一个消融研究分析不同组件的功能。本文的违约是指所有组件的完整的模型,并比较其六个变量:没有共同的投影(SP)和aspect-level投影(AP):而不是让aspect-specific变换矩阵,我们限制了模型只使用一个共享的变换矩阵提取的所有方面。此外,我们删除美联社。而不是造型aspect-level CNN,我们不区分每个单词方面的使用一个简单的CNN。没有pretraining (PT):我们放弃pretraining阶段(中描述第四节)的参数 层次的关注,即层次关注层参数的设置。没有self-attention (SA):self-attention层直接删除,以及词之间的全球特性表示向量得到没有self-attention机制。没有位置嵌入(PE)和连续模型(SM):一方面,邻居的顺序应该有一些从直觉对模型性能的影响。另一方面,我们不使用邻居用户模型与目标项目的交互。我们的模型可以缓解数据稀疏或冷启动的问题在某种程度上因为SM含有丰富aspect-level语义信息对长期和短期用户首选项。

烧蚀研究的结果代表玩具、视频、美丽、和书数据如表所示4。根据实验,邻居用户的删除导致最低的性能,这表明序列建模的重要性。我们观察到缺乏共同的AP会导致性能下降。这是最小的性能下降,表明捕获的信息共享方法不显著不同,被非共享方法。如果aspect-level项目进一步去除,性能将继续下降,一个倒数第二。这表明aspect-level评论的重要性和序列的邻居用户的造型。这也证明了我们的方法的有效性。


体系结构 玩具 视频

没有SP 0.934 1.023 1.201 0.988
据美联社和SP 1.035 1.362 1.385 1.156
没有PT 0.956 1.122 1.212 1.026
没有山 0.962 1.343 1.320 1.089
没有体育 1.023 1.025 1.271 1.088
没有SM 1.123 1.401 1.482 1.293
默认的 0.920 0.985 1.198 0.942

最严重和第二糟糕的结果以粗体突出显示,突显出,分别。

其他因素也对结果有一定影响。相对而言,其影响并不显著。层分层的关注,我们发现PT过程提供了更好的优化点开始对整个优化目标函数。SA层,CNN获得本地相关性,但并不是全球的相关性。SA机制就是一个很好的补充CNN。没有体育的结果表明,时间信息的形式一个邻居的距离是一个有用的信号序列的建议。

5.4。参数的敏感性
#方面的影响:2(一个)显示不同的效果方面的数量从1到10。我们观察到一个好的性能可以获得使用大约5到7方面。在每个数据集的最优数量方面略有不同,因为不同数据集的评论的方面是不一样的。#跳的影响:我们展示的啤酒花的影响层次关注层图2 (b)。注意,该模型只考虑普通邻居用户的评论当啤酒花的数量H= 0。图2 (b)显示的效果不同啤酒花的数量从1到10的模型测试数据集。这表明多个啤酒花可以捕获从邻居用户的评论更抽象的信息作为外部内存。然而,太多的啤酒花导致过度拟合。的影响#邻居:RANM始终达到一个更好的性能= 5,如图2 (c)。当变得更小或更大,RANM会在一定程度上降低性能。这是合理的,因为一个小产生更少的有用的和一个大的邻居用户信息不可避免的会引入噪声。因此,我们将在我们的实验= 5。的影响权重参数:参数α在方程(15(即)控制的重要性顺序模式。,un我on-level and individual-level short-term preferences). Figure2 (d)情节与不同的性能曲线α值。当α= 0,RANM降解推荐系统基于评论没有连续的造型。我们观察到,在此设置RANM执行更糟。一个持续取得最佳性能α= 0.1在所有三个数据集。作为α变得越来越大,RANM进一步降解的性能在一个更大的程度上。这些结果表明,短期用户偏好是一个有用的补充,长期用户偏好。因此,我们组α在我们的实验= 0.1。
5.5。模型的可解释性

回想一下,RANM信息编码方面的评论。为了更好地可视化aspect-level审查,我们展示——顶部n短语的重量是构成词的权重的总和。重要的短语以红色突出显示。在邻居的重量的重量产品得到用户的评论方程(7)和(9)。词的重量在用户的评论得到方程(7)。我们随机样本两个用户和他们的邻居用户办公产品在亚马逊的数据集,如表所示5。从下面的两个例子,我们可以看到RANM模型有更细粒度的表示用户的评论。大部分的关注用户和邻居用户的评论关注方面和意见的话。


User1-item1(墨盒)
用户评论 惠普940 xl黄色墨盒在原来的密封盒&密封包装。我插入到打印机和伟大的工作。
邻居用户review1 这是我们能找到的最便宜的方式购买厂家生产的墨盒。它工作得很好。我只希望打印机墨水,一般来说,不是那么贵……
邻居用户review2 易于安装在6500年惠普Officejet打印机,鲜艳的颜色和准确的惠普多功能印刷纸张。

User2-item2(文件夹)
用户评论 这些文件夹工作对于我的申请需求。各种颜色的文件夹允许分类的内容。准备好标签很容易用毡尖笔,铅笔或球点。
邻居用户review1 我喜欢各种各样的颜色和爱的抬起标签快速和容易。然而,重量相当标准和重型不如我想…
邻居用户review2 我喜欢这些选项卡文件夹。到目前为止,这些都是我最喜欢的挂文件夹!爱他们。

6。结论

在本文中,我们提出RANM,推荐一种新的神经模型顺序推荐和评论。我们的模型包含两个用户的长期内在偏好和短期偏好预测用户的评级的目标项目。它利用aspect-level预测提取aspect-level情绪表征。CNN和SA层相互合作来提取全球和本地用户特性(包括用户预测和邻居用户)从有关审查文件和项目功能。小说提出了层次关注模型来捕获细粒度对齐概率。与此同时,它使用注意力模型获得级别和个体层面的短期偏好。实验结果表明,RANM显著优于各种强大的最先进的方法。实验证明我们的模型的优越性,尤其是对稀疏数据。另外,我们的模型可以解释推荐结果基于评论。在未来,我们将扩展RANM考虑每个审查建议的影响。 At the same time, the user's interest of point on the item can also be modelled in a more fine-grained and adaptive learning manner.

数据可用性

我们对Amazon-5cores执行我们的实验数据集(http://jmcauley.ucsd.edu/data/amazon/)。这个数据集包含产品从亚马逊购买历史从1996年5月到2014年7月。我们采用5-core设置对这些数据集。我们只保留记录2018年在Yelp (https://www.yelp.com/dataset/challenge/Yelp18)作为最后的数据集,表示。

的利益冲突

作者宣称没有利益冲突。

引用

  1. r·凯瑟琳和w·w·科恩,拉莫斯:学习改变的建议,RecSys,伦敦,英国,2007年。
  2. 美国Seo, j .黄、h·杨和刘y,可说明的卷积神经网络与双重审核评级预测当地和全球的关注,RecSys,伦敦,英国,2017年。
  3. 张x, z秦,y, t·徐”学习等级特性推荐在多个类别,”美国第39国际市立图书馆会议在信息检索的研究与开发,页305 - 314,比萨,意大利,2016年7月。视图:谷歌学术搜索
  4. y泰、a . t . Luu和s . c .回族“多点co-attention网络推荐,”2018年,https://arxiv.org/abs/1801.09251视图:谷歌学术搜索
  5. j.y.下巴,k .赵s Joty和g琮、“ANR:基于神经推荐”美国27日ACM国际会议都灵,页147 - 156年,意大利,2018年10月。视图:谷歌学术搜索
  6. m·加埃塔f . Orciuoli l . Rarita, s . Tomasiello”安装Q-iteration和功能网络无处不在的推荐系统,”软计算,21卷,不。23日,第7075 - 7067页,2017年。视图:出版商的网站|谷歌学术搜索
  7. g .品牌A Respicio, A·p·阿方索”移动推荐系统支持小组协作决策,”20国际会议的程序,基于知识的智能信息和工程系统卷,96年,页560 - 567,纽约,纽约,美国,2016年9月。视图:出版商的网站|谷歌学术搜索
  8. m . Hartanto和d . n . Utama“智能决策支持模型推荐餐厅,“有说服力的工程,7卷,不。1号,文章ID 1763888, 2020。视图:谷歌学术搜索
  9. y . Kim“卷积神经网络对句子分类,”2014年,https://arxiv.org/abs/1408.5882视图:谷歌学术搜索
  10. t . Mikolov m . Karafi姆l . Burget j . Cernock没有,和s . Khudanpur“复发性神经网络语言模型”INTERSPEECH学报》,2010年第11届国际会议演讲交流千叶,页1045 - 1048年,日本,2010年9月。视图:谷歌学术搜索
  11. 李l, c, c, d,“PARL:让陌生人说出来你喜欢什么,”美国27日ACM国际会议都灵,页147 - 686年,意大利,2018年10月。视图:谷歌学术搜索
  12. l, c, c .李问:王,郑,x罗,“环境敏感user-item表示学习项目建议,“ACM交易信息系统,37卷,不。2、1至29,2019页。视图:出版商的网站|谷歌学术搜索
  13. l .郑诉Noroozi, p . s . Yu”联合深建模的用户和项目使用评论建议,”2017年,https://arxiv.org/abs/1701.04783视图:谷歌学术搜索
  14. c . c . Li,彭l . et al .,“胶囊网络推荐和解释你喜欢和不喜欢什么,”《国际市立图书馆会议在信息检索的研究与开发,页275 - 284年,巴黎,法国,2019年7月。视图:谷歌学术搜索
  15. t·霍夫曼“概率潜在语义索引”,SIGIR,哥伦比亚,SC,美国,1999年。视图:谷歌学术搜索
  16. d·m·布莱a . y . Ng,乔丹,“潜在狄利克雷分配”机器学习研究杂志》上,3卷,第1022 - 993页,2003年。视图:谷歌学术搜索
  17. 王c和d·m·布莱“协作主题建模推荐篇科学论文,”第17届ACM SIGKDD学报》国际会议上知识发现和数据挖掘圣地亚哥,页448 - 456,美国,2011年8月。视图:谷歌学术搜索
  18. y包、h·方和j .张Topicmf:同时利用评级和评论的建议AAAI帕洛阿尔托,CA,美国,2014年。
  19. j . McAuley和j . Leskovec”隐藏的因素和隐性主题:理解评级维度与审查测试”学报》第七届ACM关于推荐系统的会议,8卷,香港,中国,2013年2月。视图:谷歌学术搜索
  20. y, w . Lam和t·林”协同过滤将审查文本和co-clusters隐藏的用户社区和项团体”学报》第23届ACM国际会议会议信息和知识管理,第260 - 251页,上海,中国,2014年11月。视图:谷歌学术搜索
  21. 陆y . h . Wang, c .翟”评级审查文本数据分析潜在的方面:评级回归方法,”第16届ACM SIGKDD学报》国际会议上知识发现和数据挖掘美国新泽西,华盛顿,2010年7月。视图:谷歌学术搜索
  22. 问:刁m .秋彭译葶。吴,a . j . Smola j .江,c .王”联合建模方面,为电影推荐评级和情绪,”20 ACM SIGKDD国际会议的程序知识发现和数据挖掘美国,纽约,纽约,2014年8月。视图:谷歌学术搜索
  23. x, z . Cheng l .朱r . c . Kanjirathinkal和m . Kankanhalli”MMALFM:可辩解的建议利用评论和图像,”ACM交易信息系统(钢铁洪流),37卷,不。2,p。2019。视图:出版商的网站|谷歌学术搜索
  24. x邵、g . Tang和b . k .包“个性化旅游推荐基于sentiment-aware multimodal话题模型,”IEEE访问7卷,第113052 - 113043页,2019年。视图:出版商的网站|谷歌学术搜索
  25. m·g . y . Zhang Lai, y, y . Liu和马,“明确的因子模型可辩解的建议基于短语级情感分析,”美国第37国际市立图书馆会议信息检索的研究与开发,页83 - 92,黄金海岸,澳大利亚,2014年9月。视图:谷歌学术搜索
  26. k·鲍曼,刘b和a . Tuzhilin”基于方面的建议:建议项目与基于用户评论,最有价值的方面”第23届ACM SIGKDD学报》国际会议上知识发现和数据挖掘加拿大哈利法克斯,页717 - 725,,2017年8月。视图:谷歌学术搜索
  27. y z Cheng丁、l .朱和m . Kankanhalli”创建潜在因素模型:评级预测评级和评论,”学报2018年万维网会议、国际万维网会议指导委员会,页639 - 648,香港,中国,2018年5月。视图:谷歌学术搜索
  28. c .李x妞妞,罗x, z . Chen和c,“review-driven神经模型顺序建议,”第3287 - 2866页,2019年,https://arxiv.org/abs/1907.00590视图:谷歌学术搜索
  29. s . Rendle c州长戴夫,l . Schmidt-Thieme”next-basket建议都可以个性化的马尔可夫链,”19国际会议的程序World wide web-WWW 10罗利,页811 - 820年,数控,美国,2010年4月。视图:谷歌学术搜索
  30. 郭j . p . Wang, y局域网,j .徐s .广域网和x,“学习nextbasket分层表示模型的建议,”学报》第38届国际市立图书馆会议在信息检索的研究与开发,页403 - 412,圣地亚哥,智利,2015年8月。视图:谷歌学术搜索
  31. 他和j . r . McAuley”,融合相似性模型与马尔可夫链为稀疏的顺序建议,”学报2016年IEEE 16国际会议数据挖掘西班牙巴塞罗那,页191 - 200,,2016年7月。视图:谷歌学术搜索
  32. x Chen h .徐y . Zhang et al .,“顺序推荐与用户记忆网络”学报》第十一ACM国际会议网络搜索和数据挖掘洛杉矶,页108 - 116,CA,美国,2018年2月。视图:谷歌学术搜索
  33. b . Hidasi a . Karatzoglou l . Baltrunas, d . Tikk”与复发性神经网络基于会话的建议”,2015年,https://arxiv.org/abs/1511.06939视图:谷歌学术搜索
  34. y . k . Tan,徐x和y,“基于会话的建议,提高复发性神经网络”学报第一深度学习研讨会推荐系统美国,页17-22,波士顿,MA, 2016年9月。视图:谷歌学术搜索
  35. d . Jannach和m . Ludewig,“当复发性神经网络满足基于会话的社区的建议,”《第十一ACM关于推荐系统的会议2017年8月,意大利科莫。视图:谷歌学术搜索
  36. m . Ludewig和d . Jannach“评估基于会话的推荐算法,”2018年,https://arxiv.org/abs/1803.09587视图:谷歌学术搜索
  37. g . t . Mikolov Sutskever, k . Chen拉和j .院长”的分布式表示单词和短语及其组合,”2013年,https://arxiv.org/abs/1310.4546视图:谷歌学术搜索
  38. j·彭宁顿、r . Socher和c·d·曼宁“手套:全球词向量表示,”学报2014年大会在自然语言处理的经验方法1543年,页1532 -多哈,卡塔尔,2014年10月。视图:谷歌学术搜索
  39. 和w . c .叮,t . Li Peng h .公园,“正交非负矩阵t-factorizations集群,”第12届ACM SIGKDD国际会议程序知识发现和数据挖掘海德堡,页126 - 135年,德国,2006年6月。视图:谷歌学术搜索
  40. d . w . Yu陪,M.-T。陈德良et al .,“结合当地卷积与全球self-attention对于阅读理解,”2018年,https://arxiv.org/abs/1804.09541视图:谷歌学术搜索
  41. 答:Vaswani: Shazeer: Parmar et al .,“注意你所需要的,”2017年,https://arxiv.org/abs/1706.03762视图:谷歌学术搜索
  42. r .本厂Lidman, h . Zhang l .聂x胡,t·s·艾。蔡”,分泌的硫酸Cassidaria echinophora拉马克(软体动物类:中腹足目,海洋食肉蜗牛),“比较生物化学和生理学。一、比较生理学,53卷,不。1,第103 - 101页,1976。视图:谷歌学术搜索
  43. n .斯利瓦斯塔瓦·g·e·辛顿a . Krizhevsky Sutskever,和r . Salakhutdinov”辍学:一个简单的方法来防止神经网络过度拟合,“机器学习的研究》杂志上,15卷,不。1,第1958 - 1929页,2014。视图:谷歌学术搜索
  44. r . Salakhutdinov和a . Mnih”概率矩阵分解”捏' 07:20国际会议的程序神经信息处理系统加拿大多伦多,页1257 - 1264,,2007年12月。视图:谷歌学术搜索
  45. m . y . Tan张、刘y和马,“Rating-boosted潜在主题:理解用户和项目评级和评论,”美国25日机learning-ICML 08年国际会议赫尔辛基,页2640 - 2646年,芬兰,2016年7月。视图:谷歌学术搜索
  46. w·张,问:元,j·汉,j .王”合作多层次嵌入学习评论评级预测”二十五日学报》国际联合会议上人工智能,页2986 - 2992,纽约,纽约,美国,2016年7月。视图:谷歌学术搜索

版权©2021 Yupeng刘et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。


更多相关文章

PDF 下载引用 引用
下载其他格式更多的
订单打印副本订单
的观点201年
下载315年
引用

相关文章

文章奖:2020年杰出的研究贡献,选择由我们的首席编辑。获奖的文章阅读