文摘

随着互联网的快速发展和智能移动设备,个性化广告越来越易接纳的国家语委平台。传统广告将不能满足用户的个性化需求广告,导致用户的抵制广告。旨在实现个性化的广告推荐,广告推荐算法,提出基于深度学习融合模型。两偶图模型应用于网络学习方法表示用户和广告内容分解成两个网络。的嵌入式表示两种类型的节点通过培训GraphSAGE模型各自的网络。两种节点的关系矩阵是通过使用crossproduct操作。最后,提取特征信息通过卷积神经网络实现个性化广告的建议。实验结果验证了算法的有效性,同时也取得了良好的结果在精度和收敛速度。

1。介绍

近年来,随着互联网和智能移动设备的快速发展,人类社会已经进入了信息爆炸的时代,因为移动互联网广告业正在蓬勃发展,广告提出建议(和更高的要求1]。传统广告的推荐方法往往把一些无趣甚至无关的广告内容给用户,这将减少用户的正常访问,其中一些甚至会窃取用户隐私。这种“地毯式轰炸”的促销方法导致伟大的讨厌的用户2]。因此,如何挖掘用户的潜在需要根据他们的爱好和行为和个性化广告的建议,根据他们的需求变得尤为重要(3]。另一方面,移动互联网的快速发展使得几何增长的移动互联网信息和移动用户的爆炸式增长,导致日益尖锐的矛盾有限的网络资源和用户的不断增长的网络需求4]。在当前有限的资源,更好的算法准确地捕获用户特征需要探索,准确、有效地提取用户行为特点,分析他们的利益和需求,进行有针对性的广告需求。

在当今时代,互联网已经成为最快和最方便的媒介传播信息在日常生活中,和国家语委已经成为网络信息传播的主要因素(5]。“拉帮结派”简称“拉帮结派”的平台。“拉帮结派”是一种公众开始了解他们提供和分享自己的事实和新闻后被数码技术和加强与全球知识系统(6]。换句话说,国家语委平台载体为用户发布事件他们看到和听到的自己的眼睛,微信等Douyin, Toutiao,微博和论坛7]。随着智能移动终端的普及,国家语委平台更互动和活泼。国家语委广告推荐系统应运而生(8),当个性化广告的建议可以为不同用户提供不同形式的广告和信息。

近年来,有许多关于推荐系统评价。例如,文献[9)综述了混合推荐系统。文献[10研究了协同过滤技术。文献[11]分析了手机报的推荐技术。文献[12]重新推荐系统基于深度学习,等。虽然上述文章给出一个全面的概述一些分支学科和推荐系统的方法和技术,这些文章大多具有高度针对性和专业;也就是说,他们总结和讨论某一领域和技术13]。类似的文章可以提供参考和帮助个性化广告推荐系统的概述,但是方法或技术不能完全适应个性化广告推荐系统。

广告推荐的问题通常可以理解为CTR的问题(点击率)14]。广告点击率的预测是最重要的一个内容在广告领域。然而,仍然有一些困难的问题,如大量的数据,稀疏数据和异常数据(15]。在模型的选择,很难训练复杂的模型,虽然它很容易产生过度拟合现象,和训练效果的模型通常是贫穷。因此,一些相对浅模型通常用于工业,和两部剧情工程是解决问题的一个重要的一步(16]。特性通常决定了模型的上限;因此,它已成为一个困难解决功能特性工程的建设问题。

为了实现个性化广告的建议,本文提出了一种基于深度学习的广告推荐算法融合模型。下面列出了本文的创新和贡献。(1)为了把用户和广告信息分成两个不相交的子集,两偶图模型应用于网络学习方法表示用户和广告内容划分为两个网络。(2)嵌入式表示两种类型的节点通过培训GraphSAGE模型。每个维度的关系矩阵两种节点通过crossproduct操作。(3)卷积神经网络用于提取交互关系特性完成个性化推荐任务。实验结果表明,该算法是有效的,达到好的结果在精度和收敛速度。

论文的篇章结构列出如下。在下一节中主要介绍了算法模型。第三部分是实验和分析。第四部分是结论。

2。该算法

2.1。GraphSAGE模型

GraphSAGE [17)模型应用于网络代表学习的完成任务。GraphSAGE模型用于监督和非监督学习,你可以选择是否使用节点属性进行训练。此法适用于解决问题的建议与各种外部信息。当新节点被添加到图,整个模型不需要再次培训,可以改善算法的通用性。

GraphSAGE模型构建问题的齐次图,和嵌入式表示生成的节点通过节点属性信息和网络结构信息。嵌入表示每个节点知道自己的聚合函数和骨料通过这个函数节点的邻居信息。的向前传播算法分为三个步骤:采样、聚合和预测(18]。

在聚合和预测,每个邻居节点集合的邻居节点的顺序功能通过使用不同的功能。在目标节点的特征表示与聚合的邻居节点的属性,更新的目标节点的嵌入式表示是通过非线性变换,和所有节点迭代一层一层地。意思是聚合器,LSTM (long-short-term内存)聚合器,和池聚合器提出了算法。平均聚合函数平均每个维度的特征向量样本的邻居节点作为目标节点的特征向量。LSTM聚合器(19)具有较强的表达能力和敏感数据的顺序。池聚合器进行非线性变换对目标节点的邻居节点和池。伪代码1GraphSAGE向前传播算法显示如下。

表示节点的邻居节点特性在层 ; 代表节点的邻居节点的功能聚合在层 。

反向传播的一部分,采用无监督学习。指SkipGram模型(20.损失函数,采用基于图的相邻节点有更多类似的功能表达。损失函数所示 在哪里的嵌入式表示节点吗由GraphSAGE生成的。节点节点的邻居吗取样的层,是乙状结肠函数。是负的概率分布采样,是负样本的数量。

2.2。该算法的设计和实现

2.2.1。总体设计的算法

二进制的用户和网络广告,本文算法分解二进制图像的同质网络广告和广告的同质网络用户和用户。GraphSAGE模型被用来融合用户的网络功能结构和属性特征,和嵌入式表达相同的维度。crossproduct操作用户和广告之间的特征向量进行,即。,the relationship between users and each dimension of advertising features is represented by a matrix, and then, the potential relationship between them is extracted through the convolutional neural network. The algorithm flow in this paper is shown in Figure1。

用户和场景的广告推荐,一般情况下,广告的属性信息和用户和广告和用户的交互信息是已知的。在这种情况下,它们之间的关系是由图的结构。用户和广告节点的节点图,以及广告和用户之间的互动关系的边缘图。广告和用户形成的偶图模型通过映射。此外,它假定推荐场景包含用户和广告所代表的用户节点集 ,广告由节点集 。上述建议的问题,相应的user-advertising两偶图表示为 , 图中所有边的集合吗 ,和代表了连接节点的边缘和 。 是用户和广告之间的交互权重矩阵图吗 ,和对应的重量吗在图 。

同质网络的问题包括用户网络和广告网络。广告网络为例,不同的广告也有类似的适用群体。用户网络,如果用户都是体育爱好者,他们会有相似的爱好。因此,同质网络也有深刻的联系。的user-advertising两偶图分解成两个同构图形。对图 ,一阶相似用户节点的定义如下:

一阶相似广告节点的定义如下。

得到广告相似矩阵 和用户相似度矩阵 。用户同质图广告同质图构建基于和 。使用前和构建用户图像同质性和同质性广告图,边缘较低的体重应该适当删除以避免噪声干扰影响后续根据重量分布的计算结果和 。

属性信息类型的用户和广告应该考虑构造属性特征的用户和广告。结构化数据、非离散数据离散,执行一个炎热的编码获得特征编码。对于非结构化数据,TF-IDF [21[]或LDA算法22)通常用于结构化处理,如果是本文的信息。的音频、视频、图像和其他信息,相应的深度学习方法用于将其转换为结构化数据。用户获得的属性特征GraphSAGE模型。矩阵和广告属性特征矩阵转换为用户特征矩阵和 ,如下所示。

假设获得嵌入表示维度 ,用户特征矩阵 和广告特征矩阵 可以代表。

crossproduct操作用于获取用户和广告之间的相互作用矩阵特性。为用户和广告 , 代表用户的特征向量P,代表了特征向量的广告 。然后,计算方程如下。

在协同过滤,矩阵分解通常是用来表示广告和用户之间的关系,广告和用户之间的关系是内在的产品,而且只有对角线上的信息使用。

多层感知器(MLP) [23理论上)算法可以适应任何函数关系,但它需要大量的数据进行训练。在用户和广告推荐系统,每个用户的行为信息是有限的。因此,这个算法不采用中长期规划方案的学习通过后直接用户和广告的结合特性。深层网络有限的训练数据将降低其性能、中长期规划,很难确保收敛到真实的模型。与此同时,在实验部分,用户和广告功能直接拼接没有卷积神经网络训练。延时直接用于比较实验,进一步表明,添加卷积神经网络算法的增强效果。

该算法使用crossproduct广告和用户之间的信息交互模型,采用卷积神经网络训练。培训所需的数据量减少,和所需的参数训练模型中也减少。

2.2.2。卷积神经网络的结构设计

在卷积神经网络(CNN)模型(24),参数的定义是更复杂的比传统模型,以及参数设计的一般规则可以概括为以下四个方面。(1)卷积层通常使用一个较小的卷积核。卷积内核越大,输出特性图,越小,很难提取数据的特征。和卷积核越小,越小,相应的参数(2)卷积步长一般设置小有利于更好的特征提取(3)池层经常使用 池窗口。汇聚层的功能是减少输入数据的空间维度。如果池操作太大,数据可能会丢失,网络性能恶化(4)完全连接层的数量不应超过3。完全连接层越多,越困难的训练,更有可能是导致过度拟合和梯度耗散

CNN的这个模型如图2,常见的卷积网络模型是用于设计。为了避免失去太多的结构信息,卷积层和池层不用于压缩矩阵数据转换成一维。模型由卷积3完全连接层和6层。卷积内核大小 ,和步长 。将输入和输出特性图的大小不变,进行填充操作。每两个卷积层后,池层添加最大池。池的大小是核心 ,和步长 。downsampled特性图,在接下来的两个通道的数量翻了一番卷积层。同样,在最后卷积层、平层添加到平中长期规划并连接的数据网络,逐步降低一维输出尺寸。整个过程是在方程(7),是最后的神经网络的输出。 在哪里是一个非线性函数。ReLu催化剂用于卷积层和完整的连接层除了乙状结肠激活函数在最后完整的连接层。全身的模态参数的数量如表所示1。

2.2.3。的损失函数

损失函数主要是一个平方损失函数,这是定义在观测结果的前提下服从高斯分布。在实际问题中,用户之间互动信息和广告并不一定按照高斯分布函数的设计。该算法采用二进制分类的概念,使用“0”和“1”代表用户和广告之间的关系,“0”意味着无关,“1”是指相关。代表了卷积网络。输出代表预测广告的可能性相关用户 。以确保和庆祝概率含义,它们的值限制为[0,1]。因此,最后一层的激活函数的神经网络是乙状结肠函数,和所使用的损失函数所示 在哪里是积极的样本集,负样本集,代表了用户之间的联系和广告 ,和代表卷积网络的最终输出。亚当优化算法(25)是采用最终模型的训练。辍学层添加到中长期规划模型来解决这一问题的一部分训练拟合,提高模型的泛化能力。

3所示。实验结果和分析

3.1。数据收集和预处理

本文中采用的数据集来自真正的国家语委广告技术应用平台微信公共账户。整个过程的个性化广告推荐系统从数据收集。相关数据收集主要包括用户基本信息、广告数据、时间和地点等上下文信息,互动行为信息,比如用户评论和用户的浏览历史。基本用户信息主要来自用户注册和信息相关平台系统中的改进功能。广告数据可以从公共数据集的一些方程机构或self-scraping,但大多数研究中的数据集没有接触或使用内部数据。光时间和位置上下文信息是通过设备,GPS等。交互信息可以获得如用户评论和用户浏览历史等相关日志的饼干。

获得的数据在上面的数据采集阶段可能积累在噪声数据,数据丢失,和其他情况下,这将影响用户偏好获取和随后的推荐过程的影响。因此,为了规范个性化广告推荐系统的输入数据,有必要进一步进行预处理获得的数据,如计算和量化。它可分为浅加工和深加工根据数据处理的复杂性和直观的处理效果。浅加工主要应用用户的直观的数据,通过相对简单的标准和方法,并获得量化程度高的结果,如等级(1 - 5)表示用户的兴趣,或自定义项目得分,缺失的环节数据的影响。用户的浏览历史收益率的分布表示的向量表示用户。与设定的阈值,通过比较可以过滤噪声数据。为不同的时间段设置不同的量化值来区分,例如,分配不同的量化值区分工作日和休息日。老状态的数据集是集成到一个单一的历史状态,而最新的有限的数据保留,等。此外,可以改变数据分类的标准来综合评价的研究结果。例如,阈值用于过滤数据被修改,或者训练集和测试集的比例改革。

上述数据处理或浅的扩张方法帮助推荐过程中,有限,很难应对复杂的场景。因此,应考虑深入的数据处理。然而,深加工主要针对复杂数据的用户和使用相关的矿业或收购技术获取潜在的可扩展的数据特性或表示。例如,主题收购或挖掘技术可以用来映射用户行为如历史发布和转发到潜在主题空间帮助通过点击获得用户首选项,行为数据和广告信息,参数化的潜在空间,等。关键词广告是通过用户评论和反馈,和用户的态度相关的话题进行了分析。此外,用户的情感可以通过处理微博数据获得的数据。

3.2。算法性能分析

本文中采用的数据集有800万用户,其中包括1数值特性和31分类特性(包括11多值分类功能)。数据集有800万用户,包含1数值特性和31分类特性(包括11多值分类功能)。AUC(曲线下的面积)评分采用模型评价因为样品正面和负面比率不平衡(正负样本的比例大约是1:20)(26]。AUC是指中华民国(接受者操作特征曲线)曲线下面积有限的坐标轴。ROC曲线的水平和垂直坐标是假阳性率(玻璃钢:FP / (TN + FP))和真正的利率(TPR: TP / (TP + FN))。AUC得分的概率可以被理解为正样本排名前的负样本。当预测结果完全正确,AUC值为1;所以,AUC值越大,更准确的分类结果。表2混淆矩阵表。

在这个实验中,三个模型训练了几次,最后的结果是许多的平均AUC实验。实验结果如表所示3和图3。

可以从表中的结果显示3,的AUC值VSM向量空间模型(27)是高于宽带模型(28)由于其二阶组合特征。然而,拟议中的GraphSAGE模型,由于深层神经网络学习的高阶功能组合,AUC值高于LR和调频模式。从图可以得出结论3,前面的ROC曲线近似一条直线 由于正负样本的比例不平衡。ROC曲线背后的真实利率GraphSAGE是高于VSM向量空间模型和宽带模型;所以,GraphSAGE的AUC值高于的特点向量空间模型和宽带模型。结合结果表3和图3,它可以表明GraphSAGE模型可以有效地特性和更好的推荐效果比我高阶组合特点向量空间模型和宽带模型。

3.3。算法性能的比较分析

为了验证算法的性能个性化推荐,被选为一个评价指标,全面衡量算法的性能结果在两个指标,即障碍和秩序。让是推荐的用户列表在测试集和广告列表的用户交互。召回率定义为广告的比例最终与用户交互的测试集,计算公式如下:

越大值,较高的召回率的推荐算法。自的价值密切相关的推荐名单的长度,条件设置通常是直接显示 ,表示为 。

方程(7)是推荐算法的基本模型。因为它是一个两个的问题,“0”和“1”可以用于指示是否推荐广告。乙状结肠函数被选中来限制结果在0和1之间获得特定的损失函数。如方程所示(8),模型参数训练通过最小化损失函数。

通过实验验证了模型的模型的收敛性。培训与学习的过程中,早期停止方法用于避免过度拟合现象的发生。500次迭代训练数据集的微信公共账户,和实验结果如图4。增加培训时间,他们表现出稳定的状态,所以算法的收敛性能很好。

4所示。结论

进化和接受国家语委平台,传统广告推荐算法不再能满足个性化的需求。个性化的广告推荐越来越青睐的“拉帮结派”平台,已成为广告商来识别用户首选项的主要方式,提高广告收入。本文深度学习融合模型算法完成的任务网络学习GraphSAGE模型表示。两偶图模型应用于网络学习方法表示用户和广告分解成两个同构网络。每个维用户和广告之间的关系矩阵特性是通过crossproduct操作。卷积神经网络用于捕获高阶相互作用关系在每个维度的特性。与其他算法相比,不需要重新培训整个模型当新节点添加到图中。推荐算法的召回率和折现率大大提高,具有良好的收敛性。GraphSAGE模型可以优化广告策略,降低广告成本,提高广告的转化率。同时,用户可以避免接受无关的广告信息,更好地保护他们的隐私。 The efficiency of the proposed algorithm will be analyzed in the future work.

数据可用性

标签数据集用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这部分工作是支持的研究平台,广东省2018年教育部创新项目特征:“创新积极的行为发展和科技人员的创新性能改进的案例研究高新技术企业Guangdong-Hongkong-Macao大湾地区(没有。2018 gwtscx051)。”