目前,协同过滤技术是广泛应用于QoS的预测。这些基于协同过滤的方法主要分为三类:基于内存的,基于模型和混合。我们将分别介绍它们在以下段落。

基于内存的方法。这种方法措施之间的相似用户或服务利用用户和服务之间的历史调用日志。它包括基于用户的方法( 15, 16,基于项目的方法 17, 18),以及它们的混合( 4, 19]。例如,太阳et al。 20.)提出了一种新颖的方法来测量Web服务之间的相似性。进一步,他们提议预测QoS通过引入协同过滤正常恢复。熊等。 21)利用历史上的使用经验,提出了一种协作方法。他们旨在解决不平衡数据的QoS的预测问题。马等。 22)开采几个显著特征一些以前从未被发现的QoS的数据集。他们提出了一个强有力的预测方法实现这些特性来帮助预测QoS。

基于模型的方法。这种类型的方法预测QoS服务用户利用机器学习技术。这种类型的方法提出了一些代表在以下。郑et al。 5)提出了一个社区综合矩阵分解的方法来预测用户的QoS通过考虑用户和服务之间的调用历史记录。徐et al。 23)把用户的声誉考虑,提出了一个基于声誉的矩阵分解的方法来预测QoS的价值观。罗等。 24)提出了一种矩阵分解模型Tikhonov正则化条件和nonnegativity约束下的QoS的预测。吴et al。 14)嵌入用户id和分解机使用的服务id向量和预测用户的QoS。

混合方法。这种风格的方法集成了基于内存和基于模型的方法。混合方法通常统一相似性度量和矩阵分解的力量。例如,陈等人。 25聚集用户和服务的社区关系。然后,他们预测QoS值通过应用一个社区正规化矩阵分解的方法。苏et al。 6)首先结合直接相似性和传递间接相似的服务。进一步,他们提出了一个混合算法执行QoS预测通过集成非负矩阵分解模型和采用。Lo et al。 26)确定社区通过测量用户方面的相似性和服务端从不同的方面。然后,他们提出了一个关系正规化矩阵分解结构QoS的预测。

用户和Web服务的位置信息是集中有关Web服务的QoS性能因为网络距离和互联网连接。考虑位置信息将做很多有利于提高QoS预测精度。

一些研究已经考虑到最近的位置信息。陈等人。 27)使用QoS的特点设计一个地区大规模服务的QoS的预测模型。Lo et al。 28)确定邻居通过考虑本地连接和地理信息。他们提出了一个新颖的基于位置的正规化矩阵分解模型来预测用户的QoS。他等。 29日]应用集群用户服务群体的位置信息,提出一种层次矩阵分解方法基于位置信息实现个性化的QoS的预测。陈等人。 11)将用户和服务分成几组采用用户位置信息和服务的位置信息,以及QoS的价值观。他们提出了一个创新的协同过滤模型选择服务最好的QoS性能,为用户。刘等人。 9服务QoS)提出了一个基于内存的方法预测利用用户的位置信息和服务。位置信息可以帮助为目的选择相似的邻居用户或目标服务。吴et al。 7)使用用户和服务之间的调用记录,并提出了一种广义上下文敏感的矩阵分解方法来预测服务的QoS值。旷et al。 8)利用用户的声誉和用户的和服务的位置信息,并提出了一种个性化的QoS预测方法解决数据稀疏的问题,冷启动,数据不能相信。

所有上面提到的研究是有用的预测QoS价值在一定程度上为用户。但最上面的方法受到的高维度,时间复杂度高,费用高。提出LANFM模型,我们采用嵌入特征提取技术代表服务的隐式向量和用户的位置信息。通过应用嵌入技术,我们可以解决高维度的缺点。此外,嵌入向量可以利用我潜在的服务和用户之间的相关性,即使用户没有调用服务。此外,该LANFM模型可以在线性时间计算;因此它可以解决时间复杂度高的问题。

我们的目标是实现准确充分利用QoS预测用户的QoS调用历史记录,服务的位置信息,用户的位置信息。问题的详细描述如下。

假设 U = { u 1 , u 2 , … , u 米 } 和 年代 = { 年代 1 , 年代 2 , … , 年代 n } 是一组 米 用户和 n 服务,分别。 问 ∈ R 米 × n 之间的矩阵是 米 用户和 n 服务。 问 我 j 的元素是 问 ,他们的许多价值观是失踪。我们的目标是预测中的缺失值矩阵 问 利用现有元素之间的关系。

一个例子是显示在图 1帮助理解QoS预测的问题。调用矩阵之间的用户(例如,U1, U2, U3, U4)和服务(例如,S1、S2、S3、S4, S5)是在图的上方 1。调用矩阵中的每个元素代表一个QoS属性值(例如,响应时间和吞吐量)。然后,我们调查的问题转化为如何准确预测丢失的元素调用矩阵基于现有元素。它可以发现,只有用户调用的服务的一部分。例如,U1调用S1, S3和S4。U4观察QoS信息S1, S2,和S5。仍存在少量的公共服务,尽管不是每个用户都有所有服务调用。我们可以完成调用矩阵通过应用协作过滤的概念的帮助下这些公共服务。完整的矩阵是下半部分所示。

用户感受到的QoS(如吞吐量、可靠性和响应时间)将与网络状态、地理位置和服务运行时环境。网络性能与网络带宽、网络延迟和网络距离密集。在几个网络性能影响因素中,位置信息的关键因素之一。位置信息可以影响用户的行为( 30.]。一般来说,如果将Web服务部署在用户的网络(例如,一个局域网络或子网),然后,Web服务器更容易应对用户在很短的时间内。也就是说,用户和Web服务器之间的响应时间很短,当用户调用Web服务。相反,如果Web服务部署远离用户(例如,多个子网),将会有很长一段时间服务的Web服务器响应用户。这种现象是相同的,当用户访问本地网站,网页将很快对他/她。当用户访问国外网站,它通常是相对缓慢的回应他/她。这是因为远程请求和响应在互联网上经常需要路由和转发多次,这是耗时的。图 2显示了一个玩具的例子来说明为什么考虑服务和用户的位置信息来预测服务的QoS是很重要的。

假设Alice和杰克是两个不同的服务用户。他们躺在两个远程网络。Web服务器(例如,S1、S2和S3)部署在不同的网络和提供类似的服务。当爱丽丝请求服务,服务器S1将回答爱丽丝和提供服务的要求,因为网络距离爱丽丝和S1更接近于S2和S3。然而,如果S1是无效的或具有较高的延迟,它不会回答爱丽丝。与此同时,爱丽丝是急于要求一个特定的服务。因此,爱丽丝想发送一个请求到S2和S3。她打算发送一个请求到S2,因为网络距离爱丽丝和S2更接近于S3。但是爱丽丝从未从S2请求服务;她不确定是否可以使用S2。 Thus, it is essential to predict the QoS on server S2 such that it can provide services to Alice in the condition that S1 is out-of-service and avoids wasting time. Based on the idea of collaborative filtering, if Lucy or other neighbors have requested a service on server S2 before, she/they can do a great favor for predicting the QoS on server S2. By considering users’ and services’ location information and predicting the QoS of services, we can select appropriate services for users and improve the user-perceived experience.

本节介绍了框架的LANFM QoS值预测模型图 3。给出了详细的程序如下: (我)

首先收集用户和服务的信息是存储在本地数据库中。一系列的数据处理后,用户的位置信息,服务的位置信息、用户服务调用矩阵(例如,用户感知的历史QoS信息服务),和其他可以获得额外的信息

注意,一个(自治系统)是一个小单位,有权自主决定使用哪个路由协议在系统中。是一个独立可控的网络单元(例如,一所大学,一个企业或公司)。每一个单独的id。它被称为ASN。ASN很重要,因为ASN惟一地标识每个网络在互联网上。

图 3给我们LANFM的总体框架模型。我们的方法的核心部分是位置感知的分解机模型。为了更好的描述模型,我们给出一个例子如图 4。首先,用户信息(用户id、用户ASN id和用户id)和服务信息(服务id, ASN id, id)和服务国家表示为一个炎热的编码(例如,一个炎热的编码向量:(1 0)、(0 1 0)、(1 0 0 0 0)、(0 1 0)、(0 1 0 0),(1 0 0 0))。其次,在一个炎热的编码形式的用户信息和服务信息被表示为各种嵌入向量(例如, V 1 , V 4 , V 6 , V 12 , V 15 , V 18 )通过应用神经网络技术。第三,嵌入向量的内积(即。,theu年代er我nformation embedding vectors and the service information embedding vectors (e.g., V 1 , V 4 , V 4 , V 6 , V 6 , V 12 , V 12 , V 15 , V 15 , V 18 )),以及特征向量的加权总和(例如, w 1 x 1 , w 4 x 4 , w 6 x 6 , w 12 x 12 , w 18 x 18 ),是利用预测QoS的值。最后,预测得分成对可以获得用户服务(例如, y ^ )。

处理Web服务和用户的位置信息提出了在这一节中,这是我们的位置感知的分解机模型的基础。

Web服务和用户的原始位置信息在我们的数据集提出了表 1和 2,分别。Web服务的WSDL位置信息包括Web服务id、地址(URL),服务提供者名称,和服务的国家的名字。用户的位置信息由用户id、用户的IP地址、用户的国家名字,经度,纬度。获得更准确的服务的位置信息和用户的位置信息,我们WSDL映射地址和用户的IP地址ASN(从Web服务的WSDL地址是已知的,很容易将DNS(域名系统)的URL的IP地址,然后将IP地址映射到ASN)。映射操作是通过利用GeoLite自治系统号数据库(http://www.maxmind.com)。经过一系列的处理,最后表示Web服务的位置信息和用户的位置信息是相应的列在表中 3和 4。

注意,我们使用ASN自近而不是IP地址或WSDL地址的IP地址(例如,4.67.68.0和4.67.64.0)不一定属于相同或国家(例如,加拿大和日本)。这表明采用IP地址代表Web服务和用户的位置信息可能没有足够认识到邻居用户或邻居Web服务。此外,在互联网上用户之间的距离通常是测量利用互联网拓扑平坦的( 31日]。上述分析给出一个原因采用代表用户或服务的位置而不是其他地理位置。代表用户和服务的位置信息作为上述形式,对我们来说是准确的和容易衡量用户和Web服务之间的亲密关系。

我们获得的用户id,用户的国家名称,用户的ASN,服务id、服务的国家名称,并通过位置信息处理服务的ASN。然后,我们把用户的国家名称和ASN用户的id和ASN id,分别。服务的国家名称和ASN也经历同样的转变。此外,我们利用一个炎热的编码来表示用户id、服务id、用户id,用户的ASN id, id服务的国家,服务的ASN id(即。,ID层图 5)。在一个炎热的编码是一种有效的编码方法,该方法使用 n 状态寄存器进行编码 n 州。每个国家都有自己的注册,并在任何时候,只有其中一个是有效的 32]。表 5给出了一个例子来表达七大洲,一个炎热的编码。

一个炎热的映射嵌入编码是通过一个完全连接层。嵌入是一个非常受欢迎的近年来神经网络技术。它试图从原始输入数据的交互学习功能。从高阶资源嵌入项目数据空间到低阶目标空间( 33]。LANFM模型可以推广到未被注意的功能组合和维护结构利用嵌入技术。例如,我们有两种功能:商品= { w 一个 t c h , n e c k l 一个 c e } 性别= { 米 一个 l e , f e 米 一个 l e } ,得到一组新的交叉特性:goods_gender = { w 一个 t c h - - - - - - 米 一个 l e , n e c k l 一个 c e - - - - - - f e 米 一个 l e , n e c k l 一个 c e - - - - - - 米 一个 l e , w 一个 t c h - - - - - - f e 米 一个 l e } 。交叉功能特性(也称为组合)设置意味着男性(或女性)购买手表(或一条项链)。假设我们获取收集信息的一个子集,男性购买一块手表,一个女性购买一个手表和一个女购买一条项链。但是我们没有得到的信息,一个男性购买一条项链,需要预测的可能性。很难通过上述方法处理这类问题。然而,我们LANFM模型可以通过学习处理问题的交叉特性和捕获的分布式表示商品和性别之间的交互。

映射的细节过程如下:首先,一个炎热的用户信息和服务信息的编码表示被视为的输入特性(即完全连接层。,一个炎热的编码层图 5)。接下来,完全连接层中的每个链接的权重计算。最后,用户信息和服务信息的嵌入表示是通过完全连接层(即。在图,嵌入层 5)。高维度的问题可以解决通过嵌入技术。注意,图中的红线 5代表每个维度值的嵌入向量。这个过程是一个位置感知的因子分解模型的一部分,最后嵌入向量是由随机梯度下降学习培训过程中。细节模型的学习将在以下小节。

让 X 表示输入特征向量。这是连接在一个炎热的编码表示的用户信息(如用户id、用户的ASN id,和用户的id)和服务信息(例如,服务id、服务的ASN id,和服务的国家id)。然后,基于嵌入的分解机模型方程的定义是 (1) y ^ X = w 0 + ∑ 我 = 1 f w 我 x 我 + ∑ 我 = 1 f - - - - - - 1 ∑ j = 我 + 1 f V 我 , V j x 我 x j , 在 f 特征向量的长度。 V 我 是 我 th嵌入向量。 V 我 , V j 各种嵌入向量的内积(例如,用户id嵌入向量,用户的国家嵌入向量,用户作为嵌入向量,服务id嵌入向量,服务的国家嵌入向量,和服务的嵌入向量)。 w 0 是全球的偏见, w 我 的重量吗 我 变量。前两个条件的公式表达的线性回归模型。第三项是认为协会的双向交叉的特征信息之间的任何两个不同的特性。

交叉特性的公式如下: (2) V 我 , V j = ∑ l = 1 k v 我 l · v j l , 在 k 是一个hyperparameter决定嵌入向量的维数。 v 我 l 是 l th的价值 我 th嵌入向量的用户信息或服务信息。

各种嵌入向量之间的交互可以新配方如下: (3) ∑ 我 = 1 f - - - - - - 1 ∑ j = 我 + 1 f V 我 , V j x 我 x j = 1 2 ∑ l = 1 k ∑ 我 = 1 f v 我 l x 我 2 - - - - - - ∑ 我 = 1 n v 我 l 2 x 我 2 。 情商的推导过程细节。 3)( 13]。

LANFM模型估计的性能,我们进行损失函数来评估之间的误差估计价值和实际价值。数学上,损失LANFM模型表示为的函数 (4) 最小值 θ ⁡ l y , y ^ = 1 2 ∑ 我 = 1 米 ∑ j = 1 n 我 我 j y 我 j - - - - - - y ^ 我 j 2 , 在哪里 我 我 j 指标函数。如果一个用户 u 我 使用一个服务 v j , 我 我 j = 1;否则,它等于0。我们的目标是最小化的平方误差的总和。通过这种方式,我们可以实现最优的损失。

随机梯度下降法(SGD) [ 34)是一种通用的优化方法在机器学习和深入学习。随机抽取一个样本的样本集一次训练后通过梯度和更新它一次。在大样本的情况下,一个模型可以获得可接受的损失值没有训练所有的样品的。此外,损失函数的最终结果往往是附近的全局最优解。损失函数的优化给出了情商。 4可以由执行SGD) θ : (5) ∂ l y , y ^ ∂ θ = y ^ - - - - - - y ∂ y ^ ∂ θ , (6) ∂ y ^ ∂ θ = 1 , x 我 , x 我 ∑ j = 1 f v j l x j - - - - - - v 我 l x 我 2 , 如果 θ = w 0 如果 θ = w 我 如果 θ = v 我 l

下面的公式是用于更新模型参数: (7) θ = θ - - - - - - η · y ^ - - - - - - y ∂ y ^ ∂ θ 在哪里 θ 模型参数(例如, w 我 , v 我 l ), η > 0 是学习速率, η 控制梯度下降的速度。

我们的位置感知的主要计算分解机模型的评估损失函数 l 及其对变量梯度。我们只需要计算所有的 l 在这个公式 ∑ j = 1 f v j l x j 在第一次迭代参数,因为 x 我 ∑ j = 1 f v j l x j - - - - - - v 我 l x 我 2 同事与 l 密切关注。然后,所有的梯度 v j l 可以很容易获得。显然,整个计算的复杂性 l 在这个公式 ∑ j = 1 f v j l x j 是 O ( k f ) 。计算的复杂性,每个参数的梯度 O ( 1 ) 当 ∑ j = 1 f v j l x j 是已知的。在获得参数的梯度,更新参数的时间复杂度 O ( 1 ) 。总的来说,有 k f + f + 1 LANFM模型中的参数估计。因此,我们LANFM模型的时间复杂度 O ( k f ) 。总之,我们的训练时间复杂性LANFM模型是线性的。上述分析过程表明LANFM模型的效率和可伸缩性。

我们实现一个真实的实验数据集的集合:WSDream (https://wsdream.github.io/dataset/wsdream_dataset1.html)。用户和服务的位置分布如图 6。WSDream数据集包括5825 339分布式用户,服务,和1974675年历史的用户和服务之间的调用日志。用户的数量的屁股和Web服务的屁股是137和1021。WSDream QoS属性数据集是响应时间和吞吐量。响应时间的值的范围从0到20。吞吐量值从0到1000不等。数据集描述在表的细节 6。

在本文中,我们试图为用户预测上述两个QoS属性。LANFM模型适用于预测任何QoS属性,通过适当的修改用户服务的QoS属性调用矩阵。

我们使用两个评价指标,平均绝对误差(MAE)和归一化平均绝对误差(NMAE)来衡量我们建议的方法的性能。这两个指标衡量预测值和真实值之间的距离( 36]。梅被表示为 (8) 米 一个 E = ∑ 我 j r ^ 我 j - - - - - - r 我 j N , 和NMAE的数学表达式 (9) N 米 一个 E = 米 一个 E ∑ 我 j r 我 j / N 。 在这里, N 是预测QoS的数量值, r ^ 我 j 是预测QoS的价值观, r 我 j 是真正的QoS值的数据集。NMAE美和较小的值会导致一个更好的性能模型。

评估我们的LANFM模型的性能,以下介绍了基线的方法进行比较。基线的方法从基于内存的协同过滤方法和基于模型的协同过滤方法混合协同过滤的方法: (1)

UIPCC [ 4):这种方法结合基于用户的协同过滤方法和基于项目协同过滤的方法来预测用户的QoS。它是基于寻找相似的用户和类似的服务

在现实中,只有部分用户调用的服务。因此,用户和服务之间的调用矩阵是相当稀少的。我们将数据集分为训练集和测试集的随机删除一个元素的比例从用户和服务之间的调用矩阵。例如,如果我们去除90%调用矩阵的元素,这些元素被视为测试组90%;其余10%的元素作为训练集。

之间的性能比较结果LANFM模型和其他基线方法如表所示 7。它可以发现LANFM总是达到最佳性能(即在两个评价指标。、美和NMAE),无论是否响应时间和吞吐量QoS属性。具体地说,该方法的性能矩阵(如及,NMF、带头人,LBR,和羟甲基糠醛)比基于内存的方法(例如,UIPCC LACF, RegionKNN)由于学习的潜在因素。此外,分解基于机器的方法(例如,EFMPred和LANFM)比矩阵该方法由于学习交叉功能的用户信息和服务信息。此外,LANFM优于EFMPred由于考虑更重要的特性(例如,用户的位置信息和服务的位置信息)。与EFMPred相比,LANFM有0.06%到6.98%的性能改进响应时间和吞吐量的1.52%到3.46%的性能改进。此外,当训练数据稀疏的,性能改善更加明显。在现实中,我们获得的数据是非常稀少的。观察表明,LANFM模型可以应用于稀疏的数据。在这里,只有一部分的结果(例如,10%,20%,80%,90%)提出了桌子上。 The experimental results under all matrix density will be introduced in Section 5。4。

矩阵密度是一个重要参数,影响QoS预测的准确性。这意味着有多少历史调用记录用户和服务之间我们可以利用来帮助预测QoS的价值观。调用的密度矩阵变化从10%到90%来研究矩阵密度的影响。步长设置为10%。在这个实验中,嵌入向量的维数为响应时间是30。对吞吐量、维度值是1400。批处理大小是4096。

数据 7(一)和 7 (b)显示所有方法的预测性能在美和NMAE响应时间。数据 7(一)和 7 (b)表明,当矩阵密度从10%上升到50%,梅和NMAE的下行趋势值是显著的。然而,当我们增加密度从50%提高到90%,减少NMAE美和的值是相对较慢。数据的趋势 7 (c)和 7 (d)和数据都是一样的吗 7(一)和 7 (b)。这一现象表明它是合理的评估模型的性能,再分类矩阵密度作为参数。所有观测图 7表明适当增加QoS信息有助于解决数据稀疏的问题。进一步,提高QoS信息适当也有利于提高QoS的预测结果。

嵌入向量的维数是另一个参数影响LANFM模型的性能。它决定有多少因素用来描述功能。在这个实验中,嵌入向量的维数为响应时间从5到50个研究维度的影响。此外,步长设置为5。对于吞吐量,维度值是不同的从200年到1800年,步长是200。批处理大小是4096。

数据 8(一个)- - - - - - 8 (f)目前的预测性能LANFM模型响应时间、相应矩阵密度在哪里设置为10%,50%,90%。实验结果分析响应时间如下:(1)为10%,美价值和NMAE价值增加的增量尺寸。此观测结果显示,当矩阵是稀疏的,一个小维度可能适合提高QoS预测精度。(2)为50%和90%,美价值和NMAE价值表现出下降趋势开始,然后呈现一个上涨的趋势。最低的美和NMAE值达到尺寸= 30为90%,50%和尺寸= 35。这个观察表明,密度矩阵时,一个相对较大的维度可以更好地提高QoS预测的准确性。然而,如果维度设置过大,可能导致过度拟合的问题,导致可怜的预测结果。

数据 8 (g)- - - - - - 8(左)显示LANFM模型对吞吐量的预测性能,密度矩阵的相应设置为10%,50%,90%。注意,维度的规模是除以100更好的显示。实验结果分析吞吐量如下:(1)为10%和90%,吞吐量降低的美和NMAE值,然后增加。最好的美和NMAE值可以实现在600年和1400年,分别。(2)为50%,这表明美和NMAE吞吐量值显示整体下降的趋势,当嵌入向量的维数的增长从200年到1800年。具体来说,当维数从200年到1400年,美和NMAE值迅速下降,然后逐渐收敛。美和NMAE值振荡在局部最小值,当不同维度从1400年到1800年。第一个维度时可以获得最低1400。虽然我们也可以获得最低1800,啤酒维度需要更大的时间复杂度。

的观测数据 8 (g)- - - - - - 8(左)表明,当矩阵非常稀疏,小尺寸的嵌入向量生成准确的QoS值。虽然密度矩阵,一个相对较大的维度可以提高QoS预测的准确性。注意,响应时间的维数小于的吞吐量,因为规模的吞吐量值大于响应时间。

批量大小定义了训练样本的数量将呈现给网络之前体重可以执行更新。批处理大小是由全面考虑到培训时间和收敛速度。当批大小设置更大,每个时代的训练速度更快。但收敛速度慢。研究批量大小的影响,我们改变批量大小从64年到5120年的QoS属性。在这个实验中,调用的密度矩阵设置为10%,50%,90%。嵌入向量的维数为响应时间是30。对于吞吐量,设置为1400。值得注意的是,5120年是我们的GPU的最大内存。

响应时间的预测性能LANFM模型提出了数字 9(一个)- - - - - - 9 (f),我们可以观察到以下几点:(1)为10%,美价值和NMAE价值下降显著增加批量大小从64年到1024年。虽然从1024年到5120年,在当地最低两个值振荡。我们可以获得最好的值在4096。(2)为50%,美价值和NMAE价值下降显著增加批量大小从64年到1024年。在批量大小从1024年到3072年,美价值和NMAE价值的下行速度变得缓慢。最后,梅和NMAE值收敛。这个观察表明,当批大小很小,扩大批量大小可以大大提高QoS预测精度。当涉及到一个相对大的批量大小,改善不明显。(3)为90%,美和NMAE值迅速下降,当批大小从64年到2048年,然后到最小批量大小= 4096。观测表明,当矩阵非常稀疏,小批量的大小(例如,1024)是非常有用的为提高QoS预测的准确性。 While the matrix is dense, a lager batch size (e.g., 4096) is more useful to upgrade the accuracy of QoS prediction.

我们可以看到数据 9 (g)- - - - - - 9(左),当增加批量大小从64年到3072年,吞吐量的美和NMAE值迅速下降。当批大小从3072年到5120年,美和NMAE值逐渐收敛。观察表明,当批大小很小,扩大它可以大大提高QoS预测精度。然而,在超过某个阈值(例如,批量大小= 3072),增强并不是那么明显。