消除声誉系统等级偏见的影响

文摘

e-commercial和interest-base网站的持续快速发展使它更紧迫的前评估对象的准确质量的建议。对象的质量通常是基于历史信息的计算,如所选记录或评级得分。通常是高质量的产品获得更高的平均评级比低质量的产品无论等级偏见和错误。然而,许多实证案例表明,消费者可能会被评级得分增加不可靠的用户或蓄意篡改。在这种情况下,用户的声誉,能够诚实地和准确地说,在评估过程中有很大的差异。因此,设计声誉系统的主要挑战之一是消除用户的等级偏见的影响。给予客观评价每一用户的声誉和揭示对象的内在质量,我们提出一个迭代平衡(IB)方法来纠正用户的等级偏见。两个数据集的实验表明,该IB方法是一个高度自洽和健壮的算法可以准确地量化电影的实际质量和用户的评级的稳定。IB方法与现有的方法相比,具有更高的能力,找到“黑马”,也就是说,不太受欢迎的好电影,奥斯卡奖。

1。介绍

互联网和相关基础设施的快速发展为人们提供了巨大机遇迄今为止,阅读,购物,享受娱乐在线(1- - - - - -3]。随着人们越来越依赖互联网,它们将自己置于额外风险。谣言和虚假信息误导人们做出错误的决定。例如,一些e-commercial网站卖家操作信息以低质量的产品在光线好的地方。分清真理和谬误如何有效保护个人免受恶意欺骗是一个至关重要的问题,尤其是对公司提供网上信息服务或产品(4- - - - - -7]。声誉系统出现的互联网用户需要在个人获得信任他们和在线交易(8,9]。此外,声誉系统让用户和客户更好地理解所提供的信息,产品,服务10,11]。声誉系统可以帮助用户决定是否购买特定的服务或商品,他们没有经验的或从未购买12- - - - - -14]。

声誉系统使用一组历史评级记录和用户的属性和项的计算他们的声誉/质量水平,通常以分数的形式表示。大多数e-commercial和基于兴趣的网站使用一些类型的声誉系统分化的品质服务,产品,或实体之前建议或信息推送。例如,Netflix提供DVD租赁服务允许用户投票决定看电影,然后计算每个电影的荣誉值。自评分有很大影响用户的在线购买决策和在线数字内容分布,提出了各种算法给予客观的评价。Laureti et al。15]提出了迭代细化(IR)方法,用户的声誉,也就是说,评级稳定性、成反比的区别用户评级的估计质量和相应的对象。每个对象的估计质量和声誉的每个用户迭代更新,直到达到收敛。周et al。16)提出了一个健壮的排名算法计算用户的声誉之间的皮尔逊相关用户的评级和对象的估计质量。与红外的方法相比,该方法显示了更高的垃圾信息散布者攻击的鲁棒性。最近,廖et al。17名声再分配过程的迭代排名测量,可有效增加重量的选票享有较高声誉的用户,减少用户的体重低的声誉,当估计物体的质量。也有一些其他的算法基于贝叶斯理论的基础(18],信念理论[19),流模型(20.),或模糊逻辑概念21]。最前面的方法是直接基于评级而忽视事实,用户可能有个人偏见时给一个对象一个分数。我们有四个基准数据集进行实证分析,得到两个video-provided网站,MovieLens [22)和Netflix (23),发现每个用户有一定大小的评级错误降低评级的预测精度24]。为了消除这种评级误差对评价结果的影响,提出一种新的算法迭代平衡(IB)方法。MovieLens和Netflix实验数据表明,IB方法是一个非常有条理的和健壮的算法;它可以准确地量化用户的声誉和电影的质量。与最先进的方法相比,IB方法有更大的能力找到奥斯卡奖的“黑马”。

本文组织如下。节2介绍的代表性评级系统和迭代排名算法的一般框架。接下来,我们描述我们IB方法和一些著名的迭代算法将用于比较。节3,四个基准数据集和一些评价指标。节4,我们将展示IB的表现方法的准确性和鲁棒性。结论和讨论是在最后一节IB的潜在的相关性和应用方法进行了讨论。

2。材料和方法

2.1。一式两份的评级系统的网络表示

由两部分构成的网络通常用于表示两组实体之间的关系,如演员和电影之间的关系,产品和客户,书籍和读者、出版社和作者。只有两组之间的关系的实体是允许的。在这里,我们使用由两部分构成的网络来表示评级系统包括一组用户(用(用),一组对象),用户和对象(用之间的评级)。在双方的网络连接用户的链接和对象代表一个历史评级(∈R)。我们给一个简单的例子在图1展示如何构建一个基于一组评级数据由两部分构成的网络。在图所示的原始数据1(一)有七个评级记录由四个用户四个电影。给出的评级是在整数范围内从1星到5星(即。最好,最差)。图1 (b)显示相应的由两部分构成的网络,用户由圆圈和对象提出的方块。用户与他们认为的电影。所有的用户评价对象由集 ,虽然所有的对象已被用户由集 。例如,在图1 和 。的对象的程度设置用户的数量 ,和用户的程度一组对象的数量 。

2.2。迭代排名框架

事实上,有一组物品的品质,基于一组特征。用户的总质量的评级反映这些特征,加上个人权重反映用户的价值体系。用户的信誉评级的准确性的特征,独立于他的个人特征的权重。为了方便起见,本文处理的情况 。和表示物体的质量和用户的声誉 ,分别。注意,当用户的偏见和错误是缺席,也就是说, 为每个用户,任何两个用户将任何对象根据本能的质量相同的对象。最直接的方法来量化一个物体的质量是考虑历史评级对象。平均超过所有评分(缩写为AR)是最简单的方法,这在数学上读取 显然,这种形式从不同的用户提供同样评级 。然而,用户的评级较高的声誉比评级从低声誉更可靠的用户。因此一种加权来计算物体的质量提出了: 在哪里通常是用户的规范化声誉评分吗 。

KR是“一个非常粗糙的方法”的评估用户在系统的声誉。的基本假设是,用户有更多的经验,也就是说,评级之前更多的条目,忠实地、准确地速度有更高的能力。用户的声誉的数量成正比物品他或她认为在KR。然而,由于这种假设的不可靠性,本文将讨论。

还有三个迭代的方法计算每个用户评分的声誉 。Laureti et al。15)提出了迭代优化方法(缩写为红外),考虑用户的荣誉值为用户之间的均方误差成反比”评级的质量记录和对象;也就是说, 正常化后,我们获得

周et al。16)提出了一个correlation-based迭代法(缩写为CR),假设一个用户的声誉是计算皮尔逊相关(25)用户评级记录和对应的对象之间的质量: 荣誉值被定义为 正常化 ,我们获得

最近,廖et al。17提出了声誉再分配过程(缩写为IARR)改善有效性提高的影响非常有名的用户。然后(7)可以写成 在哪里是一个可调参数来控制声誉的影响。显然,当 ,是一个常量值的所有用户;当 IARR减少,铬的方法。在本文中,我们设置 这是建议的提议(17]。同时,廖等人还提出了另一个类似的算法,称为IARR2 IARR通过引入惩罚因子。IARR2算法认为用户更可靠的如果他更多的对象和他的声誉仍然很高,所以做的对象。在IARR2, (2应该写成) 和在(8)被修改为 总之,迭代模型的框架下,有四个步骤来实现最终结果通过四个不同的算法:(我)初始化用户的声誉:具体地说,我们集 , , , 红外、CR、IARR IARR2方法,分别为(我们有检查结果当红外的初始化是一样的其他三种算法;也就是说, 。结果是完全一样的情况下 。遵循IR方法的原始论文,我们使用 在我们的论文和实验)。(2)估计每个对象的质量(2),可以(4),(7),(8),而IARR2可以计算基于IARR根据(9)。(3)更新显示每个用户的声誉(3)和(4红外光谱、)(5)- (7)对CR, (8为IARR方法),(10)和(8分别为IARR2。(iv)继续迭代过程根据(2)和(3),直到质量估计的变化小于一个阈值 ,然后终止迭代。在我们的实验中,我们设置 。

2.3。迭代平衡模型

上述三种方法忽视这一事实不同用户的评级可能由于个人利益和标准偏差。这种偏见可以测量的标准差和偏态用户评级的记录。让我们考虑用户和对象。每个用户有一定程度的评级错误呢和每个对象有一个内在质量这对于用户是未知的。评级的大小错误表明评级得分的准确程度,它可以对评级正面或负面的影响。然后用户的评级在对象 ,也就是说, ,可以写成 在这里,我们假设的分布评级错误的大小为零的意思。对于任意一个用户 ,他的大小可以测量的标准偏差(),读 在哪里是所有评级对象的平均分数吗 。此外,我们也给评级记录的偏态,指不对称分配的真实用户的评级记录它的意思是: 在哪里会的形式“负偏态”或“正偏态”,取决于用户的评级记录倾斜到左边(负偏态分布)或向右(正面斜)的平均评级记录。

我们实证分析四个基准user-movie数据集:三是MovieLens样本,名叫M1, M2, M3,另一个是来自Netflix,名叫NF(见表1基础统计的数据集)。对于每个数据集,我们调查SD的分布和SK的用户,分别如图2(一个)和2 (b)。SD和SK遵循正态分布的参数估计通过最大似然估计方法。由于用户的个人偏见的评级,我们提出了一个迭代平衡模型,消除偏见为了更好地量化用户的声誉。模型考虑了用户级,以满足(9),它的过程可以描述如下:

(我)初始化每个对象的质量根据(1);我们获得 。

(2)更新显示每个用户的声誉 用户的等级偏见的措施 。显然,越低是,更高的声誉用户有。

(3)更新根据每个对象的质量 在哪里是符号函数,它返回如果 ,如果 ,为 。它指出,如果 ,然后 。

(iv)继续迭代过程(2)和(3),直到质量估计的变化小于一个阈值 ,然后终止迭代。最终稳定值和是用来量化对象的内在质量和用户的声誉 ,分别。

3所示。数据和指标

3.1。数据集

测试我们的IB方法的性能,我们考虑四个基准数据集,从MovieLens采样22)和Netflix (23]。MovieLens是一个在线电影推荐网站,邀请用户速率的电影。Netflix网站也有DVD租赁服务和用户可以投票决定看电影。前三个数据集从MovieLens取样大小不同,命名为M1、M2、M3。第四个数据集是一个随机样本的用户活动的记录http://Netflix.com。MovieLens和Netflix的评定量表(即。,最差)到5(即。,最好)。基于用户的历史记录,我们可以构造一个user-movie由两部分构成的网络。如果用户选择电影率,用户之间的联系和电影将会建立。的统计特征四个网络构建基于四个数据集表进行了总结1。在本文中,我们只考虑用户和对象度大于 。

3.2。评价指标

IB的性能评价方法,我们采用均方误差(MSE)来衡量算法的准确性在量化用户的声誉和精度评价算法的精度确定好电影。除了准确性,我们也调查我们的方法的鲁棒性,这是衡量MSE和肯德尔τ()系数26]。

一个好的方法应该给一个更高的荣誉分数级用户提供一个较低的错误。代表用户的得分稳定 ,而读 在哪里是对象的内在质量 ,也就是说,最终的质量值 。通常,比较关注第一流的用户;因此我们在这里考虑的平均均方误差值最高荣誉用户: 更低的均方误差值表示更高的精度。

测量物体质量评估的准确性通过比较在届奥斯卡奖(电影提名27和金球奖28]。这些提名电影在评估基准的好电影。一个好的算法将基准的电影比别人更高的排名;因此,我们应用精度评估一个算法找好电影的能力。而不是考虑所有电影,我们关注——顶部的地方。然后精确的定义是 在哪里显示的数量指标存在的电影——顶部地方的排名。更高的精度与更好的性能。

鲁棒性是衡量肯德尔τ()系数26]。对于一个数据集,每个方法给出了排名的对象列表。如果电影比电影M1 B在数据集,然后一个健壮的算法还将电影排名高于电影B数据集M2 (M3)。鲁棒性来衡量,我们考虑在两个数据集(即常见的对象。,M1和平方米,M1和M3, M2 and M3) and extract the subranking list of the common objects from each original ranked list. Assume there are两个列表之间的共同对象物体的质量分数用和 ,分别。肯德尔τ的等级相关系数计算的数量之间的差异整合对和不和谐的数量对,读 在哪里是符号函数,它返回如果 ,如果 ,为 。在这里 意味着和谐,负值是不和谐的。越高值,更健壮的算法。在理想的情况下, 表明两个排名列表是完全相同的。

4所示。结果

4.1。精度的量化用户的声誉

图3显示了IB的MSE的价值有不同的方法 ;看到(17)。我们还展示了其他代表算法比较。然而,惩罚因子在IARR2放大的价值用户的声誉和对象的质量,这使得IARR2的MSE价值远远高于其他方法。如果我们绘制IARR2图曲线3;所有其他曲线将成为近线性,因此IARR2 MSE的结果不存在。我们可以观察到增加,IB的MSE价值方法总是最低,表明IB方法是一个很好的衡量量化用户的声誉。除此之外,我们还调查用户的荣誉值之间的相关性和个人MSE值。表2显示肯德尔τ两个排名列表之间的相关系数,分别由排名用户渐减地根据他们的荣誉值(越高越好)和排名用户越来越多地根据他们的MSE值(越低越好)。所有四个数据集,IB方法收益率最高的价值,表明我们的IB非常有条理的方法。

4.2。准确识别好的对象

首先,你如何定义好的对象吗?更具体地说,你如何定义好电影吗?这是一个著名的和高度有争议的问题,这样的意见关于这个话题因人而异。根据答案的集合https://Quora.com,很多人定义一个好电影多少误解和/或移动的观众,与观众多少钱,或者有强烈让观众抒情。俗话说的好,“每个读者创建自己的哈姆雷特。“我们想采用电影最有趣,最吸引人的,和最激动人心的好电影的标准,我们认为选择的电影,要么被提名奥斯卡奖(27)或者金球奖(28)应该是一个权威的选择。我们采用精密计算的精度确定好电影。在表3,我们总结的提名电影三个MovieLens数据集。

注意,用户的行为在电影评级网站变化随着时间的推移,特别是之前和之后著名的电影节的电影被授予奥斯卡奖和金球奖。奥斯卡颁奖典礼于1929年首次提出,而金球奖首次在1943年提出。然而,这两个数据集我们用于我们的手稿,Netflix和MovieLens创造了最近几十年。这意味着大多数的评级得分后成立的电影在电影节上获得。评级的数据集,我们获得了勘探有限动态摘要。我们将努力研究这个问题在我们未来的工作。

图4显示五个方法的精度,包括IB, AR, CR、红外光谱、和IARR方法,在确定好电影。对于所有方法,精度随的增加而减小 。一般来说,我们的IB方法一般。在某些情况下,IB执行好。例如,在M3数据集IB执行最好的评估与奥斯卡奖时但打败了红外光谱法在评估金球奖。

每个方法将生成一个排名,排名第一的电影预计提名电影。提名电影进行比较后,预测在不同的方法,我们发现我们的IB善于寻找利基市场(即方法。,不受欢迎的好电影)。这个能力找到小说电影很重要,因为流行的电影比挖掘更容易找到一席之地。通常细分市场构成了所谓的“长尾”市场,被认为是很有前途的和有利可图的。例如,Netflix发现总的来说“不受欢迎”电影是租多受欢迎的电影和电影提供了大量的利基市场在他们的网站上。新奇的电影可以测量的程度,即有多少用户评价。算法的新颖性的定义是提名电影的平均程度排名,越低越好。我们比较新奇的五个方法。结果如图所示5。我们可以看到,在所有情况下,提出IB方法总是收益率新奇得分最低,表明IB方法具有更高的能力找到(即“黑马”。利基市场,没有如此受欢迎好电影)。

表4显示了电影获得奥斯卡奖提名被我们的IB方法在前100的地方,但不是在其他六个方法M2数据集的列表。评级的13个电影的平均数量是455,远低于评级的平均数量在M2数据集(即所有提名的电影。,717;见表3)。除此之外,在13个电影中,只有三个电影评级超过717次。我们也检查,其他四种方法的结果高度重叠,而我们IB方法产量结果明显不同于其他。其他数据集的结果是相似的,所以我们不能提供详细的信息。M1的数据集,也有27个提名电影IB预测正确的方法但不能被其他四个方法。评级的平均数是132,小于平均值的M1数据集(即所有提名电影。,175;见表3)。在M3数据集,有23个提名的电影不能被其他四个方法。评级的平均数是3245,小于平均值的M3数据集(即提名电影。,3942;见表3)。

4.3。鲁棒性

除了准确性、鲁棒性是选择算法时要考虑的另一个重要方面。鲁棒性通常指一种算法抵抗恶意活动的能力。这里我们考虑针对不同的数据集算法的鲁棒性。一个对象的内在质量在不同的采样数据集不会改变。如果对象表示一个算法比基于采样数据集1 B,而它说对象B比基于采样数据集,那么这个算法并不健壮,因为它产生不一致的结果在不同的采样数据集。因此,而不是添加人工评级研究算法的鲁棒性,我们应用MSE和肯德尔的τ()测量结果的一致性系数在不同的采样数据集。M1、M2和M3现成的样本数据集的实验。首先,我们计算对象的质量分数基于“增大化现实”技术,IB、铬、红外光谱、分别和IARR方法的三个数据集。三个数据集,有三对比较,即M1和M2, M1和M2和M3, M3。我们认为相同的对象在每一对的两个数据集,然后计算这两个质量分数的区别。和表示对象的质量分数在这两个数据集和( ),分别;的 ,在那里数据集之间是相同的对象的数量和 。结果如表所示5。在所有三个案例中,IB方法具有最低的均方误差值。此外,我们使用肯德尔的τ()之间的相关系数来分析两个排名列表中常见的物体在每对两个数据集。表6表明,肯德尔的τ(IB的方法是最高的在所有五个方法。换句话说,同一对象的两个排名列表的IB更一致的方法在不同的数据集比其他四个方法,表明IB更健壮。

5。结论

构建在线声誉系统是很重要的公司,提供在线(即服务或产品。商品,淘宝电子商务平台(29日),Netflix电影,亚马逊的图书/其他产品,潘多拉音乐(30.])。自从荣誉值由系统生成的算法通常用于帮助用户想要购买或选择一些他们没有经验,找到一个好的排名方法是很重要的。应该有效(也就是一个好方法。,reflecting the intrinsic values) and efficient (i.e., simple to calculate). Additionally, it must be robust against tampering. Users’ rating bias greatly ruins the algorithm’s performance in terms of the above three criteria. Motivated to eliminate user bias for better evaluation, we proposed an iterative balance (IB) method to identify each user’s reputation and each object’s quality in online rating systems. Firstly, we empirically studied the standard deviation and the skewness of users’ rating scores and found that each user has a certain magnitude of rating error. Then, we introduced an equation to correct this magnitude of rating error during the iterative process. We applied mean-squared error (MSE) to measure the algorithm’s accuracy on quantifying each user’s reputation and the precision to evaluate the algorithm’s accuracy on identifying good objects. The algorithm’s robustness is measured using both MSE and Kendall’s tau coefficient. Experiments on four benchmark datasets show that the IB method is a highly self-consistent and robust algorithm. Compared with other state-of-the-art methods, the IB method has a higher ability to identify niche items (i.e., unpopular yet good objects). For example, results of using the MovieLens dataset show that the IB method is good at finding the “dark horses” for the Academy Awards. We believe our studies may find wider practical applications, such as helping online e-business platform to identify tampering, integrating the object’s quality score into the recommender systems to improve the accuracy of recommendations, and generally improving user experiences. Furthermore, this may also generate higher quality evaluation reports for seller reference.

的利益冲突

作者宣称没有利益冲突。

作者的贡献

所有作者的贡献同样这项工作。

确认

这项工作是由中国国家自然科学基金(授予号。11622538,11622538)和浙江省自然科学基金(批准号LR16A050001)。z任感谢NSFC-Zhejiang联合基金批准号下U1509220。

引用

1. d·j·瓦”,二十一分之一世纪科学”,自然,卷445,不。7127,489年,页2007。视图:出版商的网站|谷歌学术搜索
2. a . Vespignani“预测科技社会的系统的行为,”美国科学促进协会:科学,卷325,不。5939年,第428 - 425页,2009年。视图:出版商的网站|谷歌学术搜索|MathSciNet
3. j·r·毛h .徐w . Wu, y,和m . Lu”克服各种的挑战:大数据抽象,下一个进化AAL通信系统的数据管理”IEEE通讯杂志,53卷,不。1,42-47,2015页。视图:出版商的网站|谷歌学术搜索
4. 改变,信息系统:电子商务的基础,普伦蒂斯霍尔PTR上台北,美国第四版,2001年版。
5. l, m . Medo c·h·杨,y, z, t .周,“推荐系统”,物理的报告,卷519,不。1,1-49,2012页。视图:出版商的网站|谷歌学术搜索
6. 任x l . Lu, r . Liu和j·张,避免拥堵在推荐系统中,“新物理学杂志ID 063057条,卷。16日,2014年。视图:出版商的网站|谷歌学术搜索
7. h·廖和a .曾“重建与颞相似性传播网络,”科学报告卷,5篇文章ID 11404, 2015。视图:出版商的网站|谷歌学术搜索
8. p . Resnick r . Zeckhauser e·弗里德曼,k . Kuwabara”声誉系统”,ACM的通信,43卷,不。12日,45-48,2000页。视图:谷歌学术搜索
9. l . Lu X.-L d·陈。任,Q.-M。张,研究。张,t·周”关键节点识别复杂的网络,”物理的报告卷,650年,页1 - 63,2016。视图:出版商的网站|谷歌学术搜索
10. y太阳和y . Liu“安全的在线声誉系统:攻击和防御的进化,”IEEE信号处理杂志卷,29号2、87 - 97年,2012页。视图:出版商的网站|谷歌学术搜索
11. h·廖r·肖、g . Cimini和m . Medo”在网上科学界,但,网络驱动下的声誉《公共科学图书馆•综合》,9卷,不。12篇文章ID e112022 2014。视图:出版商的网站|谷歌学术搜索
12. m .商l . Lu y张,t·周“实证分析基于web的用户对象由两部分构成的网络,”EPL (Europhysics字母),卷90,不。4 p。48006年,2010年。视图:出版商的网站|谷歌学术搜索
13. j .倪杨绍明。关铭张,Z.-L。胡et al .,“天花板效应在线用户利益的电影,”自然史答:统计力学及其应用卷,402年,第140 - 134页,2014年。视图:出版商的网站|谷歌学术搜索
14. l . j . Liu,杨绍明。关铭张,W.-J。歌,和x锅”,实证分析聚类系数的用户对象由两部分构成的网络,”国际现代物理学杂志》上,24卷,不。8篇文章ID 1350055, 2013。视图:出版商的网站|谷歌学术搜索
15. p . Laureti l . Moret研究。张,Y.-K。Yu”,通过迭代优化信息过滤,“EPL (Europhysics字母),卷75,不。6,1006 - 1012年,2006页。视图:出版商的网站|谷歌学术搜索|MathSciNet
16. Y.-B。周,t . Lei, t .周”,一个健壮的排名算法垃圾邮件”,EPL (Europhysics字母),卷94,不。4、文章ID 48002, 2011。视图:出版商的网站|谷歌学术搜索
17. h·廖a曾庆红,r·肖Z.-M。任,D.-B。陈和研究。张,”在线声誉和质量等级排名系统”,《公共科学图书馆•综合》,9卷,不。5篇文章ID e97146 2014。视图:出版商的网站|谷歌学术搜索
18. a·惠特比a Jøsang, j . Indulska”评级在贝叶斯过滤不公平的声誉系统”,Proc 7日Int研讨会在代理社会信任,2004年。视图:谷歌学术搜索
19. b . Yu和m·p·辛格“分布式声誉管理的证据模型”诉讼的第一个国际联合会议p。294年,博洛尼亚,意大利,2002年7月。视图:出版商的网站|谷歌学术搜索
20. 美国布林”,大规模的解剖学hypertextual Web搜索引擎,”计算机网络,30卷,不。1,第117 - 107页,1998。视图:出版商的网站|谷歌学术搜索
21. k·k·巴拉和m . y . h . Al-Shamri”,信任和声誉系统模糊计算模型”,电子商务研究与应用,8卷,不。1,37-47,2009页。视图:出版商的网站|谷歌学术搜索
22. http://www.grouplens.org。
23. j•班纳特和s .陈年“netflix大奖,”学报KDD杯和车间,35页,2007年。视图:谷歌学术搜索
24. m . Ochi y松尾、m·冈和r . Onai“评级预测修正用户等级偏见,”学报2012年IEEE /每各月ACM国际会议网络情报,WI 201212月,页452 - 456,中国,2012。视图:出版商的网站|谷歌学术搜索
25. 英国培生”,注意在回归和继承双亲的情况下,“英国伦敦皇家学会学报》上58卷,第242 - 240页,1895年。视图:出版商的网站|谷歌学术搜索
26. r·尼尔森“肯德尔τ指标”,数学百科全书,226年,页2001。视图:谷歌学术搜索
27. “奥斯卡奖通常被称为简单的奥斯卡,是一年一度的美国颁奖典礼纪念电影在电影产业成就,”奖项是由电影艺术与科学学院专业荣誉机构,http://en.wikipedia.org/wiki/Academy_Awards。视图:谷歌学术搜索
28. “金球奖是一个美国人赋予的荣誉,93年好莱坞外国记者协会的成员认识到优秀电影和电视、国内外”http://en.wikipedia.org/wiki/Golden_Globe_Award。视图:谷歌学术搜索
29. “淘宝是中国最大的电子商务平台,由阿里巴巴集团创办于2003年,”http://www.taobao.com。视图:谷歌学术搜索
30. “潘多拉是一个网站,向用户推荐音乐,”http://www.pandora.com。视图:谷歌学术搜索

版权

版权©2018吴雷雷et al。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。