标志

自然与社会中的离散动力学
PDF
自然与社会中的离散动力学/2020/文章
特殊的问题

自然与社会应用中多峰数据密集型系统的认知建模（Comdics）

查看此特刊

研究文章|开放获取

体积 2020 |物品ID 1279253 | https://doi.org/10.1155/2020/1279253

杨博，佟坤坤，赵雪青，庞善民，陈金光, "基于低秩分解的多标签分类",自然与社会中的离散动力学, 卷。2020, 物品ID1279253, 8. 页面, 2020. https://doi.org/10.1155/2020/1279253

基于低秩分解的多标签分类

柏杨,1.,2. 昆昆堂,1. 薛庆赵,1. 彭善民,3. 和 陈金光1.

1.西安理工大学计算机科学学院服装智力，国家和地方联合工程研究中心服装智能，国家和智能信息服务学院陕西重点实验室，西安710048

2.西北工业大学计算机学院，西安710072

3.西安交通大学软件工程学院，陕西西安710049

客座编辑:龙庄李
收到了 2019年12月19日
认可的 2020年2月21日
出版 07年4月2020年

摘要

在多标签学习框架中，每个实例不再与单一的语义相关联，而是与概念歧义相关联。具体来说，输入空间中实例的模糊性意味着输出空间中有多个对应的标签。在现有的多标签分类方法中，大多采用二进制标注向量来表示多个语义概念。也就是说，+1表示实例有一个相关的标签，而−1表示相反。然而，标签表示包含的语义信息太少，无法真正表达多个不同标签之间的差异。因此，我们提出了一种将二进制标号转换为实值标号的新方法。我们采用低秩分解得到潜在的标签信息，然后将这些信息与原始特征结合，生成新的特征。然后，利用稀疏表示对新实例进行重构，重构误差也可以应用到标签空间。这样，我们最终达到了标签转换的目的。大量的实验证明，该方法可以取得与其他先进算法相当甚至更好的结果。

1.介绍

分类是机器学习中的高频词汇。我们经常说分类通常是指单个标签分类，即，对象给出了一个类别。在Multilabel学习中，分类的含义是多标签分类。具体地，实例同时与多个类标签相关联。Multilabel学习有许多应用领域，例如网挖[1.–3.]，文本分类[4.–6.]、多媒体内容注释[7.–11]和生物信息学[12–14］.

近年来，多标签学习逐渐引起了人们的关注。人们提出了各种各样的算法，基本上可以分为两类[15]：算法适应与问题转换。前者的核心思想是改变先前的监督学习算法，以便它可以用于解决Mulbel学习问题，例如ML-KNN [16]后者是将多标签学习问题转化为其他已知问题来解决，如BR[17］.有些多标签算法不使用不同标签之间的相关性来解决多标签学习问题，如LIFT [18]. LIFT的主要思想是获取每个标签的识别特征，并构建一个新的特征空间。该算法首先获取每个标签对应的正、负样本，然后对相应的样本集进行聚类分析，得到聚类中心，最后利用聚类中心构造标签特有的特征。在求解多标记学习问题的过程中，提升不考虑标签相关性；因此，它可以看作是一种新的特征转换方法。一些算法考虑了标签相关性。19–25]用于解决多标签学习问题。例如，在[20.]是基于贝叶斯网络对标签之间的相关性进行建模，并利用近似策略实现高效学习。的确，合理利用标签间的相关性可以有效地提高多标签分类的性能。例如，如果一张图片上有“足球”和“热带雨林”的标签，那么它很可能会被贴上“巴西”的标签。如果一个文档被标注为“沙漠”，那么它被标注为“河流”的可能性就很低。因此，如何有效地挖掘和充分利用标签相关性是多标签学习的关键问题。

事实上，对于具有多个标签的对象，相关标签的重要性仍然是不同的。虽然每个标签的重要性并不是直接给出的，但是我们可以通过外部观察来判断每个标签的重要性。一般来说，在原物中所占比例越大，相应的标签就越重要。因此，如何准确表达标签的重要性也是一个挑战。

[26]分解原始输出空间以获得潜在的标签语义信息，可以有效地提高后续特征选择的能力。通过分解标签空间的激励[26]，提出了一种标签低秩分解(LLRD)方法用于多标签分类。LLRD算法首先对标签矩阵进行低秩分解，然后将分解结果与原始特征结合形成新的特征，并通过稀疏重构挖掘特征的结构信息。第三，将二元标号转化为实值，最后将分类问题转化为回归问题。

本文的贡献如下:(1)利用低秩分解揭示全局标签相关性，取得较好的分类效果(2)将低秩分解结果与原始特征相结合，减少了后续标签转换过程中的信息损失(3)在不同的现场数据集上进行大量的实验，以验证不同算法的有效性

2.材料和方法

2．1.数据集

在本实验中，共使用了13个数据集，涵盖四个领域：音频、文本、图像和生物学。所有这些数据资源都可以从木兰收集(http://mulan.sourceforge.net/datasets.html)及麦卡(http://meka.sourceforge.net/#datasetsru）.表格1.给出了数据集的具体细节。实例数、标签空间和特征尺寸用| S |表示，L（S） ，及D分别(S)。LDen (S)是标号密度，是标号基数LCard(S)标准化的结果。
数据集 || D(S) L(S) LCard (S) LDen (S) 域
加州500 502 68 174 26.044 0.150 音频
情绪 593 72 6. 1.868 0.311 音频
医学的 978 1449 45 1.245 0.028 正文
Llog 1460 1004 75 1.180 0.016 正文
图像 2000 294 5. 1.236 0.247 图像
场景 2407 294 5. 1.074 0.179 图像
酵母 2417 103 14 4.237 0.303 生物学
诽谤 3782 1079 22 1.181 0.054 正文
RCV11亚类 6000 500 101 2.880 0.029 正文
RCV12亚类 6000 500 101 2.634 0.026 正文
RCV1T3亚类 6000 500 101 2.614 0.026 正文
RCV14亚类 6000 500 101 2.484 0.025 正文
RCV15 6000 500 101 2.642 0.026 正文
表1
实验数据集的性质。
2.2. 符号

正式,假设 成为D-维输入空间和 表示的输出域Q类标签。让 为多标签训练数据集P的例子, 是一个D-维实例向量及其应用 标签向量对应于什么 .让 表示输入数据矩阵，和 表示从中提取的矩阵 从 .让 是由标号向量组成的矩阵。

2.3. LLRD过程

首先，lrd用低秩法分解标签矩阵。在多标签学习的框架中，标签矩阵通常被认为是低秩的[27,28]，因为存在标签相关性。低秩结构也是探究标签间全局关系的一种方法。因此，我们可以对标签矩阵进行低秩分解。假设 是R < Q, 可以这样写： 在哪里 表示 在原始标签空间和 是原始标签的映射，也包含标签相关信息。

其次，我们结合了 具有 形成新的特征空间 .为了揭示特征空间的内部结构，我们使用了稀疏重建[29]方法对训练实例之间的关系进行建模。具体来说，我们使用 表示培训对象关系矩阵，其中 是衡量两者之间关系的尺度 和 .让 表示与相关的相应稀疏重建系数 .根据稀疏表示理论， 可计算如下： 在哪里 代表所有培训实例的组合 .我们可以用乘法器的交替方向法[30.］.

第三，我们对原始的二进制标签集进行变换 与任何相关 在训练集中转化为实值标号向量 ,在哪里 和 .因为实际值包含更多信息，并且通过值的大小，我们还可以推断标签的重要性。由于输入空间和标签空间通常是相互关联的，因此假设 和 在输入空间之间也存在 和 在标签空间。因此，标签空间中的不同元素的表示误差可以如下写入： 在哪里 .上述二次规划问题可以通过与二次规划相关的成熟工具来解决。原始的多标签分类问题可以转化为多输出回归问题。有很多解决办法[31]解决它。LLRD方法的学习包括三个阶段：低秩分解、稀疏重构和多输出回归。分析了低秩分解和稀疏重构的时间复杂度 .如果选择多输出支持向量回归来实现分类，则时间复杂度为 .因此，LLRD的总复杂性是 .

3.结果与讨论

3．1.实验设置

在本小节中，我们研究了我们的LLRD与其他六种多标签学习方法在六种多标签评价标准上的比较，这六种评价标准包括两类:基于示例的指标和基于标签的指标[32］.基于示例的度量首先获得学习系统在每个测试示例上的性能，最后返回整个测试集的平均值。与上面基于示例的指标不同，基于标签的指标首先返回每个标签上的系统性能，最后获得宏/微平均F所有标签上的值均为1。

在本文中，一个错误,报道,排名的损失,平均精度用于基于实例的绩效评估。和宏观平均和微宽化F.1是基于标签的度量。例如，基于指标除外平均精度，随着其值的增加，这意味着算法的性能更差。对于其余的度量，它们的值与算法的性能成比例。

让 是多标签测试集和 可以看作是 关联的对应的标签 .此外, 可以转换为排名函数 .如果 有，则对应的排序函数有 .

本文中使用的算法的六种评估标准定义如下：(1)一个错误: (2)报道: (3)排名损失: (4)平均精度: (5)Macroaveraging F1： (6)Microaveraging F1： FN在哪里J, TNJ，FPJ，及茶多酚J表示关于假阴性、真阴性、假阳性和真阳性实例的数量 .

为了测试LLRD的有效性，我们选择了6种多标签学习算法MLFE [33), RAKEL网(34),毫升2.[35], CLR [36]，电梯[18]，以及RELIAB [37]用于性能比较。MLFE充分利用了特征空间的内在信息，使得标签空间的语义更加丰富。MLFE的具体参数设置如下： , , ,和 , ,和 搜索从{1,2,…,10},{1、10、15},{1,10}。RAKEL是一种高阶方法。该算法的基本思想是将多标签学习问题转化为多类分类问题的集成。我们使用RAKEL算法推荐的默认设置，即: ,整体尺寸 .为毫升2.，各参数值记录如下： 和 和 选自{1,2，...，10}。毫克2.是第一个尝试在标签层探索流形的多标签学习算法。CLR是一种二阶问题变换方法。该算法利用标签排序来解决多标签分类问题，标签之间的排序是通过两两比较来实现的。关联参数ensemble size设置为 .LIFT使用不同的特征集，通过聚集正面和负面示例来区分不同的标签。比值参数的取值R是0.1，如中所示[18］.Reliab利用标签的隐式相关信息来实现多书学习的任务。参数 和 分别取{0.1,0.15，…，0.5}和{0.001,0.01，…，10}。LLRD, ,R可以从{1,2…，Q−1}. 总之，比较算法的参数设置与相关文献中推荐的一致。

3.2。实验结果

对于实验中的每个数据集，我们采用十倍交叉验证策略。我们的实验结果主要分布在表格中2.和3.，其中记录了不同算法在不同多标签数据集中的性能。表中记录了相应评价标准的平均值和标准差。对于每个评价指标，“↓”表示“越小越好”，“↑”表示“越大越好”。最好的结果以粗体显示。
比较算法 加州500 情绪 医学的 Llog 图像 场景 酵母
一个错误↓
LLRD 0.136±0.041 0.248±0.048 0.125±0.031 0.657±0.038 0.244±0.018 0.116±0.019 0.217±0.013
MLFE 0.168±0.049 0.259±0.050 0.131 ± 0.030 0.672±0.041 0.257±0.031 0.127 ± 0.022 0.233 ± 0.026
电梯 0.125 ± 0.049 0.251 ± 0.027 0.156±0.041. 0.664±0.034 0.276 ± 0.026 0.132±0.012 0.226 ± 0.021
信实 0.116±0.030 0.255±0.041 0.163±0.028 0.754±0.035 0.342 ± 0.032 0.258±0.011 0.255±0.016
毫克2. 0.201 ± 0.090 0.261±0.045 0.135 ± 0.032 0.674±0.051. 0.260±0.027 0.144±0.019 0.246 ± 0.034
CLR 0.243±0.058. 0.310 ± 0.019 0.362±0.009 0.841 ± 0.036 0.449±0.013 0.331±0.031 0.234±0.022
拉克尔 0.622 ± 0.065 0.289±0.032 0.237±0.032 0.871±0.028 0.397±0.019 0.314±0.030 0.291 ± 0.031
覆盖↓
LLRD 0.774±0.021 0.282±0.034. 0.029±0.009 0.194±0.025 0.157±0.010 0.008±0.009 0.447±0.010
MLFE 0.769 ± 0.024 0.283±0.030 0.033 ± 0.010 0.200±0.027 0.162±0.018 0.012 ± 0.008 0.449±0.011
电梯 0.753±0.015 0.271±0.023 0.040±0.014 0.164±0.007 0.172±0.013 0.026±0.007 0.454±0.017
信实 0.746±0.019 0.306±0.020 0.044±0.013 0.155±0.013 0.185 ± 0.007 0.114 ± 0.004 0.457±0.015
毫克2. 0.814 ± 0.033 0.292±0.044. 0.035 ± 0.013 0.201±0.026. 0.164±0.009 0.010±0.007 0.461 ± 0.016
CLR 0.789±0.010 0.330±0.011. 0.073 ± 0.041 0.182 ± 0.050 0.233 ± 0.017 0.122±0.011 0.484±0.020
拉克尔 0.958 ± 0.011 0.335 ± 0.031 0.077±0.014 0.332 ± 0.021 0.249±0.006. 0.161±0.007 0.553 ± 0.016
排名损失↓
LLRD 0.185 ± 0.011 0.144±0.028 0.018 ± 0.007 0.185 ± 0.022 0.129±0.010 0.042±0.008 0.163±0.008
MLFE 0.188 ± 0.010 0.146±0.030 0.014 ± 0.007 0.191±0.025 0.134±0.017 0.046±0.010 0.167±0.011
电梯 0.178±0.008 0.144±0.026 0.029 ± 0.009 0.148 ± 0.014 0.148 ± 0.012 0.054±0.015 0.164±0.013
信实 0.182 ± 0.007 0.165 ± 0.021 0.026±0.008 0.134±0.011 0.176±0.008 0.076 ± 0.007 0.185 ± 0.021
毫克2. 0.205±0.021 0.153±0.033 0.011±0.009 0.194±0.027 0.136±0.012 0.050±0.007 0.175 ± 0.015
CLR 0.231±0.020 0.181±0.020 0.072±0.051 0.137±0.028. 0.241±0.015 0.098±0.021 0.196 ± 0.009
拉克尔 0.359 ± 0.012 0.213±0.019 0.066±0.019 0.281 ± 0.034 0.244 ± 0.016 0.155±0.023 0.243±0.010
平均精度↑
LLRD 0.506±0.018 0.819±0.031. 0.905±0.020 0.421±0.033 0.841±0.009 0.934±0.010 0.775±0.008
MLFE 0.490±0.017 0.812±0.032 0.901±0.021 0.410±0.029 0.835±0.019 0.928±0.013 0.766 ± 0.016
电梯 0.502±0.021 0.824±0.024 0.880 ± 0.030 0.416±0.031. 0.820±0.018 0.922±0.008 0.768±0.018
信实 0.497 ± 0.016 0.801 ± 0.021 0.869±0.020 0.405 ± 0.041 0.781 ± 0.009 0.851±0.008 0.751±0.010
毫克2. 0.481±0.030 0.816±0.031 0.898±0.022 0.404 ± 0.031 0.832 ± 0.014 0.930±0.009 0.759 ± 0.020
CLR 0.425 ± 0.034 0.770 ± 0.019 0.695±0.032 0.312±0.059 0.722±0.015 0.801±0.012 0.755 ± 0.006
拉克尔 0.343±0.009 0.772±0.037. 0.798 ± 0.018 0.228±0.020 0.731 ± 0.017 0.777 ± 0.023 0.717±0.007
宏观平均F1↑
LLRD 0.231±0.026. 0.676±0.051 0.736±0.050 0.408±0.028 0.666±0.024 0.800±0.016 0.420±0.030
MLFE 0.239±0.025 0.668 ± 0.050 0.702±0.056 0.415±0.041 0.655±0.021 0.787±0.015 0.430±0.024.
电梯 0.179±0.014 0.651 ± 0.035 0.694 ± 0.052 0.392±0.045 0.624±0.033 0.788 ± 0.018 0.377 ± 0.019
信实 0.288±0.015 0.639 ± 0.038 0.686 ± 0.058 0.394±0.031 0.568±0.030. 0.671±0.021. 0.409±0.023
毫克2. 0.226 ± 0.024 0.656±0.045 0.686 ± 0.058 0.382±0.035 0.652±0.018 0.783±0.015 0.438±0.017
CLR 0.220 ± 0.017 0.604 ± 0.032 0.616±0.118 0.402±0.056 0.523 ± 0.027 0.635 ± 0.013 0.386±0.016
拉克尔 0.195±0.010 0.615 ± 0.030 0.679 ± 0.037 0.377±0.054 0.545 ± 0.018 0.654 ± 0.012 0.441±0.011
微平均F1↑
LLRD 0.325±0.011 0.692±0.048 0.814±0.030 0.126±0.027 0.665±0.024 0.792±0.017 0.656±0.011
MLFE 0.384±0.017 0.683 ± 0.047 0.785±0.031 0.137±0.032 0.653±0.024 0.781 ± 0.015 0.643 ± 0.013
电梯 0.313 ± 0.013 0.664±0.015 0.763 ± 0.031 0.168±0.034 0.625 ± 0.031 0.779±0.022 0.650±0.016
信实 0.454±0.011 0.647±0.038 0.748 ± 0.024 0.188±0.028 0.562±0.021 0.639 ± 0.013 0.631±0.015
毫克2. 0.366±0.013 0.674±0.042 0.780±0.021 0.074±0.031. 0.650±0.019 0.776±0.018 0.635 ± 0.018
CLR 0.330±0.012 0.626±0.029 0.606±0.143 0.165±0.050 0.531 ± 0.008 0.634±0.017 0.623±0.010
拉克尔 0.356 ± 0.025 0.648±0.024 0.669±0.016 0.155±0.019 0.533±0.005 0.645±0.009 0.637±0.011
表2
每个多标签算法的性能(均值±标准差)。在规则尺度数据集上。
比较算法 诽谤 RCV11亚类 RCV12亚类 RCV1T3亚类 RCV14亚类 RCV15
一个错误↓
LLRD 0.363±0.026 0.414±0.013 0.411±0.017 0.416±0.029 0.317±0.015 0.401 ± 0.018
MLFE 0.374 ± 0.027 0.406 ± 0.018 0.399±0.013 0.402±0.025 0.328±0.013 0.392 ± 0.008
电梯 0.393 ± 0.033 0.427±0.011. 0.434±0.017 0.441 ± 0.020 0.363 ± 0.019 0.430±0.019
信实 0.508±0.022 0.449±0.015 0.458 ± 0.028 0.454±0.012 0.433 ± 0.024 0.423±0.009
毫克2. 0.370±0.025 0.404±0.017 0.395±0.018 0.398±0.021 0.323±0.021 0.388±0.010
CLR 0.965±0.013 0.513 ± 0.022 0.515±0.009 0.518±0.028 0.472±0.031. 0.521±0.021
拉克尔 0.602±0.009 0.605±0.013 0.574 ± 0.012 0.585 ± 0.022 0.561 ± 0.022 0.614 ± 0.009
覆盖↓
LLRD 0.107±0.010 0.125±0.008 0.121±0.009 0.123±0.006. 0.092±0.004 0.116±0.009
MLFE 0.126±0.013 0.136±0.005 0.130±0.010 0.129±0.007 0.094 ± 0.007 0.124 ± 0.007
电梯 0.112±0.008 0.144±0.020 0.135 ± 0.008 0.156 ± 0.008 0.113±0.012 0.148 ± 0.013
信实 0.131±0.007 0.152±0.012 0.128±0.014 0.144±0.011. 0.105±0.020 0.131 ± 0.014
毫克2. 0.103±0.011 0.138 ± 0.008 0.132±0.010 0.126±0.006 0.078±0.006. 0.129±0.009
CLR 0.254 ± 0.003 0.146 ± 0.018 0.141±0.007 0.137±0.010 0.109 ± 0.018 0.136±0.011
拉克尔 0.226 ± 0.020 0.426±0.023 0.372±0.016 0.381 ± 0.014 0.365±0.009 0.388 ± 0.020
排名损失↓
LLRD 0.090±0.010 0.049±0.004 0.050±0.004 0.052±0.002 0.038±0.002 0.047±0.003
MLFE 0.107±0.013 0.052±0.002 0.055±0.007 0.055±0.002 0.040±0.004 0.050±0.003
电梯 0.098±0.016 0.058±0.007 0.057 ± 0.009 0.068±0.004 0.059±0.010 0.055±0.007
信实 0.124 ± 0.003 0.066±0.010 0.063 ± 0.008 0.062 ± 0.004 0.052±0.006 0.063 ± 0.005
毫克2. 0.103 ± 0.012 0.056±0.004 0.057 ± 0.004 0.056±0.003 0.031±0.003 0.050±0.004.
CLR 0.237 ± 0.008 0.062 ± 0.011 0.066±0.008 0.065±0.012 0.047 ± 0.006 0.071±0.005
拉克尔 0.211±0.019 0.226 ± 0.019 0.215 ± 0.017 0.230 ± 0.015 0.235±0.014 0.214±0.016
平均精度↑
LLRD 0.725±0.019 0.611±0.010 0.638±0.011 0.634±0.017 0.717±0.008 0.643 ± 0.011
MLFE 0.712±0.021 0.618 ± 0.016 0.645±0.009 0.639 ± 0.014 0.708 ± 0.012 0.647±0.012
电梯 0.703±0.010 0.586±0.009 0.598 ± 0.012 0.595 ± 0.011 0.674±0.013 0.598 ± 0.011
信实 0.624±0.014 0.578 ± 0.021 0.611±0.011 0.614±0.018 0.655±0.018 0.604±0.009
毫克2. 0.715±0.022 0.621±0.012 0.647±0.013 0.643±0.016 0.717±0.013 0.650±0.010
CLR 0.269±0.002 0.575±0.013 0.584±0.021. 0.571 ± 0.032 0.614±0.020 0.588 ± 0.013
拉克尔 0.522±0.020 0.395 ± 0.012 0.445±0.018 0.431±0.014 0.450±0.012 0.437±0.016
宏观平均F1↑
LLRD 0.427±0.035 0.235±0.020 0.259±0.019 0.213±0.031 0.300±0.019 0.211±0.020
MLFE 0.466±0.035. 0.198 ± 0.017 0.195±0.056 0.202±0.030 0.249±0.021 0.204±0.021
电梯 0.429±0.037 0.223±0.025 0.186±0.024. 0.200±0.031. 0.238±0.013 0.196 ± 0.031
信实 0.425 ± 0.029 0.342±0.022 0.338±0.016 0.348±0.014 0.342±0.028 0.352±0.014
毫克2. 0.472±0.029 0.216±0.020 0.206±0.024 0.195 ± 0.030 0.244 ± 0.023 0.208±0.011
CLR 0.174±0.032 0.285±0.032 0.264±0.021 0.272 ± 0.022 0.311±0.031 0.305 ± 0.017
拉克尔 0.354±0.037 0.269±0.030 0.251 ± 0.014 0.255±0.014 0.263±0.014 0.274±0.018
微平均F1↑
LLRD 0.496±0.021 0.393±0.013 0.381 ± 0.017 0.406±0.027 0.470±0.013 0.402±0.018
MLFE 0.545 ± 0.019 0.373±0.014 0.375±0.031 0.392 ± 0.024 0.403±0.020 0.381 ± 0.017
电梯 0.510 ± 0.030 0.320±0.017 0.353 ± 0.014 0.347±0.018 0.342 ± 0.024 0.363 ± 0.008
信实 0.453±0.011 0.408±0.010 0.449±0.008 0.451.±0.021 0.478±0.016 0.454±0.012
毫克2. 0.556±0.022 0.371 ± 0.014 0.391±0.010 0.383±0.026 0.393±0.022 0.410±0.015
CLR 0.104±0.005 0.367±0.011 0.368±0.024 0.320±0.024 0.381 ± 0.015 0.372±0.008
拉克尔 0.365±0.020 0.359 ± 0.023 0.348±0.016 0.341±0.016 0.371 ± 0.015 0.342 ± 0.006
表3
每个多标签算法的性能（平均值 ± 大规模数据集上的标准偏差）。

我们使用弗里德曼测试[38]，以验证算法之间的差异是否具有统计学意义。如果拒绝“所有算法性能相同”的假设，则意味着每个算法的性能存在显著差异。从表中的数据可以看出4.，在0.05显著水平下，算法间无显著差异的假设不成立。因此，我们需要进行后期测试来进一步区分各种算法。通常情况下，事后测试有两种选择，一种是Nemenyi测试[38另一种是邦菲罗尼-邓恩测试[39］.为了 算法，前者需要比较 而后者只需要 在某些情况下，有时是。因此，我们选择后者。Bonferroni–Dunn测试用于测试LLRD是否比比较算法更具竞争力，其中LLRD扮演控制算法的角色。当两种算法的平均秩差大于一个临界差CD时，两种算法的性能明显不同。此处提到的CD值可通过以下公式计算得出： ,在哪里K= 7,N = 13，当显著性水平为0.05时，相应的 .
评价指标 FF 临界值
一个错误 34.0909 2.2274
报道 20.3765
排名损失 21.1642
平均精度 39.8409
Macroaveraging F1. 2.6520
Microaveraging F1. 7.6088
表4
弗里德曼统计数据F F以及临界值。

与LLRD相关的CD图及其比较算法如图所示1..坐标水平轴上的数字表示不同评估标准下每个算法的平均秩值。通过实线连接的各种算法之间的性能没有显着差异。

（一种）
（一种）
（b）
（b）
（C）
（C）
（d）
（d）
(e)
(e)
(f)
(f)
图1
通过Bonferroni-Dunn检验将LLRD(控制算法)与其他相关方法进行比较。没有连接到LLRD的方法在性能上与LLRD有很大的不同。(一)一个错误。(b)的报道。(c)排名的损失。(d)的平均精度。(e) MacroaveragingF1.(f) MicroaveragingF2.

通过对以上实验结果的分析，我们可以得出以下结论:(1)在四个评价标准一个错误,报道,排名的损失,平均精度， LLRD明显优于RELIAB、RAKEL和CLR。(2)平均秩值越小，对应的性能越好。对于LLRD，在6个CD子图中的平均秩值中有5个是最优的，这表明LLRD优于其他算法。(3)对于常规数据集，LLRD在不同的评估标准下的69％的案例中排名第一，而对于大型数据集，它将排名第一为36.1％。

4。结论

在本文中，我们提出了一种新的多标签分类算法LLRD，该算法采用低秩分解来获取标签的内部信息，并通过新的特征空间进一步减少标签变换的信息损失。实验结果表明，该方法的性能优于目前许多先进的多标签分类技术。在未来，我们将探索替代模型，将低秩分解和分类结合成一个联合优化问题，以考虑更复杂的标签相关性。

数据可用性

我们手稿中使用的数据集均为公开数据集，可从http://mulan.sourceforge.net/datasets.html”和“http://meka.sourceforge.net/#datasetsru”。

的利益冲突

作者声明他们没有利益冲突。

致谢

中国国家自然科学基金（61806159和61806160,61972312）和中国博士后科学基金（2018M631192）提供了中国国家重点研发计划（2019YFC1521400）的支持支持。

参考文献

  1. L. Tang, S. Rajan, and V. K. Narayanan，“基于金属标签的大规模多标签分类”第19届国际万维网会议论文集，第211-220页，西班牙马德里，2009年7月。查看在：谷歌学术搜索
  2. B杨，J。T孙，T。王和Z。Chen，“有效的文本分类多标签主动学习”，年第十五届ACM SIGKDD知识发现与数据挖掘国际会议论文集，第917-926页，法国巴黎，2009年7月。查看在：谷歌学术搜索
  3. H. Kazawa, T. Izumitani, H. Taira，和E. Maeda，“多主题文本分类的最大边距标记”，刊于神经信息处理系统研究进展17LK索尔，Y。维斯和L。波图编辑，第649-656页，麻省理工学院出版社，美国马萨诸塞州剑桥，2005年。查看在：谷歌学术搜索
  4. A.McCallum，“EM训练的混合模型的多标签文本分类”，年AAAI文本分类学习研讨会工作记录1999年7月，美国佛罗里达州奥兰多市。查看在：谷歌学术搜索
  5. R. E. Schapire，Y.歌手和Boostexter，“基于促进的文本分类系统”，机器学习，第39卷，第2-3号，第135-168页，2000年。查看在：谷歌学术搜索
  6. 上田和齐藤，“多标签文本的参数混合模型”，发表于神经信息处理系统研究进展s贝克尔，S。Thrun和K。Obermayer编辑，第721-728页，麻省理工学院出版社，美国马萨诸塞州剑桥，2003年。查看在：谷歌学术搜索
  7. F康，R。金和R。Sukthankar，“相关标签传播与多标签学习的应用”，年IEEE计算机学会计算机视觉与模式识别会议论文集，第1719-1726页，纽约，美国纽约，2006年6月。查看在：谷歌学术搜索
  8. K特罗希迪斯，G。祖马卡斯，G。卡利里斯和我。Vlahavas，“音乐情感的多标签分类”，年第九届国际音乐信息检索会议论文集，页325-330，费城，宾夕法尼亚州，美国，2008。查看在：谷歌学术搜索
  9. C. Sanden和J.Z. Zhang，“通过集合技术加强多标签音乐类型分类，”第34届SIGIR会议记录， pp. 705-714，北京，中国，2011年7月。查看在：谷歌学术搜索
  10. RC洪，M。王，Y。Gao等人，“通过区分特征映射和选择的多实例学习进行图像标注，”Cyebericics上的IEEE交易，第44卷，第5期，第669-680页，2014年。查看在：出版商的网站|谷歌学术搜索
  11. “弱监督多标签聚类及其在计算机视觉中的应用”，《计算机科学》，Cyebericics上的IEEE交易第46卷，第46期12, pp. 3220-3232, 2016。查看在：出版商的网站|谷歌学术搜索
  12. Elisseeff和J. Weston，“多标记分类的核方法”，刊于神经信息处理系统研究进展TG迪特里奇，S。贝克和Z。Ghahramani编辑，第681-687页，麻省理工学院出版社，美国马萨诸塞州剑桥，2002年。查看在：谷歌学术搜索
  13. M. L. Zhang和Z. H. Zhou，“具有功能基因组学和文本分类的多书的神经网络，”IEEE关于知识和数据工程的交易，卷。18，不。10，pp。1338-1351,2006。查看在：出版商的网站|谷歌学术搜索
  14. G. Tsoumakas、I. Katakis和I. Vlahavas，《挖掘多标签数据》，数据挖掘和知识发现手册, 2010年施普林格。查看在：出版商的网站|谷歌学术搜索
  15. E. Gibaja和S. Ventura，《多标签学习教程》ACM计算调查，第47卷，第47期。3, pp. 1-38, 2015。查看在：出版商的网站|谷歌学术搜索
  16. >。张和Z.-H。周，“multi-label learning的懒惰学习方法”，模式识别，第40卷，第7期，第2038-2048页，2007年。查看在：出版商的网站|谷歌学术搜索
  17. M. R. Boutell, J. Luo, X. Shen, C. M. Brown，“学习多标签场景分类”，模式识别，第37卷，第2期9，页1757 - 1771,2004。查看在：出版商的网站|谷歌学术搜索
  18. >。Zhang和L. Wu，“Lift: multi-label learning with label specific feature，”，模式分析与机器智能学报，第37卷，第2期1, pp. 107-120, 2015。查看在：出版商的网站|谷歌学术搜索
  19. 郭玉华，“基于条件依赖网络的多标签分类”，载《中国科学院大学学报(自然科学版)》第22届国际人工智能联合会议论文集2011年7月，西班牙加泰罗尼亚。查看在：谷歌学术搜索
  20. 张克明，“基于标签依赖的多标签学习”，发表于第16届ACM SIGKDD国际知识发现和数据挖掘会议，页999-1008，华盛顿特区，美国，2010。查看在：谷歌学术搜索
  21. 傅波，徐国栋，王振华，曹立波，“基于监督标签依赖传播的多标签学习”第13届IEEE数据挖掘国际会议论文集，第1061-1066页，美国德克萨斯州达拉斯，2013年12月。查看在：谷歌学术搜索
  22. J. Read, B. Pfahringer, G. Holmes，和E. Frank，“多标签分类器链”，刊于在人工智能讲义5782,W，第254-269页，德国柏林斯普林格，2009年。查看在：谷歌学术搜索
  23. 黄建军，李国荣，王世华，黄秋明，“基于局部成对标签关联的社区决策分类”IEEE数据挖掘研讨会国际会议的诉讼程序，第913-920页，中国深圳，2014年12月。查看在：谷歌学术搜索
  24. 刘洪伟，马志军，张思成，吴旭东，“基于ℓ1-范数的偏最小二乘判据分析，”模式识别，第48卷，第5期，第1724-1733页，2015年。查看在：谷歌学术搜索
  25. 黄士杰、周志宏，“基于局部标签关联的多标签学习”，《计算机科学与技术》第26届AAAI人工智能会议论文集，页949-955，多伦多，加拿大，2012年7月。查看在：谷歌学术搜索
  26. 凌j.d Li，和H. Liu，“利用多标签信息进行噪声弹性特征选择”，美国计算机学会智能系统与技术汇刊，第9卷，第5期，第1-23页，2018年。查看在：谷歌学术搜索
  27. 叶c.k. Yeh, ww . c.c. Wu, ww . J. Ko, Y. c.c.f Wang，“基于深度潜在空间的多标签分类学习”第31届AAAI人工智能会议论文集，2838 - 2844页，旧金山，CA，美国，2017年2月。查看在：谷歌学术搜索
  28. K-H。黄和H-T。林，“多标签分类的成本敏感标签嵌入，”机器学习，第106卷，第9-10号，第1725-1746页，2017年。查看在：出版商的网站|谷歌学术搜索
  29. J. Wright, A. Y. Yang, A. Ganesh, S. S. satstry, Y. Ma，“基于稀疏表示的鲁棒人脸识别”，模式分析与机器智能学报第31卷第1期2，页210 - 227,2008。查看在：谷歌学术搜索
  30. E. Ghadimi, A. Teixeira, I. Shames, M. Johansson，“交替方向乘法器(ADMM)的最优参数选择:二次问题，”IEEE自动控制事务集，第60卷，第2期3, pp. 644-658, 2014。查看在：出版商的网站|谷歌学术搜索
  31. D. Tuia，J.Verrelst，L. Alonso，F. Perez-Cruz和G. Camps-Valls，“多开营支持向遥感生物物理参数估计的回归”，IEEE地球科学与遥感通讯，第8卷，第2期4, pp. 804-808, 2011。查看在：出版商的网站|谷歌学术搜索
  32. 张明林，“多标签学习算法研究进展”，IEEE关于知识和数据工程的交易第26卷第2期8，第1819-1837页，2013。查看在：谷歌学术搜索
  33. 张秋文，张明林，“基于特征的多标签学习的标签信息丰富”，《中国科学(d辑)》IEEE国际人工智能会议论文集，第4446-4453页，台湾台中，2018年1月。查看在：谷歌学术搜索
  34. G祖马卡斯，I。Katakis和我。Vlahavas，“用于多标签分类的随机k-标签集，”IEEE关于知识和数据工程的交易，卷。23，不。7，pp。1079-1089，2010。查看在：谷歌学术搜索
  35. 侯鹏，耿新，张明林，“多标签的流形学习”第30届AAAI人工智能大会的诉讼程序2016年2月，美国亚利桑那州凤凰城。查看在：谷歌学术搜索
  36. J.Fürnkranz，E.Hüllermeier，E. LozaMencía和K. Brinker，“多革方案分类通过校准标签排名”，机器学习，第73卷，第2期2，页133-153,2008。查看在：出版商的网站|谷歌学术搜索
  37. 张明林，耿新民，“基于隐性相对标签重要性的多标签学习”，《中国科学:信息科学》，第3期第15届IEEE数据挖掘国际会议论文集，第251-260页，大西洋城，新泽西州，美国，2015年11月。查看在：谷歌学术搜索
  38. JDemˇsar，“多数据集分类器的统计比较，”机器学习研究杂志，第7卷，第1-30页，2006年。查看在：谷歌学术搜索
  39. A. Benavoli, G. Corani和F. Mangili，“我们真的应该使用基于平均等级的事后测试吗?”机器学习研究杂志，第17卷，第1期，第152-161页，2016年。查看在：谷歌学术搜索

版权所有©2020 Bo Yang等。这是分布下的开放式访问文章知识共享署名许可协议，允许在任何媒介中不受限制地使用、分发和复制，前提是原作被正确引用。

更多相关文章

PDF 下载引用 引用
下载其他格式更多的
埃普
XML
订购印刷品订单
的观点292
下载347
引用

相关文章

年度文章奖：2020年杰出研究贡献，由我们的主编评选。阅读获奖物品.