SP 科学的规划 1875 - 919 x 1058 - 9244 Hindawi 10.1155 / 2021/6613452 6613452 研究文章 Semisupervised深嵌入与自适应聚类标签 https://orcid.org/0000 - 0002 - 9209 - 2189 Zhikui https://orcid.org/0000 - 0002 - 8490 - 6533 Chaojie https://orcid.org/0000 - 0001 - 5099 - 6991 https://orcid.org/0000 - 0002 - 0695 - 2788 嘉宁 https://orcid.org/0000 - 0002 - 7138 - 430 x 越南盾 Boxiang 软件技术学院 大连理工大学 大连116620 中国 dlut.edu.cn 2021年 16 1 2021年 2021年 29日 10 2020年 14 12 2020年 8 1 2021年 16 1 2021年 2021年 版权©2021 Zhikui陈等。 这是一个开放的文章在知识共享归属许可下发布的,它允许无限制的使用,分布和繁殖在任何媒介,提供最初的工作是正确的引用。

深嵌入集群(DEC)吸引了太多的关注由于其性能优于归因于端到端集群。然而,12月不能利用少量的先验知识包含在数据增加体积。应对这一挑战,semisupervised深嵌入聚类算法与自适应标签提出了集群semisupervised端到端地这些数据的基础上,一个先天的知识。具体来说,深semisupervised集群网络设计基于autoencoder范式和深集群,哪好我的集群表示和集群任务通过防止标签在12月的转变,深semisupervised集群网络的训练参数,back-propagation-based算法自适应标签介绍基于pretrain和调整策略。最后,广泛代表数据集进行实验评价了该方法的性能的聚类精度和归一化互信息。结果表明该方法优于12月的最先进的方法。 中国国家自然科学基金 61672123 61602083 62002044 辽宁省的博士科研基础 20170520425 中央大学基础研究基金 DUT20LAB136 DUT20TD107 DUT15RC 100 (3) 中国学术委员会 1。介绍</t我tle> <p>集群,作为最重要的一个基本研究方法在数据挖掘和机器学习,扮演着一个重要的角色在模式识别、图像检索、计算机视觉、社会网络分析、自然语言处理和知识发现(<xgydF4y2Baref ref-type="bibr" rid="B1"> 1</xgydF4y2Baref>]。它在模式空间中样本数据分为不同类别通过探索电位分布结构的数据。在过去的几十年中,许多经典的聚类算法已经提出,如k - means, DBSCAN,高斯混合模型,谱聚类,该集群、非负矩阵和图论聚类(<xgydF4y2Baref ref-type="bibr" rid="B2"> 2</xgydF4y2Baref>- - - - - -<xgydF4y2Baref ref-type="bibr" rid="B5"> 5</xgydF4y2Baref>]。最近,深集群吸引了大量关注和提高高维数据的集合。它可以缓解传统聚类的降解在面对高维输入数据通过学习数据的低维表示。例如,Lv et al。<xgydF4y2Baref ref-type="bibr" rid="B6"> 6</xgydF4y2Baref>)提出了一种深基于特征聚类通过使用堆叠autoencoder来提取深文本功能。对高维数据进一步提高集群性能,提出了一些深的端到端聚类方法,深神经网络聚类合并。例如,谢et al。<xgydF4y2Baref ref-type="bibr" rid="B7"> 7</xgydF4y2Baref>]提出深嵌入集群(DEC)学习聚类的特征数据,并将数据以自学的方式。香港et al。<xgydF4y2Baref ref-type="bibr" rid="B8"> 8</xgydF4y2Baref>]提出mini-GCN,其中结合了CNN和GCN提取更多的特色和克服政府通讯的高计算成本。赵et al。<xgydF4y2Baref ref-type="bibr" rid="B9"> 9</xgydF4y2Baref>]从共同的特征分离视图相关不相关的信息,在视图中消除无用的信息的影响。</pgydF4y2Ba> <p>上面这些方法可以挖掘数据模式以一种无监督的方式,忽视了一些先验知识在真实的数据,这是由少量的标签数据或成对约束由专家给出。最近,许多semisupervised聚类方法提出了(<xgydF4y2Baref ref-type="bibr" rid="B10"> 10</xgydF4y2Baref>- - - - - -<xgydF4y2Baref ref-type="bibr" rid="B13"> 13</xgydF4y2Baref>),利用足够的未标记的数据和一些先验知识来提高聚类性能。例如,香港等。<xgydF4y2Baref ref-type="bibr" rid="B14"> 14</xgydF4y2Baref>)提出了一个semisupervised深度学习框架,可以学习更有识别力的信息从一个小规模的高光谱图像并将其传输到大规模数据的分类任务。然而,大多数当前的semisupervised聚类不能使用先验知识以一种强有力的监督方式,因为他们不直接使用标签信息来指导集群的学习中心。同时,他们不能集群样本数据驱动学习聚类质心和特定于集群的表示方式。</pgydF4y2Ba> <p>为了解决这些挑战,提出了一种新的semisupervised联合学习框架,共同学习功能嵌入空间和集群任务通过整合少量的标签信息联合优化功能。</pgydF4y2Ba> <p>此外,前面semisupervised集群策略不能直接使用strong-supervised数据标签的知识深度嵌入集群由于标签转变问题,聚类结果与样本的实际标签不一致。换句话说,这些标记的样本相同的类通常是分散到不正确的类,和这种不正确的监督信息破坏模式结构的数据,造成深度嵌入集群的退化。</pgydF4y2Ba> <p>为了解决这个挑战,一个标签自适应策略介绍了基于投票机制。通过标签的自适应策略,改变标签生成的聚类过程中预计的赢家标签,确保标签样品相同的集群总是在一个集群的集群的过程。提出的策略可以直接使用标签丢失指导聚类过程中通过调整集群中心和学习特定于集群的表征。本文方法改进的基础上,12月semisupervised深聚类方法和扩展。本文的贡献总结如下:<l我年代t> <list-item> <label>(我)</l一个bel> </list-item> </list></p> <p>提出了一种新的semisupervised联合学习框架,集成了少量标签信息,共同学习功能嵌入空间和集群任务的帮助下联合优化功能。</pgydF4y2Ba> <list-item> <label>(2)</l一个bel> <p>标签的自适应策略介绍了正确的标签聚类过程的转变。它不仅可以改善标签信息的利用率,而且有效地避免了潜在的退化,传统深厚的聚类算法的重心主要是网络的代码。</pgydF4y2Ba> </list-item> <list-item> <label>(3)</l一个bel> <p>广泛的实验两个图像数据集和一个文本数据集进行的结果证明,该方法大大优于最先进的聚类方法。</pgydF4y2Ba> </list-item> <p></p> <p>本文的其余部分组织如下:我们在部分简要回顾相关工作<xgydF4y2Baref ref-type="sec" rid="sec2"> 2</xgydF4y2Baref>。部分<xgydF4y2Baref ref-type="sec" rid="sec3"> 3</xgydF4y2Baref>介绍了该方法的细节。部分<xgydF4y2Baref ref-type="sec" rid="sec4"> 4</xgydF4y2Baref>介绍了back-propagation-based算法基于自适应标签pretraining和调整策略。部分<xgydF4y2Baref ref-type="sec" rid="sec5"> 5</xgydF4y2Baref>本文介绍了实验的细节。最后,给出了结论。</pgydF4y2Ba> </sec> <sec id="sec2"> <title>2。相关工作</t我tle> <sec id="sec2.1"> <title>2.1。无监督聚类</t我tle> <p>集群已经吸引了大量的关注和大大发展了很长一段时间。提出了许多优秀的聚类算法(<xgydF4y2Baref ref-type="bibr" rid="B15"> 15</xgydF4y2Baref>,<xgydF4y2Baref ref-type="bibr" rid="B16"> 16</xgydF4y2Baref>]。例如,k - means是经典的无监督聚类算法旨在最小化数据点之间的距离的总和和重心<xgydF4y2Baref ref-type="bibr" rid="B2"> 2</xgydF4y2Baref>]。模糊期望最大化结合集群,集群数量检测和特征选择变为一个估计问题进行聚类的过程。<xgydF4y2Baref ref-type="bibr" rid="B17"> 17</xgydF4y2Baref>]。特征聚类散列(FCH)是一种基于特征聚类,散列方法可以生成与平衡的低维数据方差的前提下保持相似的欧几里得空间(<xgydF4y2Baref ref-type="bibr" rid="B18"> 18</xgydF4y2Baref>]。上述方法可以看作是基于特征的聚类算法。距离度量学习方面的信息可以在给定的相似性距离度量,对。距离度量学习Mahalanobis设计一个新的距离度量函数,可以学习Mahalanobis距离度量通过强行调整的距离给定实例并将它应用到新数据(<xgydF4y2Baref ref-type="bibr" rid="B19"> 19</xgydF4y2Baref>]。贝叶斯判别模糊聚类(BDFC)设计一个无监督距离度量学习概率统计方法可在投影空间最大化不同集群之间的分离性(<xgydF4y2Baref ref-type="bibr" rid="B20"> 20.</xgydF4y2Baref>]。上述方法可以被视为基于距离度量的聚类算法的学习。受限拉普拉斯算子的排名(CLR)学习图<我t一个l我c> k</我t一个l我c>连接组件(<我t一个l我c> k</我t一个l我c>是集群)的数量,调整数据图聚类过程的一部分(<xgydF4y2Baref ref-type="bibr" rid="B21"> 21</xgydF4y2Baref>]。结构双重随机(SDS)学习结构化双随机矩阵的低秩约束图的拉普拉斯矩阵的应用(<xgydF4y2Baref ref-type="bibr" rid="B22"> 22</xgydF4y2Baref>]。多视图谱聚类是一种新型的多视图马尔可夫链聚类方法可以利用互补信息嵌入在不同视图(<xgydF4y2Baref ref-type="bibr" rid="B23"> 23</xgydF4y2Baref>]。上述方法可以看作是基于图的聚类算法。与深度学习的兴起,深层神经网络聚类的引入已经得到太多的关注。深集群网络(宽带)发现K-means-friendly集群空间通过同步深度学习和聚类的过程<xgydF4y2Baref ref-type="bibr" rid="B24"> 24</xgydF4y2Baref>]。深嵌入集群(DEC)使用一个自动编码器完成特征空间的变换(<xgydF4y2Baref ref-type="bibr" rid="B7"> 7</xgydF4y2Baref>]。巧妙,它可以同时执行特征提取和集群作业任务。该算法取得了较好的结果,成为一个参考新深聚类算法的性能。改进的深度嵌入集群(IDEC)通过保存数据的局部结构改进聚类性能(<xgydF4y2Baref ref-type="bibr" rid="B25"> 25</xgydF4y2Baref>]。生物的共同进化行为非负相关和不相关的功能(CoUFC)[用<xgydF4y2Baref ref-type="bibr" rid="B26"> 26</xgydF4y2Baref>]承认视图相关特性的影响和消除无关信息获取有用的采访特性相关。</pgydF4y2Ba> <p>在许多实际数据存在一些之前的信息,但上面的无监督方法不考虑信息。为了充分利用标签信息,提出了一种新的semisupervised联合学习框架,将标签信息集成到深集群共同学习数据表示和聚类任务。</pgydF4y2Ba> </sec> <sec id="sec2.2"> <title>2.2。Semisupervised集群</t我tle> <p>Semisupervised聚类是数据挖掘领域的重要研究方向。它可以指导聚类过程,提高聚类的质量,利用成对约束等先验知识或少量的标签数据。最近,semisupervised聚类方法取得了丰硕的成果。例如,semisupervised内核意味着转移集群(日)数据点映射到一个高维内核空间的限制是由线性变换映射的点(<xgydF4y2Baref ref-type="bibr" rid="B27"> 27</xgydF4y2Baref>]。Semisupervised线性判别聚类(SLDC)结合k - means和线性判别分析(LDA)考虑聚类和降维并找到适当的特征空间用软LDA与未标记的例子(<xgydF4y2Baref ref-type="bibr" rid="B28"> 28</xgydF4y2Baref>]。Semisupervised非负矩阵分解(CPSNMF)传播有限的约束信息对整个数据集获得更多监管信息和利用监督信息维护数据的几何空间(<xgydF4y2Baref ref-type="bibr" rid="B29"> 29日</xgydF4y2Baref>]。Semisupervised图论聚类(SSGC)使用一个图再邻居和当地的密度测量顶点之间的相似性将种子集成到构建集群的过程中,提高集群的质量(<xgydF4y2Baref ref-type="bibr" rid="B30"> 30.</xgydF4y2Baref>]。上述方法可以被视为一个扩展传统的聚类算法通过使用标签或成对约束信息。相关成分分析(RCA)是一种有效的学习算法Mahalanobis指标通过使用一个版本的限制Fisher线性判别[<xgydF4y2Baref ref-type="bibr" rid="B31"> 31日</xgydF4y2Baref>]。歧视的成分分析(DCA)学习最好的线性数据转换Mahalanobis距离测量和上下文信息(<xgydF4y2Baref ref-type="bibr" rid="B32"> 32</xgydF4y2Baref>]。信息理论度量学习(ITML)使用一套多元高斯分布和Mahalanobis距离之间的关系,学习新的Mahalanobis距离函数(<xgydF4y2Baref ref-type="bibr" rid="B33"> 33</xgydF4y2Baref>]。师距离函数(BKM)提出了一种新的学习方法对学习非线性距离函数与边缘信息,是使用非参数方法类似于支持向量机学习师距离函数(<xgydF4y2Baref ref-type="bibr" rid="B34"> 34</xgydF4y2Baref>]。上面的方法可以被视为探索一个新的距离度量函数通过使用约束信息。仍然有一些研究工作探索一个集成框架用于semisupervised集群。例如,双亲和力propagation-based集群合奏(美联社<年代up>2</年代up>C)集成亲和力传播(美联社)算法和归一化算法(Ncut)切成集群集成框架(<xgydF4y2Baref ref-type="bibr" rid="B35"> 35</xgydF4y2Baref>]。它可以捕捉属性之间的关系,找到一组代表属性,消除噪声属性。Semisupervised与顺序约束聚类(“)提出了一种高效的动态Semisupervised集群框架(<xgydF4y2Baref ref-type="bibr" rid="B36"> 36</xgydF4y2Baref>]。它将动态聚类过程转换为一个搜索问题可行的聚类空间,由分区定义为一个凸壳生成多个集。混合semisupervised集群合奏(HSCE)提出了一种semisupervised集群整体框架,使用成对约束或标记数据来生成不同的基本分区通过使用基于semisupervised聚类算法和基于指标semisupervised聚类算法,分别,然后将这些基本分区集成到集成功能获得目标聚类(<xgydF4y2Baref ref-type="bibr" rid="B37"> 37</xgydF4y2Baref>]。</pgydF4y2Ba> <p>传统semisupervised聚类算法大多是在原始空间和执行在面对高维数据表现不佳。因此,有必要利用深层神经网络增强其表现力。MDL-RS设计一个通用的多通道深度学习框架,它可以嵌入多个融合模块和打破单一模式下的性能瓶颈<xgydF4y2Baref ref-type="bibr" rid="B38"> 38</xgydF4y2Baref>]。深转换semisupervised最大边缘集群使用标记和未标记的数据在给定的约束条件下学习最大利润率的框架下的非线性映射聚类分析(<xgydF4y2Baref ref-type="bibr" rid="B39"> 39</xgydF4y2Baref>]。这项工作证明的深表示原始并对聚类结果的改善作出贡献。Semisupervised深嵌入集群(SDEC)包含了成对约束特性的过程中学习,迫使数据样本在同一集群相互接近,和数据的样本不同的集群相距较远的芽尖,相互<xgydF4y2Baref ref-type="bibr" rid="B40"> 40</xgydF4y2Baref>]。</pgydF4y2Ba> <p>然而,由于标签的转变问题,这些semisupervised方法不能直接使用标签信息来指导集群的学习中心。因此,本文设计一个标签自适应策略基于投票机制的正确标签的转移在聚类过程中,直接使用标签丢失指导聚类过程,提高聚类的性能。</pgydF4y2Ba> </sec> </sec> <sec id="sec3"> <title>3所示。Semisupervised深与自适应聚类标签</t我tle> <p>在本节中,semisupervised深嵌入聚类算法与自适应标签(Semi-DEC)介绍了充分利用先验知识的少量的标签。Semi-DEC由深网络和semisupervised嵌入网络代码,如图<xgydF4y2Baref ref-type="fig" rid="fig1"> 1</xgydF4y2Baref>。前者使用encoder-decoder范式,将高维数据转移到低维特征。它可以解决数据的维度的诅咒。后者矿山知识模式通过将数据分成几个组。它可以更好地考虑先验知识通过求解标签聚类的转变。这两个网络的详细介绍如下。</pgydF4y2Ba> <fig id="fig1"> <label>图1</l一个bel> <p>semisupervised深嵌入的结构聚类算法与自适应标签。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.001"></graphic> </fig> <sec id="sec3.1"> <title>3.1。深层网络代码</t我tle> <p>深代码网络旨在学习的潜在特征数据在低维空间的基础上encoder-decoder网络(<xgydF4y2Baref ref-type="bibr" rid="B41"> 41</xgydF4y2Baref>]。即,它计算样本数据的隐藏的表征,采样数据样本那些隐藏的表征,和最小化之间的损失原始数据和重建数据。具体地说,给定一个数据集<我t一个l我c> n</我t一个l我c>点<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M1"> <mml:mi> X</米米l:米我> <mml:mo> =</米米l:米o> <mml:msubsup> <mml:mrow> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> x</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ∈</米米l:米o> <mml:msup> <mml:mrow> <mml:mi> R</米米l:米我> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:msubsup> </mml:math> </inline-formula>,在那里<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M2"> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> </mml:math> </inline-formula>数据的维度,深度代码隐藏网络学习中的数据表示形式如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M3"> <mml:mtable> <mml:mlabeledtr id="EEq1"> <mml:mtd> <mml:mtext> (1)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mrow> <mml:mover accent="true"> <mml:mi> x</米米l:米我> <mml:mo> ¯</米米l:米o> </mml:mover> </mml:mrow> <mml:mo> =</米米l:米o> <mml:mtext> 辍学</米米l:米text> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> x</米米l:米我> </mml:mrow> </mml:mfenced> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> <mml:mlabeledtr id="EEq2"> <mml:mtd> <mml:mtext> (2)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mi> h</米米l:米我> <mml:mo> =</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> g</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> e</米米l:米我> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> W</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> e</米米l:米我> </mml:mrow> </mml:msub> <mml:mrow> <mml:mover accent="true"> <mml:mi> x</米米l:米我> <mml:mo> ¯</米米l:米o> </mml:mover> </mml:mrow> <mml:mo> +</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> b</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> e</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M4"> <mml:mtext> 辍学</米米l:米text> <mml:mfenced open="(" close=")" separators="|"></mml:mfenced> </mml:math> </inline-formula>是集的随机映射函数的一些元素每个输入基于给定的概率是0。<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M5"> <mml:mover accent="true"> <mml:mi> x</米米l:米我> <mml:mo> ¯</米米l:米o> </mml:mover> </mml:math> </inline-formula>是输入的随机映射的结果吗<我t一个l我c> x</我t一个l我c>。<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M6"> <mml:msub> <mml:mrow> <mml:mi> W</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> e</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>和<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M7"> <mml:msub> <mml:mrow> <mml:mi> b</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> e</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>是重量和偏见向量,分别代表了编码器的参数网络。<我t一个l我c> h</我t一个l我c>是隐藏的表示<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M8"> <mml:msub> <mml:mrow> <mml:mi> g</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> e</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>代表了编码器的功能。</pgydF4y2Ba> <p>在获得隐藏表示的数据样本,深层网络解码隐藏表示的代码重构函数如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M9"> <mml:mtable> <mml:mlabeledtr id="EEq3"> <mml:mtd> <mml:mtext> (3)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mrow> <mml:mover accent="true"> <mml:mi> h</米米l:米我> <mml:mo> ¯</米米l:米o> </mml:mover> </mml:mrow> <mml:mo> =</米米l:米o> <mml:mtext> 辍学</米米l:米text> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> h</米米l:米我> </mml:mrow> </mml:mfenced> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> <mml:mlabeledtr id="EEq4"> <mml:mtd> <mml:mtext> (4)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mi> t</米米l:米我> <mml:mo> =</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> g</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> </mml:msub> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> W</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> </mml:msub> <mml:mrow> <mml:mover accent="true"> <mml:mi> h</米米l:米我> <mml:mo> ¯</米米l:米o> </mml:mover> </mml:mrow> <mml:mo> +</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> b</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M10"> <mml:mover accent="true"> <mml:mi> h</米米l:米我> <mml:mo> ¯</米米l:米o> </mml:mover> </mml:math> </inline-formula>是隐藏的随机映射的结果表示<我t一个l我c> h</我t一个l我c>。<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M11"> <mml:msub> <mml:mrow> <mml:mi> W</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>和<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M12"> <mml:msub> <mml:mrow> <mml:mi> b</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>的重量和偏见向量是译码器的功能。<我t一个l我c> t</我t一个l我c>是重建数据,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M13"> <mml:msub> <mml:mrow> <mml:mi> g</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>代表了译码器的功能。</pgydF4y2Ba> <p>最后,网络使用的深度代码之间的均方误差函数来衡量损失原始数据和重建数据如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M14"> <mml:mtable> <mml:mlabeledtr id="EEq5"> <mml:mtd> <mml:mtext> (5)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mtext> 损失</米米l:米text> <mml:mo> =</米米l:米o> <mml:msubsup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:mi> x</米米l:米我> <mml:mo> −</米米l:米o> <mml:mi> t</米米l:米我> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mn> 2</米米l:米n> <mml:mn> 2</米米l:米n> </mml:msubsup> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M15"> <mml:msubsup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"></mml:mfenced> </mml:mrow> <mml:mn> 2</米米l:米n> <mml:mn> 2</米米l:米n> </mml:msubsup> </mml:math> </inline-formula>代表了均方误差函数。在Semi-DEC,失去深代码网络用于pretrain参数。</pgydF4y2Ba> </sec> <sec id="sec3.2"> <title>3.2。Semisupervised嵌入网络</t我tle> <p>semisupervised嵌入网络的目标是将数据分成几组,同一组样本之间的距离更近的不同群体。semisupervised嵌入网络的无监督部分矿山内在模式和监督使用少量的先验知识的一部分。</pgydF4y2Ba> <sec id="sec3.2.1"> <title>3.2.1之上。无监督的部分</t我tle> <p>无监督的部分semisupervised嵌入网络的KL差异如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M16"> <mml:mtable> <mml:mlabeledtr id="EEq6"> <mml:mtd> <mml:mtext> (6)</米米l:米text> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mtext> 吉隆坡</米米l:米text> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> P</米米l:米我> <mml:mfenced open="‖" close="" separators="|"> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> <mml:mo> =</米米l:米o> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:munderover> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> k</米米l:米我> </mml:munderover> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> <mml:mi mathvariant="normal"> 日志</米米l:米我> <mml:mfrac> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfrac> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mstyle> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我t一个l我c> 问</我t一个l我c>的集群作业semisupervised嵌入网络和<我t一个l我c> P</我t一个l我c>是目标分布。考虑到隐藏的表征<我t一个l我c> n</我t一个l我c>数据样本<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M17"> <mml:mi> Z</米米l:米我> <mml:mo> =</米米l:米o> <mml:msubsup> <mml:mrow> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ∈</米米l:米o> <mml:msup> <mml:mrow> <mml:mi> R</米米l:米我> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:msubsup> </mml:math> </inline-formula>(<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M18"> <mml:msub> <mml:mrow> <mml:mi> d</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> </mml:math> </inline-formula>在嵌入数据的维度空间)和<我t一个l我c> k</我t一个l我c>集群重心<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M19"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mi> |</米米l:米我> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:mi> k</米米l:米我> </mml:math> </inline-formula>的集群作业semisupervised嵌入网络表示为<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M20"> <mml:mtable> <mml:mlabeledtr id="EEq7"> <mml:mtd> <mml:mtext> (7)</米米l:米text> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mfrac> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> +</米米l:米o> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mo> −</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msup> </mml:mrow> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:msubsup> <mml:mo stretchy="false"> ∑</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> ′</米米l:米o> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> k</米米l:米我> </mml:msubsup> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> +</米米l:米o> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> ′</米米l:米o> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mo> −</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msup> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mfrac> <mml:mo> 。</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>定义目标分布如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M21"> <mml:mtable> <mml:mlabeledtr id="EEq8"> <mml:mtd> <mml:mtext> (8)</米米l:米text> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mfrac> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msubsup> <mml:mi> 问</米米l:米我> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mn> 2</米米l:米n> </mml:msubsup> <mml:mo> /</米米l:米o> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:msubsup> <mml:mo stretchy="false"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:msubsup> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:msubsup> <mml:mo stretchy="false"> ∑</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> ′</米米l:米o> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> k</米米l:米我> </mml:msubsup> <mml:mrow> <mml:msubsup> <mml:mi> 问</米米l:米我> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> <mml:mo> ′</米米l:米o> </mml:mrow> <mml:mn> 2</米米l:米n> </mml:msubsup> </mml:mrow> </mml:mstyle> <mml:mo> /</米米l:米o> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:msubsup> <mml:mo stretchy="false"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:msubsup> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> <mml:mo> ′</米米l:米o> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfrac> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我t一个l我c> 问</我t一个l我c>是衡量学生分布和<我t一个l我c> P</我t一个l我c>的广场<我t一个l我c> 问</我t一个l我c>每个样本,这加强了会员。</pgydF4y2Ba> </sec> <sec id="sec3.2.2"> <title>3.2.2。监督的部分</t我tle> <p>监督部分介绍地址标签的变化无监督部分基于先验知识的小群体。它是衡量soft-max损失函数如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M22"> <mml:mtable> <mml:mlabeledtr id="EEq9"> <mml:mtd> <mml:mtext> (9)</米米l:米text> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mo> −</米米l:米o> <mml:mi> λ</米米l:米我> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:munderover> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 一个</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:msubsup> <mml:mi> y</米米l:米我> <mml:mi> 我</米米l:米我> <mml:mo> ′</米米l:米o> </mml:msubsup> <mml:mi mathvariant="normal"> 日志</米米l:米我> <mml:mtext> </mml:mtext> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> <mml:mo> =</米米l:米o> <mml:mo> −</米米l:米o> <mml:mi> λ</米米l:米我> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:munderover> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> k</米米l:米我> </mml:munderover> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 一个</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:msubsup> <mml:mi> y</米米l:米我> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo> ′</米米l:米o> </mml:msubsup> <mml:mi mathvariant="normal"> 日志</米米l:米我> <mml:mtext> </mml:mtext> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mstyle> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M23"> <mml:msubsup> <mml:mi> y</米米l:米我> <mml:mi> 我</米米l:米我> <mml:mo> ′</米米l:米o> </mml:msubsup> </mml:math> </inline-formula>代表临时校正标签通过标签自适应策略,<我t一个l我c> λ</我t一个l我c>是一个权衡参数平衡的影响标签的损失,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M24"> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>代表标签通过集群作业,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M25"> <mml:msub> <mml:mrow> <mml:mi> 一个</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>的迹象表明是否有标签的样本表示通过吗<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M26"> <mml:mtable> <mml:mlabeledtr id="EEq10"> <mml:mtd> <mml:mtext> (10)</米米l:米text> </mml:mtd> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> 一个</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mrow> <mml:mfenced open="{" close="" separators="|"> <mml:mrow> <mml:mtable class="cases"> <mml:mtr> <mml:mtd> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> ,</米米l:米o> </mml:mrow> </mml:mtd> <mml:mtd> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> y</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mtext> 存在,</米米l:米text> </mml:mrow> </mml:mtd> </mml:mtr> <mml:mtr> <mml:mtd> <mml:mrow> <mml:mn> 0</米米l:米n> <mml:mo> ,</米米l:米o> </mml:mrow> </mml:mtd> <mml:mtd> <mml:mrow> <mml:mtext> 别的,</米米l:米text> </mml:mrow> </mml:mtd> </mml:mtr> </mml:mtable> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M27"> <mml:msub> <mml:mrow> <mml:mi> y</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>代表真正的标签样本。</pgydF4y2Ba> <p>最后,计算semisupervised嵌入网络的表达如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M28"> <mml:mtable> <mml:mlabeledtr id="EEq11"> <mml:mtd> <mml:mtext> (11)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mi> l</米米l:米我> <mml:mo> =</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> +</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:munderover> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> k</米米l:米我> </mml:munderover> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> <mml:mi mathvariant="normal"> 日志</米米l:米我> <mml:mfrac> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfrac> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mstyle> <mml:mo> −</米米l:米o> <mml:mi> λ</米米l:米我> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:munderover> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> k</米米l:米我> </mml:munderover> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 一个</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:msubsup> <mml:mi> y</米米l:米我> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo> ′</米米l:米o> </mml:msubsup> <mml:mi mathvariant="normal"> 日志</米米l:米我> <mml:mtext> </mml:mtext> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> </mml:mrow> </mml:mstyle> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>可有效融合的知识一小部分标签无监督学习。</pgydF4y2Ba> </sec> </sec> <sec id="sec3.3"> <title>3.3。优化</t我tle> <p>我们使用随机梯度下降法(SGD)和bp优化损失函数方程<xgydF4y2Baref ref-type="disp-formula" rid="EEq11"> 11</xgydF4y2Baref>)。值得注意的是,优化的参数有两个部分:特征空间嵌入的每个数据点<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M29"> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>和集群中心<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M30"> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>。的梯度<我t一个l我c> l</我t一个l我c>对嵌入点<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M31"> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>可以计算为<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M32"> <mml:mtable> <mml:mlabeledtr id="EEq12"> <mml:mtd> <mml:mtext> (12)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mfrac> <mml:mrow> <mml:mo> ∂</米米l:米o> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mo> ∂</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfrac> <mml:mo> =</米米l:米o> <mml:mn> 2</米米l:米n> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mrow> <mml:mi> k</米米l:米我> </mml:mrow> </mml:munderover> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> +</米米l:米o> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mo> −</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msup> <mml:mo> ×</米米l:米o> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> <mml:mo> −</米米l:米o> <mml:mn> 2</米米l:米n> <mml:mi> λ</米米l:米我> <mml:msub> <mml:mrow> <mml:mi> 一个</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mrow> <mml:mi> k</米米l:米我> </mml:mrow> </mml:munderover> <mml:mrow> <mml:msubsup> <mml:mi> y</米米l:米我> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo> ′</米米l:米o> </mml:msubsup> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> +</米米l:米o> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mo> −</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msup> <mml:mo> ×</米米l:米o> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> −</米米l:米o> <mml:mfrac> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfrac> </mml:mrow> </mml:mfenced> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> <mml:mo> 。</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>的梯度<我t一个l我c> l</我t一个l我c>对集群中心<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M33"> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>可以计算为<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M34"> <mml:mtable> <mml:mlabeledtr id="EEq13"> <mml:mtd> <mml:mtext> (13)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mfrac> <mml:mrow> <mml:mo> ∂</米米l:米o> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mo> ∂</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfrac> <mml:mo> =</米米l:米o> <mml:mo> −</米米l:米o> <mml:mn> 2</米米l:米n> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:munderover> <mml:mrow> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> +</米米l:米o> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mo> −</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msup> <mml:mo> ×</米米l:米o> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> <mml:mo> +</米米l:米o> <mml:mn> 2</米米l:米n> <mml:mi> λ</米米l:米我> <mml:msub> <mml:mrow> <mml:mi> 一个</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:munderover> <mml:mrow> <mml:msubsup> <mml:mi> y</米米l:米我> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> <mml:mo> ′</米米l:米o> </mml:msubsup> <mml:msup> <mml:mrow> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> +</米米l:米o> <mml:msup> <mml:mrow> <mml:mfenced open="‖" close="‖" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msup> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mo> −</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msup> <mml:mo> ×</米米l:米o> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mo> −</米米l:米o> <mml:mfrac> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> p</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfrac> </mml:mrow> </mml:mfenced> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> −</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> <mml:mo> 。</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula></p> <p>反向传播的过程中,参数<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M35"> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> W</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> e</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> b</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> e</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>在深代码更新网络通过梯度<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M36"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mo> ∂</米米l:米o> <mml:mi> l</米米l:米我> <mml:mo> /</米米l:米o> <mml:mrow> <mml:mo> ∂</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>。集群中心<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M37"> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>更新的梯度<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M38"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mo> ∂</米米l:米o> <mml:mi> l</米米l:米我> <mml:mo> /</米米l:米o> <mml:mrow> <mml:mo> ∂</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>。聚类过程将终止时连续两次迭代之间的集群作业小于<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M39"> <mml:mtext> 托尔</米米l:米text> <mml:mo> </mml:mo> <mml:mo> %</米米l:米o> </mml:math> </inline-formula>或达到最大训练次数。</pgydF4y2Ba> </sec> </sec> <sec id="sec4"> <title>4所示。Semi-DEC的反向传播算法</t我tle> <p>在本节中,介绍了反向传播算法训练Semi-DEC参数。它是由两个步骤,即。,theun年代upervised pretraining step and the semisupervised fine-tuning step. The details of the back-propagation algorithm of Semi-DEC are introduced as follows.</p> <sec id="sec4.1"> <title>4.1。无监督Pretraining步骤</t我tle> <p>无监督pretraining一步使用encoder-decoder范例学习广义特征数据,采用k - means聚类研究重心隐藏在数据。</pgydF4y2Ba> <p>具体地说,给定一个数据集<我t一个l我c> n</我t一个l我c>点<我t一个l我c> X</我t一个l我c>和网络的深度编码器<我t一个l我c> 米</我t一个l我c>无监督pretraining一步模型层,每一层的深度编码器网络作为autoencoder基于方程(<xgydF4y2Baref ref-type="disp-formula" rid="EEq1"> 1</xgydF4y2Baref>)(<xgydF4y2Baref ref-type="disp-formula" rid="EEq4"> 4</xgydF4y2Baref>)获得的pretraining参数深度网络代码。例如,每个原始样本<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M40"> <mml:msub> <mml:mrow> <mml:mi> x</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>的数据集输入到autoencoder第一隐层,获得隐藏的表示<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M41"> <mml:msub> <mml:mrow> <mml:mi> h</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>这是输入的autoencoder第二个隐藏层。每个隐层初始化后以同样的方式,整个网络训练在一个端到端的方式通过最小化重建的损失。</pgydF4y2Ba> <p>然后,原始数据<我t一个l我c> X</我t一个l我c>映射到潜在的特征空间的深度网络代码,得到隐藏的表征<我t一个l我c> Z</我t一个l我c>。隐藏的k - means聚类进行初始质心表示。</pgydF4y2Ba> </sec> <sec id="sec4.2"> <title>4.2。Semisupervised微调步骤</t我tle> <p>在获得pretrained深代码网络和初始质心,Semi-DEC semisupervised的方式训练基于损失函数方程(<xgydF4y2Baref ref-type="disp-formula" rid="EEq11"> 11</xgydF4y2Baref>)来解决标签在无监督学习的转变。具体来说,由于原始数据<我t一个l我c> X</我t一个l我c>,Semi-DEC构造样本的标签符号列表中定义方程(<xgydF4y2Baref ref-type="disp-formula" rid="EEq10"> 10</xgydF4y2Baref>)。然后,假设标签样本的数量<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M42"> <mml:mi> v</米米l:米我> </mml:math> </inline-formula>,它收集统计数据的分布在每一个时代都有标签如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M43"> <mml:mtable> <mml:mlabeledtr id="EEq14"> <mml:mtd> <mml:mtext> (14)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mrow> <mml:mfenced open="{" close="" separators="|"> <mml:mrow> <mml:mtable class="cases"> <mml:mtr> <mml:mtd> <mml:mi> R</米米l:米我> <mml:mo> =</米米l:米o> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> v</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mtr> <mml:mtr> <mml:mtd> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mi mathvariant="normal"> 参数</米米l:米我> <mml:munder> <mml:mrow> <mml:mi mathvariant="normal"> 马克斯</米米l:米我> </mml:mrow> <mml:mi> j</米米l:米我> </mml:munder> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:mi class="cond"> </mml:mi> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1、2</米米l:米n> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:mi> k</米米l:米我> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mtr> </mml:mtable> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M44"> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M45"> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> </mml:math> </inline-formula>、…<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M46"> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> v</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>代表的分配标签标记数据和它们的值范围从1到<我t一个l我c> k</我t一个l我c>。最后,时间标签<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M47"> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> </mml:math> </inline-formula>,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M48"> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> </mml:math> </inline-formula>、…<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M49"> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> v</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>纠正到标签的数量是最大的。</pgydF4y2Ba> <p>图<xgydF4y2Baref ref-type="fig" rid="fig2"> 2</xgydF4y2Baref>是一个标签的适应性策略。与类别标签数据的子集<我t一个l我c> o</我t一个l我c>集群的任务后,我们假设,大部分的样品被分配到类别<我t一个l我c> j</我t一个l我c>和一些样品被分配到其他类别等<我t一个l我c> 年代</我t一个l我c>和<我t一个l我c> u</我t一个l我c>。在这里,<我t一个l我c> o</我t一个l我c>,<我t一个l我c> j</我t一个l我c>,<我t一个l我c> 年代</我t一个l我c>,<我t一个l我c> u</我t一个l我c>分别代表不同的类别。通过投票机制,我们认为范畴<我t一个l我c> j</我t一个l我c>最大的数量的样品是正确的结果这个子集的集群作业。然后,我们可以纠正集群不正确的样品在这一轮计算,也就是说,让他们走得更近的范畴<我t一个l我c> j</我t一个l我c>。介绍了自适应标签算法如下:<l我年代t> <list-item> <label></label> </list-item> </list></p> <p>步骤1:Semi-DEC收集每个集群的标签分布<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M50"> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> c</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mi> |</米米l:米我> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:mi> k</米米l:米我> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>基于semisupervised嵌入网络的输出<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M51"> <mml:mi> R</米米l:米我> <mml:mo> =</米米l:米o> <mml:mfenced open="[" close="]" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 1</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mn> 2</米米l:米n> </mml:mrow> </mml:msub> <mml:mo> ,</米米l:米o> <mml:mo> …</米米l:米o> <mml:mo> ,</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> v</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>在每一个时代。同时,最大数量的标签是动态视为正确的标签。</pgydF4y2Ba> <list-item> <label></label> <p>步骤2:Semi-DEC纠正这些错误的标签根据标签的统计分布。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>步骤3:Semi-DEC计算损失的那些错误的样品标签根据方程(<xgydF4y2Baref ref-type="disp-formula" rid="EEq9"> 9</xgydF4y2Baref>纠正网络的参数。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>步骤4:Semi-DEC回馈都深的参数代码semisupervised集群网络和找到最终的分配策略。</pgydF4y2Ba> </list-item> <p></p> <fig id="fig2"> <label>图2</l一个bel> <p>标签的一个例子自适应策略。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.002"></graphic> </fig> <p>标签的帮助下提出了自适应策略,被错误的标签数据划分聚类过程中纠正通过投票机制,可有效解决标签转移问题强有力的监督方式,迫使具有相同标签的数据在同一集群。换句话说,这个标签自适应策略保留了学习数据结构在集群任务和提供集群范围内的功能。误差反向传播算法的总体步骤Semi-DEC算法所示<xgydF4y2Baref ref-type="other" rid="alg1"> 1</xgydF4y2Baref>。</pgydF4y2Ba> <p id="alg1"> <list list-content="algorithm"> <title><大胆>算法1:< /大胆>深semiclustering适应标签。</t我tle> <list-item> <label></label> </list-item> </list></p> <p> <bold> 输入</boldgydF4y2Ba>:训练数据集<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M52"> <mml:msubsup> <mml:mrow> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> x</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> ∈</米米l:米o> <mml:mi> X</米米l:米我> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:msubsup> </mml:math> </inline-formula>集群的数量<我t一个l我c> k</我t一个l我c>、迭代最大麦克斯特培训阈值。</pgydF4y2Ba> <list-item> <label></label> <p> <bold> 输出</boldgydF4y2Ba>:集群作业<我t一个l我c> 问</我t一个l我c>,集群重心<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M53"> <mml:msubsup> <mml:mrow> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> k</米米l:米我> </mml:msubsup> </mml:math> </inline-formula>和非线性映射<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M54"> <mml:msub> <mml:mrow> <mml:mi> f</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> θ</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p> <bold> 开始</boldgydF4y2Ba></p> </list-item> <list-item> <label></label> <p> <bold> Pretraining计算</boldgydF4y2Ba>:</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>构造深度网络代码。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>初始化网络参数基于正态分布。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>培训每一层的代码网络基于去噪autoencoder策略。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>连接每个pretrained层和一个端到端的方式调整网络参数。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>网络使用pretrained深代码获取原始数据映射到潜在的空间特性<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M55"> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>使用k - means质心进行初始化<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M56"> <mml:msubsup> <mml:mrow> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> μ</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:mi> j</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> k</米米l:米我> </mml:msubsup> </mml:math> </inline-formula>基于特征<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M57"> <mml:msub> <mml:mrow> <mml:mi> z</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p> <bold> 集群计算自适应标签</boldgydF4y2Ba>:</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>使用方程(<xgydF4y2Baref ref-type="disp-formula" rid="EEq7"> 7</xgydF4y2Baref>)和(<xgydF4y2Baref ref-type="disp-formula" rid="EEq8"> 8</xgydF4y2Baref>)计算集群任务<我t一个l我c> 问</我t一个l我c>和目标任务<我t一个l我c> P。</我t一个l我c></p> </list-item> <list-item> <label></label> <p>来计算<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M58"> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mstyle displaystyle="true"> <mml:msubsup> <mml:mo stretchy="false"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:msubsup> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:msub> <mml:mrow> <mml:mtext> 老</米米l:米text> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:msub> </mml:mrow> </mml:mstyle> <mml:mo> ≠</米米l:米o> <mml:msub> <mml:mrow> <mml:mi> 问</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> <mml:mo> <</米米l:米o> <mml:mtext> 托尔</米米l:米text> <mml:mo> </mml:mo> <mml:mo> %</米米l:米o> </mml:math> </inline-formula>。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>使用方程(<xgydF4y2Baref ref-type="disp-formula" rid="EEq10"> 10</xgydF4y2Baref>)构建的标签列表。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>基于自适应动态改变标签标签算法。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>根据方程(计算损失<xgydF4y2Baref ref-type="disp-formula" rid="EEq11"> 11</xgydF4y2Baref>)。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p>更新网络参数和重心。</pgydF4y2Ba> </list-item> <list-item> <label></label> <p> <bold> 结束</boldgydF4y2Ba></p> </list-item> <p></p> </sec> </sec> <sec id="sec5"> <title>5。实验</t我tle> <p>在本节中,在几个代表进行了广泛的实验数据集评估Semi-DEC的性能。介绍了在我们的实验中使用的数据集。然后,提出了几种先进的聚类算法和评价指标。最后,实现和实验结果详细说明。数据集的详细信息如表所示<xgydF4y2Baref ref-type="table" rid="tab1"> 1</xgydF4y2Baref>。</pgydF4y2Ba> <table-wrap id="tab1"> <label>表1</l一个bel> <p>数据集的统计数据。</pgydF4y2Ba> <table> <thead> <tr> <th align="left">数据集</thgydF4y2Ba> <th align="center">样品</thgydF4y2Ba> <th align="center">维</thgydF4y2Ba> <th align="center">类</thgydF4y2Ba> </tr> </thead> <tbody> <tr> <td align="left">MNIST</tdgydF4y2Ba> <td align="center">70000年</tdgydF4y2Ba> <td align="center">784年</tdgydF4y2Ba> <td align="center">10</tdgydF4y2Ba> </tr> <tr> <td align="left">美国邮政总局</tdgydF4y2Ba> <td align="center">9298年</tdgydF4y2Ba> <td align="center">256年</tdgydF4y2Ba> <td align="center">10</tdgydF4y2Ba> </tr> <tr> <td align="left">REUTERS-10K</tdgydF4y2Ba> <td align="center">10000年</tdgydF4y2Ba> <td align="center">2000年</tdgydF4y2Ba> <td align="center">4</tdgydF4y2Ba> </tr> </tbody> </table> </table-wrap> <sec id="sec5.1"> <title>5.1。数据集</t我tle> <sec id="sec5.1.1"> <title>5.1.1。MNIST</t我tle> <p>MNIST数据集是由70000份手写数字的<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M59"> <mml:mn> 28</米米l:米n> <mml:mi> ∗</米米l:米我> <mml:mn> 28</米米l:米n> </mml:math> </inline-formula>像素大小。在实验中,每个形象重塑784 -维向量。</pgydF4y2Ba> </sec> <sec id="sec5.1.2"> <title>5.1.2中。美国邮政总局</t我tle> <p>美国邮政总局数据集是由9298手写数字<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M60"> <mml:mn> 16</米米l:米n> <mml:mi> ∗</米米l:米我> <mml:mn> 16</米米l:米n> </mml:math> </inline-formula>像素大小。图像分为10类,训练集规模的7291和2007测试集的大小。</pgydF4y2Ba> </sec> <sec id="sec5.1.3"> <title>5.1.3。REUTERS-10K</t我tle> <p>在最初的路透数据集,大约有810000个英语新闻类别标记。四根类别如下:公司/工业、政府/社会、市场和经济使用的标签,和所有文件与多个标签进一步排除在外。我们计算TF-IDF特性最频繁的2000字来代表所有文档。10000个样本是随机取样的一个子集,称为REUTERS-10K。</pgydF4y2Ba> </sec> </sec> <sec id="sec5.2"> <title>5.2。比较的方法</t我tle> <p>来验证该方法的有效性,一些先进的算法作为比较的方法。下面是这些算法的概要。</pgydF4y2Ba> <sec id="sec5.2.1"> <title>5.2.1。k - means</t我tle> <p>k - means是传统的无监督聚类算法(<xgydF4y2Baref ref-type="bibr" rid="B2"> 2</xgydF4y2Baref>]。它引导数据集分成<我t一个l我c> K</我t一个l我c>类基于最小化的原则的总和从数据点到质心的距离。</pgydF4y2Ba> </sec> <sec id="sec5.2.2"> <title>5.2.2。12月</t我tle> <p>深嵌入集群(12月)是一个很深的无监督聚类算法(<xgydF4y2Baref ref-type="bibr" rid="B7"> 7</xgydF4y2Baref>]。它使用一个自动编码器转换特性的原始数据,然后执行的数据在特征空间聚类过程。</pgydF4y2Ba> </sec> <sec id="sec5.2.3"> <title>5.2.3。宽带运</t我tle> <p>深集群网络(宽带)是一个很深的无监督聚类算法(<xgydF4y2Baref ref-type="bibr" rid="B24"> 24</xgydF4y2Baref>]。它结合了autoencoder与k - means算法提出了一种联合优化重建损失和k - means损失。</pgydF4y2Ba> </sec> <sec id="sec5.2.4"> <title>5.2.4。IDEC</t我tle> <p>改进的深度嵌入集群(IDEC)也深无监督聚类算法(<xgydF4y2Baref ref-type="bibr" rid="B25"> 25</xgydF4y2Baref>]。这是一个改进12月通过添加当地结构保存。</pgydF4y2Ba> </sec> <sec id="sec5.2.5"> <title>5.2.5。SMKL</t我tle> <p>自权重的多个内核学习(SMKL)是一种传统semisupervised聚类算法(<xgydF4y2Baref ref-type="bibr" rid="B13"> 13</xgydF4y2Baref>]。它构造最好的内核和分配一个最佳体重自动为每个内核。</pgydF4y2Ba> </sec> <sec id="sec5.2.6"> <title>. 5.2.6。SDEC</t我tle> <p>semisupervised深嵌入集群(SDEC)是一种深semisupervised聚类算法(<xgydF4y2Baref ref-type="bibr" rid="B40"> 40</xgydF4y2Baref>]。它包含了成对约束的过程中学习功能。</pgydF4y2Ba> </sec> </sec> <sec id="sec5.3"> <title>5.3。评价指标</t我tle> <p>聚类精度(ACC)和归一化互信息(敝中断)是用来评估该方法的性能和其他算法相比,广泛应用于聚类任务。ACC和敝中断的值从0到1。更大的值两个指标都表明更好的聚类结果。</pgydF4y2Ba> <p>ACC的定义如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M61"> <mml:mtable> <mml:mlabeledtr id="EEq15"> <mml:mtd> <mml:mtext> (15)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mtext> ACC</米米l:米text> <mml:mo> =</米米l:米o> <mml:mfrac> <mml:mn> 1</米米l:米n> <mml:mi> N</米米l:米我> </mml:mfrac> <mml:munder> <mml:mrow> <mml:mi mathvariant="normal"> 马克斯</米米l:米我> </mml:mrow> <mml:mi> k</米米l:米我> </mml:munder> <mml:mstyle displaystyle="true"> <mml:munderover> <mml:mo stretchy="true"> ∑</米米l:米o> <mml:mrow> <mml:mi> 我</米米l:米我> <mml:mo> =</米米l:米o> <mml:mn> 1</米米l:米n> </mml:mrow> <mml:mi> n</米米l:米我> </mml:munderover> <mml:mrow> <mml:mn> 1</米米l:米n> <mml:mfenced open="{" close="}" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> <mml:mo> =</米米l:米o> <mml:mi> k</米米l:米我> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi> c</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:mstyle> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我t一个l我c> N</我t一个l我c>样品的数量,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M62"> <mml:msub> <mml:mrow> <mml:mi> l</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>是真正的标签,<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M63"> <mml:msub> <mml:mrow> <mml:mi> c</米米l:米我> </mml:mrow> <mml:mrow> <mml:mi> 我</米米l:米我> </mml:mrow> </mml:msub> </mml:math> </inline-formula>是集群分配标签产生的算法,然后呢<我t一个l我c> k</我t一个l我c>在所有可能的范围集群和标签之间的一对一映射。</pgydF4y2Ba> <p>敝中断被定义如下:<d我年代p-formula> <mml:math display="block" xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M64"> <mml:mtable> <mml:mlabeledtr id="EEq16"> <mml:mtd> <mml:mtext> (16)</米米l:米text> </mml:mtd> <mml:mtd> <mml:mtext> 敝中断</米米l:米text> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 一个</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> B</米米l:米我> </mml:mrow> </mml:mfenced> <mml:mo> =</米米l:米o> <mml:mfrac> <mml:mrow> <mml:mtext> 心肌梗死</米米l:米text> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 一个</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> B</米米l:米我> </mml:mrow> </mml:mfenced> </mml:mrow> <mml:mrow> <mml:msqrt> <mml:mrow> <mml:mi> H</米米l:米我> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 一个</米米l:米我> </mml:mrow> </mml:mfenced> <mml:mi> H</米米l:米我> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> B</米米l:米我> </mml:mrow> </mml:mfenced> </mml:mrow> </mml:msqrt> </mml:mrow> </mml:mfrac> <mml:mo> ,</米米l:米o> </mml:mtd> </mml:mlabeledtr> </mml:mtable> </mml:math> </disp-formula>在哪里<我t一个l我c> 一个</我t一个l我c>是真正的集群组和吗<我t一个l我c> B</我t一个l我c>是预测集群组。<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M65"> <mml:mtext> 心肌梗死</米米l:米text> <mml:mfenced open="(" close=")" separators="|"> <mml:mrow> <mml:mi> 一个</米米l:米我> <mml:mo> ,</米米l:米o> <mml:mi> B</米米l:米我> </mml:mrow> </mml:mfenced> </mml:math> </inline-formula>之间的互信息是吗<我t一个l我c> 一个</我t一个l我c>和<我t一个l我c> B</我t一个l我c>。<我t一个l我c> H</我t一个l我c>(<我t一个l我c> 一个</我t一个l我c>),<我t一个l我c> H</我t一个l我c>(<我t一个l我c> B</我t一个l我c>)表示的熵<我t一个l我c> 一个</我t一个l我c>和<我t一个l我c> B</我t一个l我c>。</pgydF4y2Ba> </sec> <sec id="sec5.4"> <title>5.4。参数设置</t我tle> <p>深的编码器层结构将网络代码<我t一个l我c> d</我t一个l我c>500-500-2000-10的所有数据集,<我t一个l我c> d</我t一个l我c>输入数据的维数。所有的层都完全连接,和所有内部层(除了输入层、嵌入层和输出层)是由ReLU非线性激活函数。在pretraining和微调autoencoder网络,我们使用相同的参数设置在12月,确保实验结果的改进方法的贡献。</pgydF4y2Ba> <p>对于每个数据集,监控信息列表<我t一个l我c> 一个</我t一个l我c>动态生成的基于标签信息数据集的存在与否。列表的长度符合每次数据批量的大小,及其相应的元素值为1,如果数据点有一个真正的标签,或0如果没有标签。学习SGD率是0.01。收敛阈值<我nl我ne-formula> <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M66"> <mml:mtext> 到l</米米l:米text> <mml:mo> </mml:mo> <mml:mo> %</米米l:米o> </mml:math> </inline-formula>设置为0.1%。经过实验测试,权衡参数<我t一个l我c> λ</我t一个l我c>标签的损失被设置为0.2(这是由一个网格搜索{0.01,0.02,0.05,0.1,0.2,0.5,1.0,2.0,5.0})。对所有算法,我们设置了集群数量<我t一个l我c> k</我t一个l我c>随着地面实况数量的类别。我们单独运行每个算法和报告平均10倍的结果。</pgydF4y2Ba> </sec> <sec id="sec5.5"> <title>5.5。实验结果</t我tle> <p>本节演示的结果相比三个代表数据集的方法。详细表<xgydF4y2Baref ref-type="table" rid="tab2"> 2</xgydF4y2Baref>和<xgydF4y2Baref ref-type="table" rid="tab3"> 3</xgydF4y2Baref>报告结果的ACC和敝中断,分别。标签数据的百分比是30%。在两个表中,最佳性能结果以粗体突出显示。可以看出该方法优于先进的方法。</pgydF4y2Ba> <table-wrap id="tab2"> <label>表2</l一个bel> <p>ACC衡量聚类结果。</pgydF4y2Ba> <table> <thead> <tr> <th align="left">方法</thgydF4y2Ba> <th align="center">MNIST</thgydF4y2Ba> <th align="center">美国邮政总局</thgydF4y2Ba> <th align="center">REUTERS-10K</thgydF4y2Ba> </tr> </thead> <tbody> <tr> <td align="left">k - means</tdgydF4y2Ba> <td align="center">0.5298</tdgydF4y2Ba> <td align="center">0.6567</tdgydF4y2Ba> <td align="center">0.5162</tdgydF4y2Ba> </tr> <tr> <td align="left">12月</tdgydF4y2Ba> <td align="center">0.843</tdgydF4y2Ba> <td align="center">0.7408</tdgydF4y2Ba> <td align="center">0.7369</tdgydF4y2Ba> </tr> <tr> <td align="left">宽带运</tdgydF4y2Ba> <td align="center">0.811</tdgydF4y2Ba> <td align="center">0.73</tdgydF4y2Ba> <td align="center">0.7505</tdgydF4y2Ba> </tr> <tr> <td align="left">IDEC</tdgydF4y2Ba> <td align="center">0.8806</tdgydF4y2Ba> <td align="center">0.7605</tdgydF4y2Ba> <td align="center">0.7564</tdgydF4y2Ba> </tr> <tr> <td align="left">SMKL</tdgydF4y2Ba> <td align="center">0.783</tdgydF4y2Ba> <td align="center">0.6819</tdgydF4y2Ba> <td align="center">0.7203</tdgydF4y2Ba> </tr> <tr> <td align="left">SDEC</tdgydF4y2Ba> <td align="center">0.8611</tdgydF4y2Ba> <td align="center">0.7639</tdgydF4y2Ba> <td align="center">0.6937</tdgydF4y2Ba> </tr> <tr> <td align="left"> <bold> Semi-DEC</boldgydF4y2Ba></td> <td align="center"> <bold> 0.9648</boldgydF4y2Ba></td> <td align="center"> <bold> 0.8609</boldgydF4y2Ba></td> <td align="center"> <bold> 0.9176</boldgydF4y2Ba></td> </tr> </tbody> </table> </table-wrap> <table-wrap id="tab3"> <label>表3</l一个bel> <p>聚类结果衡量敝中断。</pgydF4y2Ba> <table> <thead> <tr> <th align="left">方法</thgydF4y2Ba> <th align="center">MNIST</thgydF4y2Ba> <th align="center">美国邮政总局</thgydF4y2Ba> <th align="center">REUTERS-10K</thgydF4y2Ba> </tr> </thead> <tbody> <tr> <td align="left">k - means</tdgydF4y2Ba> <td align="center">0.4974</tdgydF4y2Ba> <td align="center">0.62</tdgydF4y2Ba> <td align="center">0.4932</tdgydF4y2Ba> </tr> <tr> <td align="left">12月</tdgydF4y2Ba> <td align="center">0.8372</tdgydF4y2Ba> <td align="center">0.7529</tdgydF4y2Ba> <td align="center">0.4976</tdgydF4y2Ba> </tr> <tr> <td align="left">宽带运</tdgydF4y2Ba> <td align="center">0.757</tdgydF4y2Ba> <td align="center">0.719</tdgydF4y2Ba> <td align="center">0.4106</tdgydF4y2Ba> </tr> <tr> <td align="left">IDEC</tdgydF4y2Ba> <td align="center">0.8672</tdgydF4y2Ba> <td align="center">0.7846</tdgydF4y2Ba> <td align="center">0.4981</tdgydF4y2Ba> </tr> <tr> <td align="left">SMKL</tdgydF4y2Ba> <td align="center">0.6842</tdgydF4y2Ba> <td align="center">0.7105</tdgydF4y2Ba> <td align="center">0.4076</tdgydF4y2Ba> </tr> <tr> <td align="left">SDEC</tdgydF4y2Ba> <td align="center">0.8289</tdgydF4y2Ba> <td align="center">0.7768</tdgydF4y2Ba> <td align="center">0.4762</tdgydF4y2Ba> </tr> <tr> <td align="left"> <bold> Semi-DEC</boldgydF4y2Ba></td> <td align="center"> <bold> 0.9457</boldgydF4y2Ba></td> <td align="center"> <bold> 0.8654</boldgydF4y2Ba></td> <td align="center"> <bold> 0.7642</boldgydF4y2Ba></td> </tr> </tbody> </table> </table-wrap> <p>具体地说,与传统的k - means和SMKL方法相比,该方法可以学习深度代码特性的表征能力的网络。此外,k - means是一个无监督方法,在聚类过程中不能利用标签信息,进一步导致性能的退化。虽然12月,宽带,IDEC也利用深度数据的特点,他们忽略了信息隐藏在少量的标签数据,结果那些深方法性能低于该方法生产。SDEC使用成对约束指导聚类的过程,属于弱监督信息的利用率。通过标签的自适应策略,我们可以直接使用标签的损失,这是一个强大的使用标签信息。这也是我们建议的方法的关键。</pgydF4y2Ba> <p>进一步说明了该方法的优越性,我们也训练过程中的可视化聚类结果图<xgydF4y2Baref ref-type="fig" rid="fig3"> 3</xgydF4y2Baref>。我们随机选择1000个样本在每个数据集和地图的表示<我t一个l我c> z</我t一个l我c>到二维空间。从聚类结果的变化趋势,可以看出,样品在不同的集群更容易区分培训数量的增加,和样品在同一集群也日益密切。这表明学习功能空间变得更适合聚类任务,也是证明标签自适应策略可以有效地指导特征空间和集群的学习任务。</pgydF4y2Ba> <fig id="fig3"> <label>图3</l一个bel> <p>聚类结果的可视化MNIST子集训练期间,美国邮政总局,REUTERS-10K从上到下。不同的颜色标记不同的集群。聚类精度括号中给出了相应的时代。可以看出,同一类的数据变得更加紧凑而不同类别的数据相互远离时代的数量增加。这也表明,学习功能嵌入空间越来越适合聚类任务。</pgydF4y2Ba> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.003"></graphic> </fig> <p>同时,评估的影响知识Semi-DEC的性能之前,收音机的标记训练样本从1%上升到50%。每个实验进行了10次,平均结果如表所示<xgydF4y2Baref ref-type="table" rid="tab4"> 4</xgydF4y2Baref>。和表<xgydF4y2Baref ref-type="table" rid="tab5"> 5</xgydF4y2Baref>显示了分类精度的结果产生的网络体系结构和Semi-DEC一样。</pgydF4y2Ba> <table-wrap id="tab4"> <label>表4</l一个bel> <p>聚类结果数据集各种标签数据的比率。</pgydF4y2Ba> <table> <thead> <tr> <th align="left" rowspan="2">数据集</thgydF4y2Ba> <th align="center" colspan="2">1%</thgydF4y2Ba> <th align="center" colspan="2">2%</thgydF4y2Ba> <th align="center" colspan="2">5%</thgydF4y2Ba> <th align="center" colspan="2">10%</thgydF4y2Ba> <th align="center" colspan="2">20%</thgydF4y2Ba> <th align="center" colspan="2">30%</thgydF4y2Ba> <th align="center" colspan="2">40%</thgydF4y2Ba> <th align="center" colspan="2">50%</thgydF4y2Ba> </tr> <tr> <th align="center">ACC</thgydF4y2Ba> <th align="center">敝中断</thgydF4y2Ba> <th align="center">ACC</thgydF4y2Ba> <th align="center">敝中断</thgydF4y2Ba> <th align="center">ACC</thgydF4y2Ba> <th align="center">敝中断</thgydF4y2Ba> <th align="center">ACC</thgydF4y2Ba> <th align="center">敝中断</thgydF4y2Ba> <th align="center">ACC</thgydF4y2Ba> <th align="center">敝中断</thgydF4y2Ba> <th align="center">ACC</thgydF4y2Ba> <th align="center">敝中断</thgydF4y2Ba> <th align="center">ACC</thgydF4y2Ba> <th align="center">敝中断</thgydF4y2Ba> <th align="center">ACC</thgydF4y2Ba> <th align="center">敝中断</thgydF4y2Ba> </tr> </thead> <tbody> <tr> <td align="left">MNIST</tdgydF4y2Ba> <td align="center">0.809</tdgydF4y2Ba> <td align="center">0.774</tdgydF4y2Ba> <td align="center">0.815</tdgydF4y2Ba> <td align="center">0.783</tdgydF4y2Ba> <td align="center">0.843</tdgydF4y2Ba> <td align="center">0.828</tdgydF4y2Ba> <td align="center">0.886</tdgydF4y2Ba> <td align="center">0.881</tdgydF4y2Ba> <td align="center">0.920</tdgydF4y2Ba> <td align="center">0.916</tdgydF4y2Ba> <td align="center">0.965</tdgydF4y2Ba> <td align="center">0.946</tdgydF4y2Ba> <td align="center">0.965</tdgydF4y2Ba> <td align="center">0.949</tdgydF4y2Ba> <td align="center">0.975</tdgydF4y2Ba> <td align="center">0.952</tdgydF4y2Ba> </tr> <tr> <td align="left">美国邮政总局</tdgydF4y2Ba> <td align="center">0.748</tdgydF4y2Ba> <td align="center">0.755</tdgydF4y2Ba> <td align="center">0.758</tdgydF4y2Ba> <td align="center">0.776</tdgydF4y2Ba> <td align="center">0.776</tdgydF4y2Ba> <td align="center">0.784</tdgydF4y2Ba> <td align="center">0.787</tdgydF4y2Ba> <td align="center">0.807</tdgydF4y2Ba> <td align="center">0.805</tdgydF4y2Ba> <td align="center">0.847</tdgydF4y2Ba> <td align="center">0.861</tdgydF4y2Ba> <td align="center">0.884</tdgydF4y2Ba> <td align="center">0.884</tdgydF4y2Ba> <td align="center">0.881</tdgydF4y2Ba> <td align="center">0.885</tdgydF4y2Ba> <td align="center">0.878</tdgydF4y2Ba> </tr> <tr> <td align="left">REUTERS-10K</tdgydF4y2Ba> <td align="center">0.751</tdgydF4y2Ba> <td align="center">0.506</tdgydF4y2Ba> <td align="center">0.758</tdgydF4y2Ba> <td align="center">0.519</tdgydF4y2Ba> <td align="center">0.769</tdgydF4y2Ba> <td align="center">0.554</tdgydF4y2Ba> <td align="center">0.795</tdgydF4y2Ba> <td align="center">0.586</tdgydF4y2Ba> <td align="center">0.863</tdgydF4y2Ba> <td align="center">0.68</tdgydF4y2Ba> <td align="center">0.918</tdgydF4y2Ba> <td align="center">0.764</tdgydF4y2Ba> <td align="center">0.954</tdgydF4y2Ba> <td align="center">0.829</tdgydF4y2Ba> <td align="center">0.956</tdgydF4y2Ba> <td align="center">0.831</tdgydF4y2Ba> </tr> </tbody> </table> </table-wrap> <table-wrap id="tab5"> <label>表5</l一个bel> <p>分类精度的三个数据集。</pgydF4y2Ba> <table> <thead> <tr> <th align="left">数据集</thgydF4y2Ba> <th align="center">MNIST</thgydF4y2Ba> <th align="center">美国邮政总局</thgydF4y2Ba> <th align="center">REUSTERS-10K</thgydF4y2Ba> </tr> </thead> <tbody> <tr> <td align="left">平均ACC</tdgydF4y2Ba> <td align="center">0.972</tdgydF4y2Ba> <td align="center">0.931</tdgydF4y2Ba> <td align="center">0.949</tdgydF4y2Ba> </tr> </tbody> </table> </table-wrap> <p>如表所示<xgydF4y2Baref ref-type="table" rid="tab4"> 4</xgydF4y2Baref>和<xgydF4y2Baref ref-type="table" rid="tab5"> 5</xgydF4y2Baref>和图<xgydF4y2Baref ref-type="fig" rid="fig4"> 4</xgydF4y2Baref>,有两个观察。首先,ACC和敝中断三个数据集的结果变得更大标签样本数量的增加。特别是,ACC和敝中断可以达到97.5%和95.2%,分别在MNIST数据集训练图像标签为50%。第二,集群ACC Semi-DEC在数据集的50%的标签数据约等于三个数据集上的分类ACC。这些观察表明Semi-DEC的表现。</pgydF4y2Ba> <fig-group id="fig4"> <label>图4</l一个bel> <p>标签数据在不同比例的准确性(a) MNIST,美国邮政总局(b)和(c) REUTERS-10K。</pgydF4y2Ba> <fig id="fig4a"> <label>(一)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.004a"></graphic> </fig> <fig id="fig4b"> <label>(b)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.004b"></graphic> </fig> <fig id="fig4c"> <label>(c)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.004c"></graphic> </fig> </fig-group> <p>为了进一步测试方法在本文中,我们在许多方面进行了实验,包括不同比例的标签数据对性能的影响,损失函数的变化过程和准确性,以及权衡的影响参数<我t一个l我c> λ</我t一个l我c>对聚类性能和运行时间分析。</pgydF4y2Ba> <p>具体来说,对不同比例的标签数据对性能的影响,图<xgydF4y2Baref ref-type="fig" rid="fig4"> 4</xgydF4y2Baref>显示的趋势在MNIST聚类结果的准确性,美国邮政总局,REUSTER-10K数据集。虚线代表分类精度通过多个实验结果与Semi-DEC在同样的网络体系结构。它可以更直观地显示标签的比例逐渐增加的数据,Semi-DEC可以接近的影响MNIST和REUSTER-10K数据集的分类效果。虽然美国邮政总局的数据集上的聚类效果仍有一定的差距的分类效果,它不是很远。</pgydF4y2Ba> <p>损失函数的变化过程和准确性增加训练时间记录在图中<xgydF4y2Baref ref-type="fig" rid="fig5"> 5</xgydF4y2Baref>。可以看出,在达到一定数量的迭代,损失值和准确性将趋于稳定,这也证明了该方法的鲁棒性。</pgydF4y2Ba> <fig-group id="fig5"> <label>图5</l一个bel> <p>趋势的准确性和损失的迭代次数(a) MNIST,美国邮政总局(b)和(c) REUTERS-10K。</pgydF4y2Ba> <fig id="fig5a"> <label>(一)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.005a"></graphic> </fig> <fig id="fig5b"> <label>(b)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.005b"></graphic> </fig> <fig id="fig5c"> <label>(c)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.005c"></graphic> </fig> </fig-group> <p>如何权衡参数<我t一个l我c> λ</我t一个l我c>标签损失影响本文方法的性能,我们进行实验三个数据集抽样的范围[0.01,5.0]。图<xgydF4y2Baref ref-type="fig" rid="fig6"> 6</xgydF4y2Baref>给出了结果。如这个图所示,我们在广泛的稳定方法执行<我t一个l我c> λ</我t一个l我c>。主要原因是,在这种情况下semisupervised损失占主导地位。当<我t一个l我c> λ</我t一个l我c>是0.2,是渐近最优性能。</pgydF4y2Ba> <fig-group id="fig6"> <label>图6</l一个bel> <p>权衡的影响参数<我t一个l我c> λ</我t一个l我c>集群性能(a) MNIST,美国邮政总局(b)和(c) REUTERS-10K。</pgydF4y2Ba> <fig id="fig6a"> <label>(一)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.006a"></graphic> </fig> <fig id="fig6b"> <label>(b)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.006b"></graphic> </fig> <fig id="fig6c"> <label>(c)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.006c"></graphic> </fig> </fig-group> <p>运行时间图<xgydF4y2Baref ref-type="fig" rid="fig7"> 7</xgydF4y2Baref>记录运行时间12月以来比较我们的方法和本文方法是12月进一步研究的基础上,它只比较运行时间与12月可以看出,本文方法在训练过程中消耗的时间比12月这是因为标签添加自适应策略和标签需要计算损失。但我们认为培训的有限的时间是值得的,因为我们有一个大的性能提高。</pgydF4y2Ba> <fig-group id="fig7"> <label>图7</l一个bel> <p>运行时间的统计数据。实线代表的培训过程,虚线代表了测试过程。圆圈代表本文中的方法,星号代表了12月的方法。(一)MNIST,美国邮政总局(b)和(c) REUTERS-10K。</pgydF4y2Ba> <fig id="fig7a"> <label>(一)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.007a"></graphic> </fig> <fig id="fig7b"> <label>(b)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.007b"></graphic> </fig> <fig id="fig7c"> <label>(c)</l一个bel> <graphic xlink:href="//www.newsama.com/downloads/journals/sp/2021/6613452.fig.007c"></graphic> </fig> </fig-group> </sec> </sec> <sec id="sec6"> <title>6。结论</t我tle> <p>摘要小说semisupervised深嵌入与适应性提出了标签聚类方法,共同学习集群数据的表示和作业的帮助下先验知识。深semisupervised集群网络,提出了自适应策略,以及一个标签可以直接指导聚类过程通过使用现有的标签信息。同时,联合优化的KL发散损失和标签损失semisupervised集群框架的目的是学习更强大的深深表示和更精确的聚类中心。MNIST实验结果,美国邮政总局,REUSTER-10K展示本文提出的方法取得了显著的性能改进ACC和敝中断,证明了该方法的有效性。在未来,更有效的方法来利用标签信息深度嵌入集群将被探讨。</pgydF4y2Ba> </sec> <back> <sec sec-type="data-availability"> <title>数据可用性</t我tle> <p>我们执行实验两个图像数据集和一个文本数据集。常用的公共使用的数据集的数据集,链接如下:MNIST:<extgydF4y2Ba-link ext-link-type="uri" xlink:href="http://yann.lecun.com/exdb/mnist/"> http://yann.lecun.com/exdb/mnist/</extgydF4y2Ba-link>。美国邮政总局:<extgydF4y2Ba-link ext-link-type="uri" xlink:href="https://www.csie.ntu.edu.tw/%7Ecjlin/libsvmtools/datasets/multiclass.html"> https://www.csie.ntu.edu.tw/∼cjlin / libsvmtools /数据/ multiclass.html</extgydF4y2Ba-link>。路透社:<extgydF4y2Ba-link ext-link-type="uri" xlink:href="http://www.ai.mit.edu/projects/jmlr/papers/volume5/lewis04a/lyrl2004_rcv1v2_README.htm"> http://www.ai.mit.edu/projects/jmlr/papers/volume5/lewis04a/lyrl2004_rcv1v2_README.htm</extgydF4y2Ba-link>。</pgydF4y2Ba> </sec> <sec sec-type="COI-statement"> <title>的利益冲突</t我tle> <p>作者宣称没有利益冲突有关的出版。</pgydF4y2Ba> </sec> <ack> <title>确认</t我tle> <p>这部分工作是支持下由中国国家自然科学基金资助61672123,拨款61602083,和拨款62002044,辽宁省的博士科研基础(20170520425),中央大学的基础研究基金在格兰特DUT20LAB136,格兰特DUT20TD107和格兰特DUT15RC(3) 100年,和中国奖学金委员会。</pgydF4y2Ba> </ack> <ref-list> <ref id="B1" content-type="article"> <label>1</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 李</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 阴</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 周</年代urname> <given-names> K。</g我ven-names> </name> <name> <surname> 周</年代urname> <given-names> X。</g我ven-names> </name> </person-group> <article-title> Semi-supervised嵌入深度量学习和聚类图</一个rticle-title> <source> <italic> 万维网</我t一个l我c> <year> 2020年</ye一个r> <volume> 23</volu米e> <issue> 2</我年代年代ue> <fpage> 781年</fp一个ge> <lpage> 798年</lp一个ge> <pub-id pub-id-type="doi"> 10.1007 / s11280 - 019 - 00723 - 8</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85071461423</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B2" content-type="article"> <label>2</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Lv</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 首歌</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> Basanta-Val</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 骏马</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> 乔</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 下一代大数据分析:国家的艺术,挑战,和未来的研究课题</一个rticle-title> <source> <italic> IEEE工业信息</我t一个l我c> <year> 2017年</ye一个r> <volume> 13</volu米e> <issue> 4</我年代年代ue> <fpage> 1891年</fp一个ge> <lpage> 1899年</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / tii.2017.2650204</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85019731149</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B3" content-type="inproceedings"> <label>3</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 王</年代urname> <given-names> W。</g我ven-names> </name> <name> <surname> 吴</年代urname> <given-names> Y。</g我ven-names> </name> <name> <surname> 唐</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> 贺南洪</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 自适应density-based空间聚类的应用程序与噪声(DBSCAN)数据显示</一个rticle-title> <conf-name> 《2015年国际机器学习与控制论(ICMLC)会议</confgydF4y2Ba-name> <conf-date> 2015年</confgydF4y2Ba-date> <conf-loc> 广州,中国</confgydF4y2Ba-loc> <fpage> 445年</fp一个ge> <lpage> 451年</lp一个ge> </element-citation> </ref> <ref id="B4" content-type="article"> <label>4</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 古哈</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> Rastogi</年代urname> <given-names> R。</g我ven-names> </name> <name> <surname> 垫片</年代urname> <given-names> K。</g我ven-names> </name> </person-group> <article-title> 治疗:一个有效的聚类算法对大型数据库</一个rticle-title> <source> <italic> 信息系统</我t一个l我c> <year> 2001年</ye一个r> <volume> 26</volu米e> <issue> 1</我年代年代ue> <fpage> 35</fp一个ge> <lpage> 58</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / s0306 - 4379 (01) 00008 - 4</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 0035279319</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B5" content-type="inproceedings"> <label>5</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Bureva</年代urname> <given-names> V。</g我ven-names> </name> <name> <surname> Sotirova</年代urname> <given-names> E。</g我ven-names> </name> <name> <surname> 波波夫</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> Mavrov</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> Traneva</年代urname> <given-names> V。</g我ven-names> </name> </person-group> <article-title> 聚类分析过程的广义网络使用刺:统计信息网格空间数据挖掘方法</一个rticle-title> <conf-name> 第12届国际研讨会论文集灵活的查询应答系统(fqa)</confgydF4y2Ba-name> <conf-date> 2017年</confgydF4y2Ba-date> <conf-loc> 英国伦敦</confgydF4y2Ba-loc> </element-citation> </ref> <ref id="B6" content-type="inproceedings"> <label>6</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> Lv</年代urname> <given-names> B。</g我ven-names> </name> <name> <surname> 侯</年代urname> <given-names> W。</g我ven-names> </name> <name> <surname> 刘</年代urname> <given-names> G。</g我ven-names> </name> <etal></etal> </person-group> <article-title> 深cfs文本聚类模型</一个rticle-title> <conf-name> 《2018国际物联网大会</confgydF4y2Ba-name> <conf-date> 2018年</confgydF4y2Ba-date> <conf-loc> 加拿大哈利法克斯</confgydF4y2Ba-loc> <fpage> 132年</fp一个ge> <lpage> 137年</lp一个ge> </element-citation> </ref> <ref id="B7" content-type="inproceedings"> <label>7</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 谢</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> Girshick</年代urname> <given-names> R。</g我ven-names> </name> <name> <surname> 哈蒂</年代urname> <given-names> 一个。</g我ven-names> </name> </person-group> <article-title> 深度嵌入的无监督聚类分析</一个rticle-title> <volume> 48</volu米e> <conf-name> 美国第33机器学习(ICML)国际会议上</confgydF4y2Ba-name> <conf-date> 2016年</confgydF4y2Ba-date> <conf-loc> 纽约,纽约,美国</confgydF4y2Ba-loc> <fpage> 478年</fp一个ge> <lpage> 487年</lp一个ge> </element-citation> </ref> <ref id="B8" content-type="article"> <label>8</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 在香港</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> 高</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 姚</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> B。</g我ven-names> </name> <name> <surname> 广场</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> Chanussot</年代urname> <given-names> J。</g我ven-names> </name> </person-group> <article-title> 对高光谱图像分类图卷积网络</一个rticle-title> <source> <italic> IEEE地球科学和遥感</我t一个l我c> <year> 2020年</ye一个r> <fpage> 1</fp一个ge> <pub-id pub-id-type="doi"> 10.1109 / TGRS.2020.3015157</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B9" content-type="article"> <label>9</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 赵</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 赵</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 太阳</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 刘</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 陈</年代urname> <given-names> Z。</g我ven-names> </name> </person-group> <article-title> 多视点健壮的功能对数据聚类学习</一个rticle-title> <source> <italic> IEEE信号处理信件</我t一个l我c> <year> 2020年</ye一个r> <volume> 27</volu米e> <fpage> 1750年</fp一个ge> <lpage> 1754年</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / lsp.2020.3026943</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B10" content-type="inproceedings"> <label>10</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 风扇</年代urname> <given-names> W。</g我ven-names> </name> <name> <surname> 王</年代urname> <given-names> C。</g我ven-names> </name> <name> <surname> 赖</年代urname> <given-names> J。</g我ven-names> </name> </person-group> <article-title> SDenPeak: semi-supervised非线性集群基于密度和距离</一个rticle-title> <conf-name> 《2016年国际会议上大数据计算服务和应用程序</confgydF4y2Ba-name> <conf-date> 2016年</confgydF4y2Ba-date> <conf-loc> 牛津大学,英国</confgydF4y2Ba-loc> <fpage> 269年</fp一个ge> <lpage> 275年</lp一个ge> </element-citation> </ref> <ref id="B11" content-type="article"> <label>11</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 李</年代urname> <given-names> H。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 史</年代urname> <given-names> G。</g我ven-names> </name> <name> <surname> 刘</年代urname> <given-names> J。</g我ven-names> </name> </person-group> <article-title> 基于歧视非负矩阵分解与标签信息</一个rticle-title> <source> <italic> Neurocomputing</我t一个l我c> <year> 2017年</ye一个r> <volume> 266年</volu米e> <fpage> 91年</fp一个ge> <lpage> One hundred.</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / j.neucom.2017.04.067</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85021160688</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B12" content-type="inproceedings"> <label>12</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 李</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 吴</年代urname> <given-names> Y。</g我ven-names> </name> <name> <surname> 酯</年代urname> <given-names> M。</g我ven-names> </name> <etal></etal> </person-group> <article-title> 由于异构信息网络Semi-supervised集群</一个rticle-title> <conf-name> 学报》第26届国际会议在万维网上</confgydF4y2Ba-name> <conf-date> 2017年</confgydF4y2Ba-date> <conf-loc> 澳大利亚珀斯</confgydF4y2Ba-loc> <fpage> 1621年</fp一个ge> <lpage> 1629年</lp一个ge> </element-citation> </ref> <ref id="B13" content-type="inproceedings"> <label>13</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 康</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 陆</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 易</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 徐</年代urname> <given-names> Z。</g我ven-names> </name> </person-group> <article-title> 自权重的多个内核学习图论聚类和semi-supervised分类</一个rticle-title> <conf-name> 美国27日人工智能国际联合大会(IJCAI)展出</confgydF4y2Ba-name> <conf-date> 2018年</confgydF4y2Ba-date> <conf-loc> 斯德哥尔摩,瑞典</confgydF4y2Ba-loc> <fpage> 2312年</fp一个ge> <lpage> 2318年</lp一个ge> </element-citation> </ref> <ref id="B14" content-type="article"> <label>14</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 在香港</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> Yokoya</年代urname> <given-names> N。</g我ven-names> </name> <name> <surname> 夏</年代urname> <given-names> G.-S。</g我ven-names> </name> <name> <surname> Chanussot</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 朱</年代urname> <given-names> X X。</g我ven-names> </name> </person-group> <article-title> X-ModalNet:半监督深跨通道网络遥感数据的分类</一个rticle-title> <source> <italic> ISPRS《摄影测量与遥感</我t一个l我c> <year> 2020年</ye一个r> <volume> 167年</volu米e> <fpage> 12</fp一个ge> <lpage> 23</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / j.isprsjprs.2020.06.014</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B15" content-type="article"> <label>15</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 李</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 陈</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 高</年代urname> <given-names> J。</g我ven-names> </name> <etal></etal> </person-group> <article-title> 深度融合高斯混合模型对多视图土地数据聚类</一个rticle-title> <source> <italic> 无线通信和移动计算</我t一个l我c> <year> 2020年</ye一个r> <volume> 2020年</volu米e> <lpage> 9</lp一个ge> <pub-id pub-id-type="publisher-id"> 8880430</pubgydF4y2Ba-id> <pub-id pub-id-type="doi"> 10.1155 / 2020/8880430</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B16" content-type="article"> <label>16</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 李</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 陈</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 杨</年代urname> <given-names> l . T。</g我ven-names> </name> <name> <surname> 赵</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> Q。</g我ven-names> </name> </person-group> <article-title> 一个保护隐私与云计算高阶神经模糊c均值算法</一个rticle-title> <source> <italic> Neurocomputing</我t一个l我c> <year> 2017年</ye一个r> <volume> 256年</volu米e> <fpage> 82年</fp一个ge> <lpage> 89年</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / j.neucom.2016.08.135</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85015645941</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B17" content-type="article"> <label>17</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 萨哈</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> 达斯</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 聚类的模糊数据和同步功能选择:模型选择的方法</一个rticle-title> <source> <italic> 模糊集和系统</我t一个l我c> <year> 2018年</ye一个r> <volume> 340年</volu米e> <fpage> 1</fp一个ge> <lpage> 37</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / j.fss.2017.11.015</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85038401370</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B18" content-type="article"> <label>18</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 元</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 邓</年代urname> <given-names> W。</g我ven-names> </name> <name> <surname> 胡</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 一个</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 唐</年代urname> <given-names> Y。</g我ven-names> </name> </person-group> <article-title> 基于特征聚类的无监督自适应哈希</一个rticle-title> <source> <italic> Neurocomputing</我t一个l我c> <year> 2019年</ye一个r> <volume> 323年</volu米e> <fpage> 373年</fp一个ge> <lpage> 382年</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / j.neucom.2018.10.015</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85055048872</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B19" content-type="article"> <label>19</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 香</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 聂</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> C。</g我ven-names> </name> </person-group> <article-title> 学习一门距离度量数据聚类和分类</一个rticle-title> <source> <italic> 模式识别</我t一个l我c> <year> 2008年</ye一个r> <volume> 41</volu米e> <issue> 12</我年代年代ue> <fpage> 3600年</fp一个ge> <lpage> 3612年</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / j.patcog.2008.05.018</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 49449088902</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B20" content-type="article"> <label>20.</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Heidari对伊朗伊斯兰共和国通讯社表示</年代urname> <given-names> N。</g我ven-names> </name> <name> <surname> Moslehi</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> Mirzaei</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> Safayani</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 贝叶斯距离度量学习区别的模糊c均值聚类</一个rticle-title> <source> <italic> Neurocomputing</我t一个l我c> <year> 2018年</ye一个r> <volume> 319年</volu米e> <fpage> 21</fp一个ge> <lpage> 33</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / j.neucom.2018.08.071</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85053159085</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B21" content-type="inproceedings"> <label>21</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 聂</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> 王</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 约旦</年代urname> <given-names> m . I。</g我ven-names> </name> <name> <surname> 黄</年代urname> <given-names> H。</g我ven-names> </name> </person-group> <article-title> 受限拉普拉斯算子图论聚类算法</一个rticle-title> <conf-name> 30 AAAI学报》关于人工智能的会议</confgydF4y2Ba-name> <conf-date> 2016年</confgydF4y2Ba-date> <conf-loc> 凤凰城,亚利桑那州,美国</confgydF4y2Ba-loc> <fpage> 1969年</fp一个ge> <lpage> 1976年</lp一个ge> </element-citation> </ref> <ref id="B22" content-type="inproceedings"> <label>22</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 王</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 聂</年代urname> <given-names> F。</g我ven-names> </name> <name> <surname> 黄</年代urname> <given-names> H。</g我ven-names> </name> </person-group> <article-title> 结构化的双随机矩阵基于图的聚类:结构化双随机矩阵</一个rticle-title> <conf-name> 22 ACM SIGKDD学报》国际会议上知识发现和数据挖掘</confgydF4y2Ba-name> <conf-date> 2016年</confgydF4y2Ba-date> <conf-loc> 旧金山,加州,美国</confgydF4y2Ba-loc> <fpage> 1245年</fp一个ge> <lpage> 1254年</lp一个ge> </element-citation> </ref> <ref id="B23" content-type="article"> <label>23</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 谢</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> 高</年代urname> <given-names> Q。</g我ven-names> </name> <name> <surname> 王</年代urname> <given-names> Q。</g我ven-names> </name> <name> <surname> 肖</年代urname> <given-names> 年代。</g我ven-names> </name> </person-group> <article-title> 通过整合全球和本地图多视点谱聚类</一个rticle-title> <source> <italic> IEEE访问</我t一个l我c> <year> 2019年</ye一个r> <volume> 7</volu米e> <fpage> 31197年</fp一个ge> <lpage> 31206年</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / access.2019.2892175</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85065322717</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B24" content-type="inproceedings"> <label>24</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 杨</年代urname> <given-names> B。</g我ven-names> </name> <name> <surname> 傅</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> Sidiropoulos</年代urname> <given-names> n D。</g我ven-names> </name> <name> <surname> 在香港</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 同时对K-means-friendly空间:深度学习和集群</一个rticle-title> <conf-name> 美国第34机器学习(ICML)国际会议上</confgydF4y2Ba-name> <conf-date> 2017年</confgydF4y2Ba-date> <conf-loc> 澳大利亚悉尼</confgydF4y2Ba-loc> <fpage> 3861年</fp一个ge> <lpage> 3870年</lp一个ge> </element-citation> </ref> <ref id="B25" content-type="inproceedings"> <label>25</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 郭</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 高</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 刘</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 阴</年代urname> <given-names> J。</g我ven-names> </name> </person-group> <article-title> 改善深嵌入集群与当地结构保存</一个rticle-title> <conf-name> 第26届国际联合会议上人工智能学报》(IJCAI)展出</confgydF4y2Ba-name> <conf-date> 2017年</confgydF4y2Ba-date> <conf-loc> 澳大利亚墨尔本</confgydF4y2Ba-loc> <fpage> 1753年</fp一个ge> <lpage> 1759年</lp一个ge> </element-citation> </ref> <ref id="B26" content-type="article"> <label>26</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 赵</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 杨</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 陈</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 杨</年代urname> <given-names> Y。</g我ven-names> </name> <name> <surname> 王</年代urname> <given-names> z . J。</g我ven-names> </name> </person-group> <article-title> Co-learning视点数据的非负相关和不相关的功能</一个rticle-title> <source> <italic> IEEE神经网络和学习系统</我t一个l我c> <year> 2020年</ye一个r> <fpage> 1</fp一个ge> <lpage> 11</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / tnnls.2020.2984810</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B27" content-type="article"> <label>27</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 阿南德</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 米塔尔</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> Tuzel</年代urname> <given-names> O。</g我ven-names> </name> <name> <surname> 米尔</年代urname> <given-names> P。</g我ven-names> </name> </person-group> <article-title> Semi-supervised内核意味着集群的转变</一个rticle-title> <source> <italic> IEEE模式分析与机器智能</我t一个l我c> <year> 2014年</ye一个r> <volume> 36</volu米e> <issue> 6</我年代年代ue> <fpage> 1201年</fp一个ge> <lpage> 1215年</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / tpami.2013.190</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84901821060</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B28" content-type="article"> <label>28</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 刘</年代urname> <given-names> C.-L。</g我ven-names> </name> <name> <surname> Hsaio</年代urname> <given-names> W.-H。</g我ven-names> </name> <name> <surname> 李</年代urname> <given-names> 学术界。</g我ven-names> </name> <name> <surname> 郭台铭</年代urname> <given-names> F.-S。</g我ven-names> </name> </person-group> <article-title> Semi-supervised线性判别聚类</一个rticle-title> <source> <italic> IEEE控制论</我t一个l我c> <year> 2014年</ye一个r> <volume> 44</volu米e> <issue> 7</我年代年代ue> <fpage> 989年</fp一个ge> <lpage> 1000年</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / tcyb.2013.2278466</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84903205142</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B29" content-type="article"> <label>29日</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 王</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> 高</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 王</年代urname> <given-names> X。</g我ven-names> </name> </person-group> <article-title> 通过约束传播Semi-supervised非负矩阵因子分解</一个rticle-title> <source> <italic> IEEE控制论</我t一个l我c> <year> 2016年</ye一个r> <volume> 46</volu米e> <issue> 1</我年代年代ue> <fpage> 233年</fp一个ge> <lpage> 244年</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / tcyb.2015.2399533</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84960461477</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B30" content-type="article"> <label>30.</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Vu</年代urname> <given-names> vv。</g我ven-names> </name> </person-group> <article-title> 一个高效semi-supervised基于图的聚类</一个rticle-title> <source> <italic> 智能数据分析</我t一个l我c> <year> 2018年</ye一个r> <volume> 22</volu米e> <issue> 2</我年代年代ue> <fpage> 297年</fp一个ge> <lpage> 307年</lp一个ge> <pub-id pub-id-type="doi"> 10.3233 / ida - 163296</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85044375324</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B31" content-type="article"> <label>31日</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> Barhillel</年代urname> <given-names> 一个。</g我ven-names> </name> <name> <surname> 赫兹</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> Shental</年代urname> <given-names> N。</g我ven-names> </name> <name> <surname> Weinshall</年代urname> <given-names> D。</g我ven-names> </name> </person-group> <article-title> 学习从等价约束指标</一个rticle-title> <source> <italic> 机器学习研究杂志》上</我t一个l我c> <year> 2005年</ye一个r> <volume> 6</volu米e> <fpage> 937年</fp一个ge> <lpage> 965年</lp一个ge> </element-citation> </ref> <ref id="B32" content-type="inproceedings"> <label>32</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 海</年代urname> <given-names> s . c . H。</g我ven-names> </name> <name> <surname> 刘</年代urname> <given-names> W。</g我ven-names> </name> <name> <surname> 律</年代urname> <given-names> m·R。</g我ven-names> </name> <name> <surname> 马</年代urname> <given-names> W。</g我ven-names> </name> </person-group> <article-title> 学习距离度量图像检索上下文约束</一个rticle-title> <conf-name> 2006年IEEE计算机学会学报计算机视觉与模式识别会议(CVPR)</confgydF4y2Ba-name> <conf-date> 2006年</confgydF4y2Ba-date> <conf-loc> 纽约,纽约,美国</confgydF4y2Ba-loc> <fpage> 2072年</fp一个ge> <lpage> 2078年</lp一个ge> </element-citation> </ref> <ref id="B33" content-type="article"> <label>33</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 妞妞</年代urname> <given-names> G。</g我ven-names> </name> <name> <surname> 戴</年代urname> <given-names> B。</g我ven-names> </name> <name> <surname> 山田</年代urname> <given-names> M。</g我ven-names> </name> <name> <surname> Sugiyama</年代urname> <given-names> M。</g我ven-names> </name> </person-group> <article-title> 信息理论semi-supervised度量通过熵正则化学习</一个rticle-title> <source> <italic> 神经计算</我t一个l我c> <year> 2014年</ye一个r> <volume> 26</volu米e> <issue> 8</我年代年代ue> <fpage> 1717年</fp一个ge> <lpage> 1762年</lp一个ge> <pub-id pub-id-type="doi"> 10.1162 / neco_a_00614</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84929254850</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B34" content-type="article"> <label>34</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 吴</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 海</年代urname> <given-names> s . c . H。</g我ven-names> </name> <name> <surname> 京ydF4y2Ba</surname> <given-names> R。</g我ven-names> </name> <name> <surname> 朱</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 余</年代urname> <given-names> N。</g我ven-names> </name> </person-group> <article-title> 学习师距离函数semi-supervised集群</一个rticle-title> <source> <italic> IEEE工程知识和数据</我t一个l我c> <year> 2012年</ye一个r> <volume> 24</volu米e> <issue> 3</我年代年代ue> <fpage> 478年</fp一个ge> <lpage> 491年</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / tkde.2010.215</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84863081893</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B35" content-type="article"> <label>35</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 余</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 李</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 刘</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 汉</年代urname> <given-names> G。</g我ven-names> </name> </person-group> <article-title> 自适应噪声免疫集群整体使用亲和力传播</一个rticle-title> <source> <italic> IEEE工程知识和数据</我t一个l我c> <year> 2015年</ye一个r> <volume> 27</volu米e> <issue> 12</我年代年代ue> <fpage> 3176年</fp一个ge> <lpage> 3189年</lp一个ge> <pub-id pub-id-type="doi"> 10.1109 / tkde.2015.2453162</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 84959466205</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B36" content-type="inproceedings"> <label>36</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 易</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 杨</年代urname> <given-names> T。</g我ven-names> </name> <name> <surname> 刘</年代urname> <given-names> W。</g我ven-names> </name> <name> <surname> 王</年代urname> <given-names> J。</g我ven-names> </name> </person-group> <article-title> 一个高效semi-supervised与顺序约束聚类算法</一个rticle-title> <conf-name> 《21 ACM SIGKDD国际会议上知识发现和数据挖掘</confgydF4y2Ba-name> <conf-date> 2015年</confgydF4y2Ba-date> <conf-loc> 澳大利亚悉尼</confgydF4y2Ba-loc> <fpage> 1405年</fp一个ge> <lpage> 1414年</lp一个ge> </element-citation> </ref> <ref id="B37" content-type="inproceedings"> <label>37</l一个bel> <element-citation publication-type="confproc"> <person-group person-group-type="author"> <name> <surname> 魏</年代urname> <given-names> 年代。</g我ven-names> </name> <name> <surname> 李</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> C。</g我ven-names> </name> </person-group> <article-title> 半监督聚类集成方法集成理论和基于指标</一个rticle-title> <conf-name> 学报》第七届国际会议上互联网多媒体计算与服务(ICIMCS)</confgydF4y2Ba-name> <conf-date> 2015年</confgydF4y2Ba-date> <conf-loc> 张家界,中国</confgydF4y2Ba-loc> </element-citation> </ref> <ref id="B38" content-type="article"> <label>38</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 在香港</年代urname> <given-names> D。</g我ven-names> </name> <name> <surname> 高</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> Yokoya</年代urname> <given-names> N。</g我ven-names> </name> <etal></etal> </person-group> <article-title> 更加多样化意味着更好的:多通道深度学习满足遥感图像分类</一个rticle-title> <source> <italic> IEEE地球科学和遥感</我t一个l我c> <year> 2020年</ye一个r> <fpage> 1</fp一个ge> <pub-id pub-id-type="doi"> 10.1109 / TGRS.2020.3016820</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B39" content-type="misc"> <label>39</l一个bel> <element-citation publication-type="other"> <person-group person-group-type="author"> <name> <surname> 陈</年代urname> <given-names> G。</g我ven-names> </name> </person-group> <article-title> 深转换semi-supervised最大边缘集群</一个rticle-title> <year> 2015年</ye一个r> <comment> <ext-link ext-link-type="uri" xlink:href="https://arxiv.org/abs/1501.06237"> https://arxiv.org/abs/1501.06237</extgydF4y2Ba-link> </comment> </element-citation> </ref> <ref id="B40" content-type="article"> <label>40</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 任</年代urname> <given-names> Y。</g我ven-names> </name> <name> <surname> 胡</年代urname> <given-names> K。</g我ven-names> </name> <name> <surname> 戴</年代urname> <given-names> X。</g我ven-names> </name> <name> <surname> 锅</年代urname> <given-names> l</g我ven-names> </name> <name> <surname> 海</年代urname> <given-names> s . c . H。</g我ven-names> </name> <name> <surname> 徐</年代urname> <given-names> Z。</g我ven-names> </name> </person-group> <article-title> Semi-supervised深嵌入集群</一个rticle-title> <source> <italic> Neurocomputing</我t一个l我c> <year> 2019年</ye一个r> <volume> 325年</volu米e> <fpage> 121年</fp一个ge> <lpage> 130年</lp一个ge> <pub-id pub-id-type="doi"> 10.1016 / j.neucom.2018.10.016</pubgydF4y2Ba-id> <pub-id pub-id-type="other"> 2 - s2.0 - 85055282058</pubgydF4y2Ba-id> </element-citation> </ref> <ref id="B41" content-type="article"> <label>41</l一个bel> <element-citation publication-type="journal"> <person-group person-group-type="author"> <name> <surname> 高</年代urname> <given-names> J。</g我ven-names> </name> <name> <surname> 李</年代urname> <given-names> P。</g我ven-names> </name> <name> <surname> 陈</年代urname> <given-names> Z。</g我ven-names> </name> <name> <surname> 张</年代urname> <given-names> J。</g我ven-names> </name> </person-group> <article-title> 多通道数据融合的深度学习调查</一个rticle-title> <source> <italic> 神经计算</我t一个l我c> <year> 2020年</ye一个r> <volume> 32</volu米e> <issue> 5</我年代年代ue> <fpage> 829年</fp一个ge> <lpage> 864年</lp一个ge> <pub-id pub-id-type="doi"> 10.1162 / neco_a_01273</pubgydF4y2Ba-id> </element-citation> </ref> </ref-list> </back> </article> </body> </html>