英语原文共 10 页
基于子空间的缺失多视觉聚类
摘要
多视角聚类利用了多个不同的特征集之间的互补性来聚类，在知识管理和信息检索等领域已有广泛的应用。传统的多视角聚类方法通常假设所有视角都有完整的数据集。然而，在实际应用中，一些视角经常丢失一些特征集，导致缺失多视觉数据，多视角聚类方法的性能显著下降。因此本文提出了一种新型的多视角聚类方法，该方法对缺失多视角数据学习统一的子空间和投影矩阵。为了近似表示出高阶标签矩阵，要求子空间矩阵是非负的和列正交的。此外，由于数据往往具有高维和噪声性，因此在学习子空间时，投影矩阵必须是稀疏便于相关特征提取。同时，保留视角内部和视角间的数据结构将有助于进一步提高聚类性能。为此，本文提出了一种基于有效的优化策略和收敛聚类方法。大量的实验表明，本文的模型在各种环境下的性能都优于目前最先进的多视角聚类方法。
关键字：多视角聚类;不完整的多视角数据;功能选择;子空间学习;图正则化
1.简介
现实世界的数据以多种形式出现或来自多种渠道。例如，一个网页可以用图像和文本来描述，一个图像可以用不同的方式来编码，比如SIFT和GIST。本文称这种数据为多视角数据，每个视角代表一种类型的特征集。通常，多个视角为语义相同的数据提供互补信息，这就导致了多视角学习的发展。多视角学习通过挖掘多视角数据之间的互补性特征，可以获得比单一视角[27]更好的性能。到目前为止，多视角学习在知识管理、数据挖掘、多媒体和信息检索等多个领域得到了广泛的研究[18,27]。多视角聚类作为多视角学习的基本任务之一，为多视角数据集的聚类提供了一种思路。
一般来说，多视角聚类的主要挑战在于挖掘多个信息源之间的互补信息。目前已有的方法大致可以分为四类[27,31,8]。第一类方法是基于子空间的多视角聚类方法[5,15,16,29,28]，这些方法构造一个潜在空间使不同的视角在该空间中具有可比性。第二类方法是基于协同训练的算法 [1,14,33]，这些算法以迭代聚类的方式获得聚类结果。第三类称为后期融合[3,10,13]，通过投票或其他融合策略将不同视角的聚类结果结合起来。最后一类是通过学习多视角数据之间的统一相似矩阵[32,19,30]，作为最终聚类的关联矩阵。有关多视角集群的详细信息，请参阅第2节。
需要注意的是，以往的多视角聚类方法通常假设所有实例都具有完整的视角信息，即数据库中的每个实例都有完整的特性集。然而，在实际应用程序中，常常会出现一些视角缺少信息的情况。例如，在基于图像和文本特征的图像聚类中，一些图像只有图像或文本信息，只有部分数据同时有这两个特征集。本文称这种数据集为不完整多视角数据。一些传统的多视角聚类方法可能会删除不完整的数据实例然后进行聚类，但这种方法与本文目标相矛盾，本文目标是将所有数据实例分组到相应的集群中。
近年来，针对视角不完整的多视角聚类问题有了一些研究，聚类的方法主要分为两大类。第一类是通过填充缺少的信息对不完整的视角进行预处理。Piyush等人[23]和Shao等人[24]提供了不完整视角的核矩阵补全，然后使用基于核的聚类方法进行最终聚类。然而，这两种方法只能处理基于核的多视角聚类算法，不能延申至基于子空间的多视角聚类，扩展性差。为了突破上述局限性，最近Li[34]等人提出了一种基于非负矩阵分解的方法(non - negative matrix factorization based method, PVC)。该方法对文档聚类有效。但PVC法也有一定的局限性。首先，由于目前数据往往具有高维、高噪声的特征，因此在进行聚类时，选择相关的、有差异的特征就显得尤为迫切。其次，PVC利用非负矩阵分解来学习数据的潜在表示，它不能很好地处理负数据。
本文提出一种新的不完整的多视角学习基于联合特征选择和子空间聚类方法(如图1)。首先,本文利用类似回归的方法构建子空间,在这个子空间中可以忽略特征集之间的差异性。为了直接探究不同视角之间的互补特性，本文期望视角完整的数据实例的潜在表示形式是相同的。此外，由于不同视角的特征可能具有高维性甚至噪声，因此选择相关的特征进行子空间学习。最后，利用图的正则化方法进一步研究了数据实例的视角间关系和视角内关系。为此，本文创建一个算法来实现上述所有目标，并相应地提出了交替最小化算法求最优解。大量的实验表明，本文的方法优于目前的多视角聚类方法。
图1.1:提出的方法概述。和是不完整的多视角数据，其中红色矩形表示具有完整特征集的数据。本文学习投影矩阵和以及多视角数据的统一潜在表示(非负和列正交)。在这里，本文将要求投影矩阵为稀疏矩阵，以便从可能的高维和噪声特征集中选择相关的特征。此外，在学习子空间时，保留了视角内部和视角间部的数据结构。最后对进行k均值聚类得到聚类结果。
主要贡献:1)提出了一种新的不完全多视角聚类方法，该方法将特征选择、子空间学习、视角间和视角内相似性相结合。2)提出一种迭代优化算法求解最优解，并对其收敛性进行了理论分析。3)本文在四个数据库的两个设置下进行了大量的实验，验证了本文方法的性能优于现有的方法。
本文的其余部分组织如下。在第2节中，简要回顾了多视角聚类方法。在第3节中阐述了缺失完全多视角聚类算法。第4节中给出了实验结果和分析。最后，第5节进行总结。
2.相关工作
多视角学习处理由多个不同特征集表示的数据，旨在提高学习性能。到目前为止，已具有完善理论和大量的方法，多视角学习已经成为一个具有广泛适用性的热门话题[20,26]。例如，最著名的多视角学习框架方法之一的联合训练 [2]，在网页分类中得到了广泛的应用。当多视角学习用于无监督聚类时，将传统的单视角聚类扩展到多视角，相应得聚类方法发展成为多视角聚类方法。
通常，多视角聚类可以大致分为四类。第一类算法寻找统一的低维空间，其中学习正则化的数据可以很好的挖掘不同视角之间的互补信息[5,15,16,29,11]。这些方法通过对学习到的正则化矩阵进行单视角聚类得到最终的聚类结果。Kamalika等[5]通过广泛使用的正则相关分析技术得到多视角数据的低维子空间。Kumar 等人.[15]提出了利用拉普拉斯正则化将不同视角化为相似目标，并利用光谱分析进行参数学习。Liu 等人[16]开发了一种基于多视角非负矩阵分解的方法来获得原始数据的子空间，He等人.[12]利用各种共正则化的方法。Wang等人[29]等人最近提出了一种类似回归的目标函数，该方法同时进行多视角聚类和特征选择。Tang等人[28]利用无监督特征选择对多视角媒体数据进行聚类，Qian和Zhai[22]也利用上述技术对多视角网络新闻数据进行低维处理。第二类算法在聚类过程中集成多个信息源。典型的例子是基于co-training和co-EM的多视角聚类方法[1,14,33]。Kumar等人利用半监督工具开发了第一种基于协同训练的多视角聚类算法。此外，Zhan等人[33]结合LDA、k-means和协同训练，提出了一种更加成熟的多视角聚类算法。第三类是后期融合，通过投票或其他融合策略融合从每个视角中获得的聚类结果[3,10,13]。Long等人[17]提出通过映射函数融合每个视角中的聚类结果来学习最佳聚类。Greene等人利用基于矩阵因子分解的方法获得最优聚类。最后一类是学习多视角数据之间统一的相似性矩阵，作为最终聚类的相似矩阵[32,19,30,4]。Muthukrishnan等人利用正则化方法将多个相似矩阵组合在一起，得到了更好的相似图。Yin[32]等人采用子空间聚类的方法，通过两两共正则化的方法得到相似矩阵。
现有的多视角聚类方法主要针对视角完整的数据，即每个数据实例都有完整的特征集。然而，在实际应用中，一些数据实例可能会丢失一些数据。为了处理这种情况，目前已经存在一些方法[23,24,34]。Piyush等人提出了一种基于谱的多视角聚类方法，该方法可以处理至少一个视角完成的场景。它们利用两个视角的相似矩阵，通过拉普拉斯正则化来填充不完整视角的核矩阵。此外，Shao等人通过处理视角不完整的情况改进了[23]。它们通过优化数据库中共享数据实例的对齐方式，共同填充所有内核矩阵。但是，这两种方法都是基于核矩阵的，只能适应基于核的多视角聚类。最近，Li等人[34]证明了上述方法对于不完整多视角聚类不是一个好的选择，进一步的提出了一种基于子空间的非负矩阵分解(non - negative matrix factorization, PVC)方法。然而，PVC也有一些局限性，限制了它的应用。首先，多视角数据往往具有高维性和噪声性，在学习潜在子空间时可能需要选择判别特征。其次，PVC利用非负矩阵分解来学习数据的潜在表示形式，不能应用于具有负数据的视角。
3.方法
3.1符号
为了介绍本文模型，本文讨论了一个具有两个视角的数据集，并且很容易将本文模型扩展到具有更多视角的数据集。假设两个数据视角分别表示为和。在传统的多视角聚类设置中，完整的数据库，其中为数据实例的个数。然而,不完整的视角中设置,本文给出数据其中和表示具有完整视角的数据实例，只有第一个视角或者第二个视角，实例数分别为c、m和n。总之，本文在数据库中有c m n个例子。
本文有两个视角和，其中和是维度。那么和包括第一个视角中的实例,如。同样的,本文中第二个视角表示为。本文的任务是将不完整的多视角数据分组到相应的类中。
3.2设定
通常，多视角数据由表示相同对象的不同特征组成，因此它们共享相同的类标签。本文表示类不完整的多视角的数据库,是第i个例子特征向量，k是集群的数量。然后将缩放后的指标矩阵定义为 [28]满足，是一个大小为k的单位矩阵。
本文目标是找到一个F满足上述属性多视角聚类。它的优点如下。首先，反映了多视角数据的类指标，是数据的更高层次语义表示。即使数据由多个异构特性组成，它们也应该共享相同的语义信息。通过引入这种语义空间，本文在不同的异构特征集之间构建了一个桥梁。此外，使用这样的系数矩阵，本文可以学习每个视角的投影矩阵，并以监督的方式进行特征选择，这将在后面进行描述。
为了学习系数矩阵，本文学习每个视角的投影矩阵来将它们的原始空间投影到同一个语义空间。目标函数拟订为:
(1)
其中和是两个视角的投影矩阵。，和是完整视角数据的子空间表示、第一个视角、第二个视角。可以看出，本文通过要求具有相同的子空间来寻找这两个视角之间的关系。，其中表示的第行。与通过监督特征选择一样[21] 。ℓ21正则规范用于投影矩阵相关特征的选择。是一个正则化参数控制投影矩阵的稀疏程度。当大,只有小部分特征将被选中,否则大量的特征子集被选中。表示所有数据的子空间。和是用于约束基矩阵要数据集的指标矩阵一致。
在式1中，本文将不同的特征集投射到相同的子空间中，并在其中直接探究不同视角之间的关系。在接下来的部分中，本文将在投影矩阵上添加额外的正则化约束，进一步挖掘每个视角中的数据之间以及两个视角之间的关系，从而对多视角数据的结构进行建模。更具体地说，我们希望在数据集中保留视角内的相似性和视角间的相似性关系。具体情况如下。
- 视角内相似关系:为了保留每个视角中数据实例的局部结构，我们对每个
视角下的数据点之间的邻域关系进行约束，这些邻域关系也存在于学习的潜在空间中。一般情况下，邻域结构可以通过高斯核矩阵得到。我们将两个视角的矩阵分别表示为和，矩阵表示某个视角下两个数据之间的相似性。具体公式为:
(2)
其中是数据和之间欧几里得距离，表示距离个最近的数据。
2）视角相似关系：虽然数据的不同视角具有不同的特征集，但如果它们表示相同的内容或主题，则它们共享相同的语义。 为了在学习投影矩阵时保持这种视角间相似性，我们分别为视角1到视角2和视角2到视角1构建相似性矩阵和。 在不完整视角设置下，它们被定义为：
(3)
利用视角间及视角内部的相似性，我们定义了投影矩阵为：
(4)
基于这种相似性，我们定义了正则化投影矩阵为：
(5)
并进一步改写为：
(6)
其中是拉普拉斯矩阵，是对角矩阵，其第个对角线元素被定义为第行的总和.是 矩阵的迹。
将此正则化约束添加到等式1，得到最终目标函数：
(7)
在目标函数中，有三个概念：使用投影矩阵将每个不完整的视角投影到由定义的子空间; 使用基于ℓ21正则化的约束以及由拉普拉斯矩阵对每个视角进行特征选择，保留了视角间和视角内相似性。此外，加于的约束保证每个实例仅属于一个类。
3.3优化
在本节中优化等式7所示的目标函数。由于投影矩阵和系数矩阵的变量相互影响，可能难以同时优化多个变量。因此，本文采用选择性地优化变量以获得局部最优解。
- 用固定优化：等式7中的的约束条件使得的优化不是一个容易的问题，尤其是不同的视角仅具有所有子空间表示的一部分，即和只是的一部分。 为了解决这个问题，我们分别优化，和并将约束放宽到以下形式：
(8)
在上述目标函数中具有完整特征集的数据实例不具有各种类标签，不满足正交约束。本文忽略了这种轻微误差，相反，这使优化变量之间关系非常紧凑。对于，由于相同视角中的实例共享相同的投影矩阵，并且这些实例遵循相同的数据分布，因此将具有与相似的特性。总之，放宽约束与原始约束具有几乎相同的效果，但可以使优化更简洁。
我们将等式7中的目标表示为.然后将与最小化，则和简化为：
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
