英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料
外文翻译
迁移学习调查报告
摘要——在许多机器学习和数据挖掘算法领域中，有一个极为重要的假设：训练数据和未来数据必须位于相同的特征空间中，并具有相同的分布。但是，在许多实际应用中，这种假设可能不成立。例如，我们有时在一个感兴趣的领域有一个分类任务，但是我们仅在另一个感兴趣的领域有足够的训练数据，这些数据可能处于不同的特征空间或遵循不同的数据分布。在这些情况下，如果能够成功的完成知识迁移，将避免昂贵的数据标签工作，从而极大地提高学习的性能。近年来，迁移学习已经成为解决这个问题的一个新的学习框架。本调查侧重于对分类，回归和聚类问题的迁移学习的当前进展进行分类和审查。在本次调查报告中，我们讨论了迁移学习与其他相关机器学习技术（如域适应，多任务学习和样本选择偏差以及协变量迁移）之间的关系，同时探讨了在未来研究迁移学习时的一些潜在问题。
关键词—— 迁移学习，调查，机器学习，数据挖掘。
1引言
数据挖掘和机器学习技术在许多知识工程领域已经取得了重大成功，包括分类，回归和聚类（例如[1]，[2]）。 然而，许多机器学习方法都只有在一个共同的假设下才能正常工作：训练数据和测试数据来自相同的特征空间和分布。当分布改变时，大多数统计模型需要使用新收集的训练数据从头开始重建。在许多实际应用中，重新收集所需的训练数据并重建模型的工作非常昂贵或者不可能完成。如果我们能够降低重新收集训练数据的需求和困难程度，这些问题将迎刃而解。在这些情况下，在任务域中进行知识迁移或者迁移学习是很可取的。
在知识工程领域，很多例子都能说明迁移学习确实是很有益的。例如，在Web文档分类[3]，[4]，[5]中，我们需要将给定的Web文档分类为几个预先定义好的类别。其中标记标签可能是大学网页（例如[6]），这些网页与通过传统手工标记获得的分类信息相关联。对于一些在新创建的网站上分类任务，其中数据功能或数据分布可能是不同的，并且可能缺乏标记的训练数据。因此，我们可能无法直接将在大学网站上学到的网页分类器应用到新网站。在这种情况下，如果我们能够将分类知识迁移到新的领域，这将会很有帮助。
当数据很容易过时时，可能会出现迁移学习的需求。在这种情况下，在一个时间段内获得的标记数据可能不会在稍后的时间段内遵循相同的分布。例如，在室内WiFi定位问题中，其目的在于基于先前收集的WiFi数据来检测用户的当前位置。因为用户需要在每个位置标记大量的WiFi信号数据，所以在大规模环境中校准用于构建定位模型的WiFi数据是非常昂贵的。然而，WiFi信号强度值可能是一个有关于时间，设备或其他动态因素的函数。在一个时间段内或在一个设备上训练的模型可能会导致在另一个时间段或其他设备上的位置估计准确度降低。为了减少重新校准工作，我们可能希望将在一个时间段（源域）训练的定位模型能够适应新的时间段（目标域），或者在移动设备（源域）上训练的定位模型能够适用于新移动设备（目标域）。如[7]中所做的那样。
第三个例子是考虑情感分类问题。我们的任务是自动将产品评论（例如相机品牌）分类为正面和负面意见。对于此分类任务，首先我们需要收集产品的许多评论并对其进行注释。然后，我们会在评论上用相应的标签对分类器进行训练。由于审查数据在不同类型产品中的分布可能会有很大差异，为了保持良好的分类性能，我们需要收集大量标记数据，以便对每种产品的审核分类模型进行训练。为了减少注释各种产品评论的工作量，我们可能需要修改接受过训练的一些产品上的分类模型，使之能够帮助我们训练其他产品的分类模型。 在这种情况下，迁移学习可以节省大量的标注工作[8]。在这篇调查文章中，我们全面概述了在机器学习和数据挖掘领域中迁移学习的分类，回归和聚类问题。在机器学习文献中有大量论述关于迁移学习的强化学习方面的文献（例如[9]，[10]）。
然而，在本文中，我们只关注与数据挖掘任务更密切相关的分类，回归和聚类问题的迁移学习。通过这次调查，我们希望为数据挖掘和机器学习社区提供有用的资源。调查的其余部分安排如下。在接下来的四节中，我们首先给出一个总体概述并定义我们稍后将使用的一些符号。然后，我们简要回顾了迁移学习的历史，给出了迁移学习的统一定义，并将迁移学习分为三种不同的环境（见表2和图2）。对于每个环境，我们回顾表3中详细给出的不同方法。在第6节中，我们回顾了目前关于“负迁移”的研究，这种研究发生在知识迁移对目标学习产生负面影响的时候。在第7节中，我们介绍一些成功的迁移学习应用并且列出一些已发布的数据集和供迁移学习使用的软件工具包。最后我们在第8节结束本文，讨论未来的工作。
2概述
2.1迁移学习简史
传统的数据挖掘和机器学习算法使用统计模型对未来的数据进行预测，这些统计模型是在先前收集的标记或未标记的训练数据上进行训练的[11,12,13]。半监督分类法[14]，[15]，[16]，[17]，通过使用大量的未标记数据和少量标记数据，解决了标记数据太少而无法构建好分类器的问题。与此同时，对不完全数据集进行监督和半监督学习的变化已经进行了充分的研究学习；例如，朱和吴研究了如何处理嘈杂的类标签问题，杨等人考虑了对未来样品进行额外测试时成本敏感的学习[19]。尽管如此，他们中大多数人都还是假设有标签和无标记数据的分布是相同的。迁移学习相反，它允许使用的域，任务和分布在训练和测试中有所不同。在实际操作中，我们观察了许多迁移学习的例子。例如，我们发现可能学习识别苹果对于识别梨有所帮助。同样，学习弹奏电子琴可能有助于学习钢琴。当发现人们可以智能地应用以前学到的知识，以更快或更好的解决方案解决新问题时，迁移学习研究领域愈发活跃起来。在NIPS-95“学习学习”研讨会上讨论了机器学习领域中迁移学习的根本动机，将根本动机聚焦于能够保留和重用以前学过的知识的终身机器学习方法的需求。
自1995年以来，迁移学习的研究受到了越来越多的关注：学会学习，终身学习，知识迁移，归纳迁移，多任务学习，知识整合，感情敏感学习，基于知识的归纳偏移，元学习以及增量/累积学习。在这些当中，有一种与迁移学习密切相关的技术：多任务学习框架，它试图同时学习多个任务，即使它们不同。多任务学习的典型方法是发现可以使每个任务受益的常见（潜在）特征。
2005年，美国国防部高级研究计划局（DARPA）的信息处理技术办公室（IPTO）的广播代理公告（BAA）在5月29日宣布了一项新的传输学习任务：系统识别能力和应用以前任务中学到的知识和技能去解决新任务的能力。在这个定义中，迁移学习旨在从一个或多个源任务中提取知识，并将知识应用于目标任务。 与多任务学习相反，不是同时学习所有的源和目标任务，迁移学习更关注于目标任务。在迁移学习中，源任务和目标任务的角色不再是对称的。
图1显示了传统和迁移学习技术的过程之间的差异。正如我们所见，传统的机器学习技术学习技术试图从头开始学习每个任务，而迁移学习技术是当新任务仅有较少的高质量训练数据时，尝试将知识从以前的任务迁移到目标任务。
图1.传统机器学习和迁移学习之间的不同学习过程
今天，迁移学习方法出现在几个顶尖场所，尤其是在数据挖掘（例如ACM KDD，IEEE ICDM和PKDD），机器学习（例如ICML，NIPS，ECML，AAAI和IJCAI）以及机器学习和数据挖掘（例如ACM SIGIR，WWW和ACL）。 在我们给出不同的迁移学习分类之前，我们首先描述本文中使用的注释。
2.2符号和定义
在本节中，我们将介绍本调查中使用的一些符号和定义。 首先，我们分别给出“领域”和“任务”的定义。
在本次调查中，一个域D由两部分组成：特征空间X和边缘概率分布P（X），其中X = {x1，...，xn}isin;X。例如，如果我们的学习任务是文档分类，并且每个项都被作为二进制特征，那么x~是所有项矢量的空间，xi是与某些文档相对应的第i项矢量，X是特定的学习样本。一般而言，如果两个域不同，那么它们可能具有不同的特征空间或不 同的边缘概率分布。
给定一个特定的领域，D = {X，P（X）}，任务由两部分组成：标签空间Y和目标预测函数f（·）（用T = {Y，f（·）}表示）。这是不可观察的，但可以从训练数据中学习，训练数据由一对数据{xi，yi}组成，其中xiisin;X，yiisin;Y。函数f（·）可用于预测新实例x的相应标签f（x）。从概率观点来看，f（x）可以写为P（y | x）。在我们的文档分类示例中，Y是所有标签的集合，对于二元分类任务是True，False，yi是“True”或“False”。
为了简单起见，在本次调查中，我们只考虑存在一个源域DS和一个目标域DT的情况，因为这是迄今为止文献中最受欢迎的研究工作。更具体地说，我们将源域数据表示为DS = {（xS1，yS1），...，（xSnS，ySnS）}，其中xSiisin;XS是数据实例，ySiisin;YS是相应的类标签。在我们的文档分类示例中，DS可以是一组向量项及其关联的布尔类标签。类似地，我们将目标域数据表示为DT = {（xT1，yT1），...，（xTnT，yTnT）}，其中输入xTi在XT中，并且相应的输出yTiisin;YT。在大多数情况下，0le;nTlt;lt; nS。
我们现在给出迁移学习的统一定义。
定义1（迁移学习）给定源域DS和学习任务TS，目标域DT和学习任务TT， 迁移学习的目的是利用DS和TS中的知识来提高DT中目标预测函数fT（·）的学习能力，其中DS！= DT或TS！= TT。
在上面的定义中，域是一组数据D = {X，P（X）}。 因此条件DS！= DT意味着XS！= XT或PS（X）！= PT（X）。例如，在我们的文档分类示例中，这意味着源文档集和目标文档集之间的项特征不同（例如，它们使用不同的语言），或者它们的边缘分布不同。
类似地，任务被定义为一对T = {Y，P（Y | X）}。因此，条件TS！= TT意味着YS！= YT或P（YS | XS）！= P（YT | XT）。当目标域和源域相同时，即DS = DT，并且它们的学习任务是相同的，即TS = TT，则学习问题变成传统的机器学习问题。当域不同时，则（1）域之间的特征空间是不同的，即XS！= XT，或（2）域之间的特征空间相同，但域数据之间的边际概率分布不同; 即P（XS）！= P（XT），其中XSiisin;XS和XTiisin;XT。例如，在文档分类示例中，情况（1）对应于何时以不同语言描述两组文档，情况（2）可以对应于何时源域文档和目标域文档侧重于不同的主题。
给定特定域DS和DT，当学习任务TS和TT不同时，则（1）域之间的标签空间不同，即YS！= YT，或者（2）域之间的条件概率分布不同; 即P（YS | XS）！= P（YT | XT），其中YSiisin;YS，YTiisin;YT。在我们的文档分类示例中，情况（1）对应于源域具有二进制文档类而目标域具有十个类来对文档进行分类的情况，。情况（2）对应于源和目标文档在用户定义的类中非常不平衡的情况。
另外，当两个域的特征空间之间存在某种显性或隐性关系时，我们认为源域和目标域是相关的。
2.3迁移学习技术的分类
在迁移学习中，我们有以下三个主要研究问题：（1）迁移什么; （2）如何迁移; （3）何时迁移。
“迁移什么”探讨哪部分知识可以被可以跨域或任务传输。一些知识是特定于个人领域或任务的，并且一些知识可能在不同领域之间是共同的，以便他们可以帮助提高目标领域或任务的性能。在发现哪些知识可以被迁移后，需要开发学习算法来迁移知识，这与“如何迁移”问题相对应。
“什么时候迁移”问在哪种情况下，应该进行知识迁移。同样，我们也应该知道在哪些情况下，知识不应该迁移。在某些情况下，当源域和目标域彼此不相关时，强制迁移可能不成功。在最坏的情况下，它甚至可能会损害目标领域的学习效果，这种情况通常被称为负迁移。目前大多数关于迁移学习的工作都通过隐含地假设源域和目标域彼此相关来侧重于“迁移什么”和“如何迁移”。然而，如何避免负面迁移是未来吸引越来越多关注的重要开放性问题。
基于迁移学习的定义，我们总结了传统机器学习与表1中各种迁移学习环境之间的关系，根据源域和目标域和任务的不同情况，我们将迁移学习分为三个子环境，归纳迁移学习，转导迁移学习（直推迁移学习）和无监督迁移学习，
-
在归纳迁移学习设置中，目标任务与源任务不同，无论源域和目标域是否相同。在这种情况下，需要目标域中的一些标记数据来诱导用于目标域的客观预测模型fT（·）。另外，根据源域标注数据和未标注数据的不同情况，我们可以进一步将归纳迁移学习设置分为两种情况：。
- 源域中有大量标记数据可用。在这种情况下，归纳迁移学习设置与多任务学习设置类似。然而，归纳迁移学习设置的目的仅在于通过从源任务迁移知识来提高目标任务的性能，而多任务学习试图同时学习目标任务和源任务
- 源域中没有标记数据可用。在这种情况下，归纳迁移学习设置与Raina等[22]首次提出的自学学习设置类似。在自学学习设置中，源域和目标域之间的标签空间可能不同，这意味着源域的辅助信息不能被直接使用。因此，它类似于归纳迁移学习设置，在这里源域中标记数据是不可用的。
- 在转导迁移学习设置中，源任务和目标任务是相同的，而源域和目标域是不同的。在这种情况下，目标域中没有标记数据可用，而源域中有大量标记数据可用。另外，根据源域和目标域的不同情况，我们可以进一步将转导迁移学习设置为两种情况
- 源域和目标域之间的特征空间不同，XS！= XT。
-
域之间的特征空间是相同的，XS = XT，但输入数据的边
全文共6587字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[11114]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
