英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料
翻译
学习任务T T，归纳迁移学习旨在帮助使用D S和T S中的知识来提高DT中的目标预测函数f T（·）的学习，其中T Sne;T T。
基于归纳迁移学习设置的上述定义，需要目标域中的一些标记数据作为训练数据来诱导目标预测函数。如第2.3节所述，此设置有两种情况：（1）源域中的标记数据可用; （2）源域中的标记数据不可用，而源域中的未标记数据可用。在这种情况下，大多数迁移学习方法都关注前一种情况。
3.1实例知识迁移学习
归纳迁移学习设置的实例传输方法直观上吸引人：虽然源域数据不能直接重用，但仍有部分数据仍可与目标域中的少数标记数据一起使用。
戴等人[6]提出了一种增强算法TrAdaBoost，它是AdaBoost算法的扩展，用于解决归纳迁移学习问题。 TrAdaBoost假设源域和目标域数据使用完全相同的一组特征和标签，但两个域中的数据分布不同。此外，由于源域和目标域之间的分布差异，TrAdaBoost假设某些源域数据可能对学习目标域有用，但其中一些数据可能不会有用甚至可能有害。它试图迭代地重新加权源域数据以减少“不良”源数据的影响，同时鼓励“好”源数据为目标域贡献更多。对于每一轮迭代，TrAdaBoost都会对加权的源数据和目标数据进行基分类器训练。该错误仅计算目标数据。此外，TrAdaBoost使用与AdaBoost相同的策略来更新目标域中错误分类的示例，同时使用AdaBoost中的不同策略更新源域中错误分类的源示例。 TrAdaBoost的理论分析也在[6]中给出。
Jiang和Zhai [30]基于条件概率P（y T| x T）和P（y S | x S）之间的差异，提出了一种启发式方法来从源域中去除“误导”的训练样例。廖等人[31]提出了一种新的主动学习方法，通过源域数据的帮助来选择目标域中未标记的数据进行标记。 Wu和Dietterich [53]将源域（辅助）数据集成到SVM框架中以提高分类性能。
3.2特征知识迁移
针对归纳迁移学习问题的特征表示迁移方法旨在找到“良好”的特征表示来最小化领域发散和分类或回归模型误差。对于不同类型的源域数据，找到“好”特征表示的策略是不同的。如果源域中有大量标记的数据可用，则可以使用监督学习方法来构建特征表示。这与多任务学习领域的常见特征学习类似[40]。如果源域中没有标记数据可用，则提出无监督学习方法来构造特征表示。
3.2.1监督特征构建
感应式迁移学习设置的监督功能构建方法与多任务学习中使用的类似。基本思想是学习在相关任务中共享的低维表示。另外，学习到的新表示可以减少每个任务的分类或回归模型错误。 Argyriou等人[40] 提出了一种多任务学习的稀疏特征学习方法。在归纳迁移学习设置中，可以通过解决如下给出的优化问题来学习共同特征。
在这个等式中，S和T分别表示源域和目标域中的任务。 A = [a S，a T]isin;R dx2是一个参数矩阵。 U是用于将原始高维数据映射到低维表示的dtimes;d正交矩阵（映射函数）。 A的（r，p）范数定义为，优化问题（1）同时估计模型的低维表示U T X T，U T X S和参数A。优化问题（1）可以进一步转化为等价的凸优化公式，并得到有效解决。在后续工作中，Argyriou等人[41]提出了一个矩阵上的光谱正则化框架用于多任务结构学习。 Lee等人[42]提出了一个凸优化算法，用于同时学习相关预测任务集合中的元前量和特征权重。元先生可以在不同的任务中迁移。 Jebara [43]提出选择支持SVM的多任务学习功能。 Ruckert等人[54]设计了一种基于内核的归纳传输方法，旨在为目标数据找到合适的内核。
3.2.2无监督特征构造
在[22]中，Raina等人提出应用稀疏编码[55]，这是一种无监督的特征构造方法，用于学习迁移学习的更高层次特征。 这种方法的基本思想包括两个步骤。 在第一步中，通过解决如下所示的优化问题（2）在源域数据上学习高级基向量b = {b 1，b 2，...，b s}
在这个等式中，是输的基础b j的新表示，并且beta;是用于平衡特征构造术语和正则化术语的系数。 在学习了基向量b之后，在第二步中，在目标领域数据上应用优化算法（3），以基于基向量b来学习更高等级的特征。
最后，区分算法可以应用于， 用相应的标签来训练用于目标域的分类或回归模型。 这种方法的一个缺点是在优化问题（2）中在源域上学习的所谓的更高级基本矢量可能不适合用于目标域。
最近，多种学习方法已经适用于迁移学习。 在[44]中，Wang和Mahadevan提出了一种基于Procrustes分析的方法来进行流形对齐，但没有对应关系，可以通过对齐的流形来跨领域传递知识。
3.3参数知识迁移
对于归纳迁移学习设置的大多数参数迁移方法都假定相关任务的各个模型应共享一些参数或先前的超参数分布。本节中描述的大多数方法（包括正则化框架和分层贝叶斯框架）都被设计用于多任务学习。但是，它们可以很容易地进行转换学习。如上所述，多任务学习试图同时和完美地学习源任务和目标任务，而迁移学习仅旨在通过利用源域数据来提高目标域的性能。因此，在多任务学习中，源数据和目标数据的损失函数的权重是相同的。相反，在迁移学习中，不同领域的损失函数的权重可能不同。直观地说，我们可以为目标域的损失函数分配更大的权重，以确保我们可以在目标域中实现更好的性能。
Lawrence和Platt [45]提出了一种基于高斯过程（GP）的称为MT-IVM的高效算法来处理多任务学习案例。 MT-IVM试图通过先前共享相同的GP来学习高斯过程的多个任务的参数。 Bonilla等人[46]还调查了GP的背景下的多任务学习。作者提出在任务上使用自由形式协方差矩阵来建立任务间依赖关系，其中GP先验用于诱导任务之间的相关性。 Schwaighofer等人[47]提出与GP一起使用分层贝叶斯框架（HB）进行多任务学习。
除了迁移GP模型的先验知识之外，一些研究人员还提出了在正则化框架下迁移SVM的参数。 Evgeniou和Pontil [48]将HB的想法借用于支持向量机进行多任务学习。所提出的方法假设每个任务的SVM中的参数w可以分成两个项。一个是任务的通用术语，另一个是任务特定的术语。在归纳迁移学习中，w S = w 0 v S和w T = w 0 v T，
其中，w S和w T分别是源任务和目标学习任务的SVM的参数。 w 0是通用参数，而v S和v T分别是源任务和目标任务的特定参数。通过假设f t = w t·x为任务t的超平面，可以将SVMs扩展为多任务学习案例如下：
通过解决上述优化问题，我们可以同时学习参数w 0，v S和v T。 几位研究人员进一步追求参数转换方法。 Gao等人[49] 提出了一个局部加权的集成学习框架来组合多个传递学习模型，其中根据模型对目标域中每个测试示例的预测能力动态分配权重。
3.4相关知识迁移
与其他三种情境不同，关系知识迁移方法处理关系域中的迁移学习问题，其中数据是非i.i.d。并且可以用多种关系来表示，例如联网数据和社交网络数据。这种方法并不假定从每个领域获得的数据都是独立的，并且与传统假定的相同（i.i.d.）。它试图将数据从源域迁移到目标域。在这种情况下，提出统计关系学习技术来解决这些问题。
Mihalkova等人[50]提出了一种TAMAR算法，该算法通过关系域将关系知识与马尔可夫逻辑网络（MLN）进行关联。 MLNs [56]是一种强大的形式主义，它结合了一阶逻辑的紧凑表达和概率的灵活性，用于统计关系学习。在MLN中，关系域中的实体由谓词表示，并且它们的关系用一阶逻辑表示。 TAMAR的动机是，如果两个域相互关联，则可能存在映射来连接实体及其从源域到目标域的关系。例如，一位教授可以被视为在学术领域扮演与工业管理领域的经理一样的角色。另外，教授和他或她的学生之间的关系类似于经理和他或她的工人之间的关系。因此，可能存在从教授到管理者的映射以及从教授 - 学生关系到管理者 - 工作者关系的映射。在这种情况下，TAMAR尝试使用为源域学习的MLN来帮助学习目标域的MLN。基本上，TAMAR是一个两阶段算法。在第一步中，基于加权伪对数似然测度（WPLL），从源MLN到目标域构建映射。在第二步中，通过FORTE算法对目标域中的映射结构进行修改[57]，这是一种用于修正一阶理论的归纳逻辑编程（ILP）算法。修订后的MLN可以用作目标领域推理或推理的关系模型。
在AAAI-2008复杂任务迁移学习研讨会4中，Mihalkova等[51]将TAMAR扩展到单一实体为中心的迁移学习设置，其中目标域中只有一个实体可用。戴维斯等人[52]提出了一种基于二阶马尔可夫逻辑形式的关系知识迁移方法。该算法的基本思想是通过使用谓词变量以马尔可夫逻辑公式的形式发现源域中的结构规则，通过用来自目标域的谓词实例化这些公式。
4 T传导性T转换L收益
Arnold等[58]首次提出了转导性迁移学习这一术语，他们要求源和目标任务是相同的，尽管域可能不同。除了这些条件之外，他们还要求目标域中的所有未标记数据都可以在培训时使用，但我们相信这种情况可以放松;相反，在我们对直接迁移学习设置的定义中，我们只需要在训练时间看到部分未标记的目标数据，以获得目标数据的边际概率。
请注意，“transductive”一词有几个含义。在传统的机器学习设置中，传导学习[59]指的是在训练时需要看到所有测试数据，并且学习模型不能用于未来数据的情况。因此，当一些新的测试数据到达时，它们必须与所有现有数据一起分类。在我们对迁移学习的分类中，相反，我们使用术语转导来强调在这种类型的迁移学习中，任务必须是相同的，并且目标域中必须有一些未标记的数据可用。
定义3（导师迁移学习）给定一个源域DS和相应的学习任务TS，一个目标域DT和一个相应的学习任务TT，导师迁移学习旨在改进DT中目标预测函数f T（·）的学习使用DS和TS中的知识，其中DSne;DT和TS = TT。另外，一些未标记的目标域数据必须在培训时提供。
这个定义涵盖了Arnold等[58]的工作，因为后者考虑了域适应，其差异在于源和目标数据的边际概率分布;即任务是相同的，但域是不同的。
与传统的传导学习设置类似，传统学习设置旨在最大限度地利用未标记的测试数据进行学习，但在我们的分类方案中，我们还假设给出了一些目标域未标记的数据。在上述直接迁移学习的定义中，源任务和目标任务是相同的，这意味着可以通过一些未标记的目标域数据来调整源域中学习到的预测功能以用于目标域。如第2.3节所述，该设置可以分为两种情况：（a）源域和目标域之间的特征空间不同，XSne;XT;（b）域之间的特征空间相同，XS = XT，但输入数据的边际概率分布不同，P（XS）ne; P（XT）。这与领域适应和样本选择偏倚的要求相似。以下各节中介绍的大多数方法都与上面的情况（b）有关。
4.1实例知识迁移学习
大多数实例迁移方法的转导式迁移学习设置的动机是重要性采样。 为了了解基于抽样的方法在这种情况下的重要性，我们首先回顾经验风险最小化（ERM）的问题[60]。 一般来说，我们可能想通过最小化预期风险来学习模型的最优参数theta;*，
其中l（x，y，theta;）是一个取决于参数theta;的损失函数。 然而，由于很难估计概率分布P，我们选择最小化ERM，
其中n是训练数据的大小。
在转导式迁移学习设置中，我们想通过最小化预期风险来学习目标域的最优模型，
然而，由于在训练数据中没有观察到目标域中的标记数据，我们必须改为从源域数据中学习模型。 如果P（D S）= P（D T），那么我们可以简单地通过求解以下用于目标域的优化问题来学习模型，
否则，当P（D S）ne; P（D T）时，我们需要修改上述优化问题，以学习一个对目标域具有高泛化能力的模型，如下所示：
因此，通过为每个实例（，）添加不同的惩罚值以及相应的权重，我们可以学习目标域的精确模型。 而且，由于P（Y T | X T）= P（Y S | X S）。因此，因此，P（D S）和P
全文共9012字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[11115]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
