英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
域适应的最优传输
Nicolas Courty, Remi Flamary, Devis Tuia, IEEE高级会员，Alain Rakotomamonjy, IEEE会员
摘要领域自适应是现代数据分析中最具挑战性的任务之一。如果正确地进行了调整，那么在面对描述相同类但由另一个观察系统描述的数据时，基于特定数据表示的模型将变得更加健壮。在众多被提出的策略中，发现领域不变表示具有优异的性能，特别是因为它允许训练一个在所有领域都有效的唯一分类器。在本文中，我们提出了一个正则化的无监督最优传输模型来实现源域和目标域的表示对齐。我们学习了一个与两个pdf匹配的传输计划，该计划限制源域中相同类的标记样本在传输过程中保持关闭状态。通过这种方法，我们同时利用了源中的标记样本和两个域中观察到的分布。在玩具上的实验和具有挑战性的真实的视觉适应的例子表明，该方法的兴趣，始终优于现有的艺术方法。此外，数值实验表明，该方法在区域不变深度学习特征上具有较好的性能，可以很容易地适应目标区域标记样本较少的半监督情况。
索引项-无监督域适应，最优传输，转移学习，视觉适应，分类。
1介绍
现代数据分析是基于大量数据的可用性，由各种采集设备以高时间频率感知。但是，由于用于学习决策函数的数据和用于推理的数据往往不遵循相同的分布，大量异构数据也使得学习语义概念的任务更加困难。数据分布中的差异(也称为漂移)是由几个原因造成的，并且与应用程序相关。在计算机视觉中，这个问题被称为视觉适应域问题，即当光照条件、采集设备发生变化，或考虑背景的存在或不存在时，域会发生漂移。在语音处理中，向一个说话人学习并试图将应用程序部署到更广泛的公众中，也可能会受到说话人的背景噪声、音调或性别差异的阻碍。在遥感影像分析中，我们希望利用一个城市影像上定义的标签对另一个城市的土地占用进行分类。在遥感图像概率密度函数(PDF)中观测到的漂移是由多种因素引起的:大气散射的不同校正，采集时的日光条件，甚至是材料化学成分的微小变化。
由于这些原因，一些研究通过开发能够将知识从源域转移到数据具有不同pdf的目标域的学习方法来解决这些漂移问题。在此PDF差异上下文中表示学习
2015年1月收到稿件;2015年9月修订。
作为域适应问题[37]。在这项工作中，我们处理这个问题的最困难的变体，称为无监督域适应，其中数据标签只在源域可用。我们通过假设如果数据经历一个适应阶段(通常是非线性映射)，即两个域看起来更相似，那么漂移的影响就可以减少，从而解决这个问题。
[2]、[36]、[22]等多部理论著作都强调了各域数据概率分布函数之间的散度所起的作用。这些工作引出了一种解决域自适应问题的原则性方法:对数据进行变换，使其分布“更接近”，并利用源域中可用的标签信息学习变换域中的分类器，该分类器可应用于目标域。我们的工作遵循同样的直觉，并建议对源数据进行符合最小工作原理的转换，即对转换成本或度量的影响最小。从这个意义上说，自适应问题可以归结为:i)找到匹配源和目标分布的输入数据的转换，然后ii)从转换后的源样本中学习新的分类器。这个过程如图1所示。在本文中，我们提出了一种基于最优传输的变换求解方法。
摘要最优运输问题近年来引起了人们的广泛关注，其主要原因是最优运输理论可用于计算概率分布之间的距离。这些距离在文献中有几个名称(瓦瑟斯坦、蒙-坎托洛维奇或地球移动距离)，它们有重要的性质:i)它们可以直接根据对分布的经验估计来计算
《IEEE模式分析与机器智能汇刊》第十卷1 X, XX 2
图1:域自适应方法示意图。(左)训练数据集，即源域，测试数据集，即目标域。注意，根据训练示例估计的分类器显然不适合目标数据。(中)一个数据依赖交通地图Tgamma;0估计,用于运输训练样本到目标域。注意这个变换通常不是线性的。(右)运输标记样本用于估计目标域中的分类器。
不需要用非参数或半参数方法平滑它们;ii)通过利用底层度量空间的几何形状，即使分布的支持不重叠，它们也提供了有意义的距离。利用这些特性，我们引入了一种新的无监督域自适应框架，该框架包括基于经验观察学习最优传输。此外，我们还提出了几个正则化术语，以帮助我们更好地学习w.r.t.变换的适应性问题。它们既可以对源域中包含的类信息进行编码，也可以促进邻域结构的保存。提出了一种有效的算法来解决由此产生的正则化最优运输优化问题。最后，通过对最优传输优化问题进行简单而优雅的修改，该框架还可以轻松扩展到目标域中可用标签很少的半监督情况。
本节的其余部分将介绍相关的工作，而第2节将正式讨论无监督域适应问题，并讨论如何使用最优传输来解决该问题。第3节介绍了最优传输及其规范化版本。第4节给出了为适应域适应约束而定制的正则化术语。第5节讨论了有效求解正则最优运输问题的算法。第6节通过合成和实际示例评估我们的领域适应框架的相关性。
1.1相关的工作
领域适应气候变化。域适应策略可以大致分为两类，这取决于它们是否假设目标域中存在少量标签(半监督DA)(非监督DA)。
在第一类中，已经提出的方法包括使用源样本和转换后的目标样本[42]、[32]、[29]之间的内积来搜索在两个领域都有区别的投影。针对目标域标记样本落在源数据训练的大边缘分类器的正确一侧的学习投影，也提出了[27]。此外，本文还介绍了基于两两约束下共同特征提取的领域适应策略[26]、[52]、[47]。
第二个系列解决域适应问题，就像本文中假设的那样，目标域中没有可用的标签。除了处理示例重加权[46]的工作外，许多工作还考虑为这两个(或多个)域找到一个共同的特征表示。由于这种表示或潜在空间对所有域都是通用的，因此可以使用源域的投影标记样本来训练一般的分类器[18][38]。一种常见的策略是提出一些方法，目的是找到在某种意义上与域匹配的表示形式。例如，可以通过匹配特征空间[38]中的域的方法，通过关联[33]对域进行对齐，或者使用成对约束[51]来实现自适应。在这些工作中，特征提取是寻找嵌入所有域共享的判别信息的公共潜在空间的关键工具。
最近，通过考虑基于特征表示逐步对齐的策略，重新研究了无监督域自适应问题。在[24]中，作者从一个假设出发，即在比较渐进失真时，可以更好地估计域适应。因此，他们使用沿格拉斯曼测地线的两个域的中间投影来连接源特征向量和目标特征向量。在[23]、[54]中，利用
《IEEE模式分析与机器智能汇刊》第十卷1 X, XX 3.
一个geodesic-flow内核。虽然这些方法的优点是提供了易于计算的样本外扩展(通过将不可见的样本投影到潜在空间特征向量上)，但是定义的转换仍然是全局的，并以相同的方式应用于整个目标域。在[53]中找到了一种将样本重加权逻辑与表示转移相结合的方法，作者通过使用代理核将样本重加权扩展到核希尔伯特空间的再现。所实现的转换也是一个全局线性转换，它有助于域的对齐。
我们的建议与上面所讨论的有很大的不同，因为它为源域中的每个示例定义了一个本地转换。在这个意义上，域适应问题可以看作是一个[35]、[10]、[11]的图匹配问题，因为每个源样本都必须在边际分布保持的约束下映射到目标样本上。
最优运输和机器学习。最优输运问题最早由法国数学家加斯帕德·蒙格(Gaspard Monge)在19世纪中叶提出，作为一种寻找将给定质量的泥土输进给定孔的最小努力解的方法。这个问题在20世纪中期Kantorovitch[30]的工作中再次出现，最近发现了令人惊讶的新发展，作为解决[49]几个基本问题的多价工具。它被广泛应用于计算流体力学[3]、图像处理[40]、[20]、[5]背景下的多幅图像之间的颜色传递或变形、计算机图形学[6]中的插值方案、经济学等领域，通过求解[12]的匹配和平衡问题。
尽管具有吸引人的特性和成功的应用案例，机器学习社区直到最近才考虑最优传输(例如，请参见计算直方图[15]之间的距离或图[45]中的标签传播);主要原因是最优运输方案的计算造成了较高的计算成本。然而，新的计算策略出现了[15]、[17]、[5]，使得OT距离在操作环境中的应用成为可能。
标准学习范例假设的存在一组训练数据x = { x }我Ns i = 1与一组相关的类标签y = { y我} Ns i = 1,y我isin;C,一套测试Xt = { Xt我} Nt i = 1与未知的标签。为了推断的标签集欧美Xt,通常依赖于一个实证估计的联合概率分布P(x,y)isin;(Ωtimes;C)从(x,y),并假设x和Xt是来自相同的分布P(x)isin;(Ω)。
2.2领域自适应作为一个运输问题
领域适应问题,在一个假设的存在两个不同的联合概率分布p(x,y)和Pt(xt,y),分别与源和目标域,指出Ωs和Ωt。在下面,micro;smicro;t各自的边际分布在x我们也表示fs和英国《金融时报》真正的标签功能,即贝叶斯决策函数在每一个领域。
以下两种假设中至少有一种通常是由大多数领域适应方法做出的:
bull;类不平衡:两个域的标签分布不同(Ps(y) 6= Pt(y))，但样本对标签的条件分布相同(Ps(xs|y) = Pt(xt|y));
bull;协变量移位:标签对数据的条件分布等于(Ps(y|xs) = Pt(y|xt)，或等价于fs = ft = f)。但是，这两个域中的数据分布应该是不同的(Ps(xs) 6= Pt(xt))。为了使适应技术有效，这种差异需要很小的[2]。
在实际应用中，源域和目标域之间发生的漂移通常意味着边缘分布和条件分布的变化。
在我们的工作中,我们假设域漂移是由于未知,可能输入空间的非线性变换T:Ωs→Ωt。这种转换可能有物理解释(例如，采集条件的变化、传感器漂移、热噪声等)。它也可以直接由生成数据的未知进程引起。此外，我们还假设变换保留了条件分布，即
2最优输运与域适应的应用
在这一节中，我们提出了一般的无监督域自适应问题，并展示了如何从最优传输的角度来解决它。
2.1问题与理论动因
让Ωisin;Rd是一个输入的可测空间维d和C组可能的标签。P(Ω)表示所有概率的措施/Ω的集合。的
Ps(y | x)= Pt(y | T(x))。
这意味着通过变换保留了标签信息，通过方程ft(T(x)) = fs(x)将Bayes决策函数联系起来。
另一个洞察力可以提供关于T变换从概率的角度,T变换图像的测量micro;措施,指出T #micro;,这是一个概率测度Ωt满意
T #micro;(x)=micro;(Tminus;1(x)),forall;xisin;Ωt(1)
《IEEE模式分析与机器智能汇刊》第十卷1 X, XX 4
T是一个交通地图或推动micro;smicro;t如果T #micro;s =micro;t(如图2.所示)。在这种假设下,Xt T #micro;s来自相同的PDF。这为解决适应问题提供了一条有原则的途径:
1)估计micro;smicro;t Xs和Xt(方程(6))
2)找到一个T从micro;smicro;t交通地图
3)用T运输标记好的样品Xs，并从中训练分类器。
在所有可能的变换空间中搜索T是很困难的，需要施加一些限制。在这里，我们建议选择T，使运输成本C(T)最小化为:
C (T) =
Z
Ωs
c (x, T (x)) dmicro;(x), (2)
成本函数的c:Ωstimes;Ωt→R 是一个距离函数的度量空间Ω。可以解释为C (T)所需要的能量移动概率质量micro;x (x)从T (x)。
在文献中已经研究过如何找到这种成本最低的运输方式。例如，Monge所定义的最优运输问题是以下最小化问题的解:
T0 = argmin
T
Z
Ωs
c (x, T (x)) dmicro;(x) T #micro;s =micro;t酸处理
(3)
最优运输[30]的Kantorovitch公式是上述Monge问题的凸松弛。实际上,让我们Pi;定义为所有概率耦合isin;P(Ωstimes;Ωt)与不着边际micro;smicro;t。Kantorovitch问题寻求一般耦合gamma;isin;Pi;Ωs和Ωt之间:
gamma;0 = argmin
gamma;isin;Pi;
Z
Ωstimes;Ωt
c (x, xt) dgamma;(xs, xt) (4)
在这个配方,gamma;可以被理解为一个联合概率测度与不着边际micro;smicro;t如图2.所示。gamma;0也被称为交通规划[43]。它允许定义瓦瑟斯坦秩序pmicro;s和micro;t之间的距离。这个距离的形式是
W p (micro; s ,micro; t )
def
=
?
inf
gamma;isin;Pi;
Z
Ω s times;Ω t
d(x s ,x t ) p dgamma;(x s ,x t )
? 1
p
= inf
gamma;isin;Pi;
( ?
E
x s sim;micro; s ,x t sim;micro; t
d(x s ,x t ) p
? 1
p
) (5)
其中d为距离，对应的代价函数c(xs,xt) = d(xs,xt)p。瓦瑟斯坦距离在计算机视觉社区[41]中也被称为地球移动距离，它定义了空间上可积平方概率的度量
措施。
在其余部分中,我们考虑的平方的2 Eu-clidean距离作为代价函数,c(x,y)= kxminus;yk2 2计算最优运输。因此,我们评估措施之间的距离根据相关方瓦瑟斯坦距离W 2 2欧几里得距离d (x, y) = kxminus;yk2。这种选择的主要理由是，它在实验上平均提供了最好的结果(如补充材料所示)。然而，可以考虑其他更适合于特定数据性质的成本函数，这取决于手头的应用程序和数据表示，如第3.4节中详细讨论的那样。
3正则离散最优传输
<p
全文共20346字，剩余内容已隐藏，支付完成后下载完整资料</p
资料编号：[638]
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
