英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
深度复数网络
摘要
目前，绝大多数深度学习的构建块，技术和架构都基于实值操作和表示。然而，最近有关递归神经网络和较早的基础理论分析的研究表明，复数可能具有更丰富的表征能力并且可以促进抗噪内存检索机制。尽管它们具有吸引力和开发全新神经架构的潜力，但是由于复值深度神经网络没有设计这些模型所需的构建块已经被边缘化了。在这项研究中，我们为复值深度神经网络提供了关键的的原子成分并且将其应用于卷积前馈网络。更确切的说，我们依赖复杂卷积以及用于复杂批量标准化的现有算法，复值神经网络的复权初始化策略并且将它们用于端到端训练方案的实验中。我们证明了这种复值模型相对于它们的实际价值来说有能力实现可比甚至有更好的性能。我们使用MusicNet数据集在几个计算机视觉任务和音乐转录上测试了深度复数模型，并且实现了最好的性能。
1 引言
最近的研究在涉及学习深度神经网络架构困难的方面取到了重大进展。关键创新包括规范化技术[Ioffe and Szegedy, 2015, Salimans and Kingma, 2016]和类似于高速网络的门控前馈神经网络的出现[Srivastava et al., 2015]。残差网络[He et al., 2015a, 2016]已经成为训练非常深度的卷积神经网络(CNNs)的最受欢迎和最有效的策略之一。高速网络和残差网络都可以通过为简单梯度流向下层网络提供捷径减少梯度消失的影响[Hochreiter, 1991]。 He et al. [2016]表明学习层显示残差有助于避免梯度消失的问题并且提供了一种更容易优化的网络。批量标准化[Ioffe and Szegedy, 2015]证明了标准化网络中间层的激活跨越了一个小批次充当强大的正则化者，并且提供了更快的训练和更好的聚合属性。此外，输出层标准化的这些技术由于梯度消失和梯度爆炸的问题在深层架构中变得具有决定性作用。
基于复数的表现作用开始受到越来越多的关注，由于它们具有更容易优化的潜力[Nittam 2002]，更好的泛化特征[Hirose and Yoshida, 2012]，更快的学习[Arjovsky et al, 2015, Danihelka et al., 2016, Wisdom et al., 2016]，并考虑了噪声鲁棒性的记忆机制[Danihelka et al., 2016]。Wisdom等人[2016] and Arjovsky等人[2015]表明在递归神经网络中使用复数可以使网络具有更丰富的表征能力。Danihelka等人[2016]提出了一种 [Hochreiter and Schmidhuber, 1997]增强了具有复值内部表示的联想记忆的LSTM架构。它们的工作突出了在检索和插入关联记忆中使用复值表示的优势。在残差网络中，每个程序段的输出会通过累加被添加到输出历史记录中直到该点。有效的检索机制有助于提取有用的信息并在程序段内处理它。
为了利用复数表示提供的优势，我们提出了复值深度神经网络的构造组件的一般公式，并将应用于上下文前馈卷积网络。我们在本文中的贡献如下：
- 第3.4节描述的复杂批量标准化的公式；
- 第3.5节中介绍的复数权重初始化；
- 第4.2节中介绍的多乐器音乐转录数据集的最新技术成果。
我们在三个标准的图像分类基准中证明了深度复数网络的有效性-CIFAR-10,CIFAR-100，街景牌号码(SVHN)，和MusicNet数据集上的音乐转录任务。视觉分类任务的结果表明学习复值表示会产生与相应的实值架构相竞争的性能。我们在音乐转录方面的可期待的结果开启了适用于声学相关任务的深度复值神经网络的新视野。
我们接下来讨论使用复数操作和相关研究的动机。
2 动机和相关研究
使用的来自计算，生物，和信号处理的观点的复数参数有很多优势。
从计算的角度来讲，Danihelka等人已经证明了这一点[2016]。使用复数的全息减少表示从联想记忆中获取的上下文信息在数学上是有效和稳定的。Danihelka等人[2016]通过添加到存储器轨迹中将关键值对插入到关联存储器中。虽然通常不这样认为，但是残差网络[He et al., 2015a, 2016]和高速网络[Sricastava et al., 2015]具有与联想记忆相似的架构：每个ResNet的残余路径计算然后插入了一个残差-加入到由身份连接提供的“记忆”中。考虑到残差网络在几个基准测试中取得的巨大成功，以及它们与联想记忆的功能相似性，将两者结合起来似乎很有趣。这激励我们将复数权重和激活函数并入剩余网络。它们一起提供了一种机制，通过该机制可以检索，处理和插入每个残留块中的有用信息。
特征值具有模数1的正交加权矩阵为RNNs中众多周知的梯度消失和爆炸问题提供了新的解决思路。单一RNN[Arjovsky等，2015]基于单一权重矩阵，它是正交权重矩阵的复数泛化。与它们的正交对应物相比，单一矩阵提供更丰富的表示，例如能够实现离散傅里叶变换，并且因此发现了频谱表示。Arjovsky等人[2015]展示了这种递归神经网络对玩具任务的潜力。Wisdom等人[2016]提供了一种更普遍的学习单一矩阵的框架，并将它们的方法应用于玩具任务和现实世界中的语音任务。
在神经网络中使用复数权重也具有生物学动机。Reichert和Serre[2013]提出了一个生物学上可信的深度网络，它允许用复值神经元构建更丰富和更多样化的表示。复值公式允许用来表达神经元的输出，根据其发射速率及其活动的相对时间表示。复数神经元的振幅代表前者，相位代表后者。具有相似相位的输入神经元在建构性地添加时称为同步的，而异步神经元破坏性的添加并因此相互干扰。这与在深度前馈神经网络[Srivastava et al,. 2015, van den Oord et al., 2016a,b]和递归神经网络使用的门控机制有关联，因为该机制学习将网络给定的前馈层和时间步传播的输入进行同步。在基于深度门控网络的情况下，同步意味着控制门同时保持高值的输入的传播。这些控制门通常是Sigmoid函数的激活。这种考虑相位信息的能力可以解释复值表示在递归神经网络环境中的有效性。
相位分量不仅从生物学角度来看是重要的，从信号处理角度来看也是重要的。已经表明，语音信号中的相位信息影响其可理解性[Shi et al., 2006]。Oppenheim和Lim [1981]表明，在图像阶段呈现的信息量足以恢复大部分的编码信息。事实上，相位提供对象的详细描述，因为它对形状，边缘和方向进行编码。
最近，Rippel等人 [2015]利用卷积神经网络的傅立叶频谱表示法，提供了一种用于参数化谱域中的卷积核权重的技术，并对信号的频谱表示进行汇集。 然而，作者避免执行复值卷积，而是从空间域中的实值内核构建。为了确保谱域中复数的参数化映射到实值核上，作者对谱域权重施加共轭对称约束，使得当逆傅里叶变换应用于它们时， 它仅仅是有实值的内核。
正如Reichert和Serre [2013]所指出的，复值神经网络[Georgiou and Koutsougeras, 1992, Zemel et al., 1995, Kim and Adalı, 2003, Hirose, 2003, Nitta, 2004]早在最早的深度学习突破之前被使用[Hinton et al., 2006, Bengio et al., 2007, Poultney et al., 2007]。最近Reichert和Serre [2013]，Bruna等人[2015]，Arjovsky等人[2015]，Danihelka等人[2016]，Wisdom等人[2016]试图通过为使用复值深度网络提供理论和数学动机来更深入地关注深度复数神经网络的有用性。然而，据我们所知，最近除了Oyallon和Mallat [2015]，Tygert等人[2015]的一些研究外，大多数使用复值网络的研究都被应用于玩具任务。报告了CIFAR-10结果的Wisdom等人[2016]还执行了一个真实世界的语音任务，这项任务包括预测未来短时内傅里叶变换帧的对数幅度。为了开发适当的工具和用复数参数训练深度神经网络的一般框架，还有很多工作要做。
考虑到使用复值表示的有说服力的理由，缺少这样的框架说明了机器学习工具的缺陷，我们通过为深度复值神经网络提供一组构建模块来填补这些缺陷，使它们能够得到类似于真实世界任务的实际值。
3 复数的构建块
在本节中，我们展示了我们研究的核心，为实现深度神经网络的复数构建模块奠定了数学框架。
3.1 复数表示
我们首先概述在我们的框架中表示复数的方式。复数z = a ib具有实部a和虚部b。 我们将复数的实部a和虚部b表示为逻辑上不同的实值实体，并在内部用实值运算模拟复数运算。考虑一个具有N个特征映射的典型实值二维卷积层，使得N可被2整除; 为了将它们表示为复数，我们分配第一个N/2个特征映射来表示真实分量，其余的N/2来表示虚拟分量。因此，对于将Nin输入特征映射关联到Nout输出特征映射并且其内核大小为mtimes;m的四维权重张量W，我们将得到大小为(Nout times; Nin times; m times; m) /2个复权重的权重张量。
3.2 复数卷积
为了在复域中执行等价的传统实值二维卷积，因为我们使用实值实体来模拟复数的算术，所以我们用一个复向量h = x iy对一个复过滤矩阵W = A iB进行卷积，其中A和B是实矩阵，x和y 是实向量。由于卷积算子是分布式的，因此我们可以通过滤波器W对向量h进行卷积：
W lowast; h = (A lowast; x - B lowast; y) i (B lowast; x A lowast; y) (1)
如果我们用矩阵符号表示卷积运算的实部和虚部，我们有：
(2)
这在1a中进行了说明。
3.3 深度复数网络中的深度和宽度
在本节中，我们发现对于给定的参数预算，复杂的前馈结构可能会比实际结果更宽更深。
为了简单起见，我们假设我们有一个深度前馈网络，每层有N个单元，深度为L。对于一个复数的前馈网络，这相当于每层有N/2个复数单元。对于给定层，每个实部和虚部权重的参数数目将等于N/2times;N/2，这意味着当我们将两者相加时有N2/2。另一方面，对于一个实值前馈网络，给定层的参数总数将等于N 2。我们可以看到，复值体系结构允许将总权重的数量减半，所以会比给定参数配置的真实对象更宽。整个网络的总的复数参数数量为(N 2/2)L = (N/)2L。对于实值对象，参数的数量将等于(N)2L。我们可以清楚地看到，对于一个给定的宽度和深度，实数神经网络中的参数数量比复数值要多()2L。这意味着一个复数的体系结构可以比其实际的体系更好地利用深度，因为对于给定的参数预算它可以指数级更深。
3.4 复杂批量标准化
深度网络通常依靠批量标准化[Ioffe和Szegedy，2015]来加速学习。 在某些情况下，批量标准化对于优化模型至关重要。 批量标准化的标准公式仅适用于实际值。 在本节中，我们提出可应用于复数值的批量归一化公式。
为了将复数的数组标准化为标准的正态复数分布，对它们进行平移和缩放并不足以使它们的均值为0，方差为1。这种类型的标准化并不能确保实部和虚部两者的均匀变化 ，由此产生的分布可能非常偏心。
我们选择将这个问题作为白化2D向量之一来处理，这意味着通过其两个主成分重每一个的变异平方根来缩放数据。这可以通过将以0为中心的数据（x-E [x]）乘以2times;2协方差矩阵V的平方根来实现：
协方差矩阵V如下
2times;2矩阵的平方根和倒数具有廉价的解析解，它的存在由V的正（半）定性保证。V的正定性通过向V a Tikhonov正则化矩阵中加入I来保证。均值减法和乘以方差的平方根可
全文共18337字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[13289]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
