英语原文共 5 页
深度MIMO检测
摘要：本文主要研究了在多输入多输出MIMO检测环境下，深度神经网络的应用。本文简要介绍了深度学习，提出了一种适合于该检测任务的现代神经网络结构DetNet。我们采用两种MIMO通道：（1）考虑MIMO通道是恒定的（constant），并学习一个特定系统的检测器；（2）考虑MIMO通道为已知的随机分布（parameters are known yet changing），必须设置一个可以适用于多种通道的专门的检测器。最后我们用数值模拟的方法证明了我们所提出的深度MIMO检测器的性能，并与近似消息传递算法和半定松弛方法进行了比较。结果表明，DetNet在提供鲁棒性的同时，可以以较低的复杂度达到很好的检测效果。
关键词：MIMO检测；深度学习；深度神经网络DetNet
第一章 背景介绍
1.1 MIMO检测的背景
二元MIMO检测的设置是简单假设检验中的经典问题。最大似然检测器是一种在误差联合概率最小的时候，对所有的符号进行模拟检测的最优检测器，它可以通过高效的搜索算法实现。比如说球面解码器，它的难点就在于计算复杂度很大，对于许多的应用程序来说不可能实现。所以提出了集中改进的搜索算法，改进复杂度的性能。
实现次优检测算法一直是研究的热点，最常见的次优检测器就是线性接收机，即匹配滤波器，去相关器或者迫零检测器和最小均值检测器。更先进的检测器有决策反馈均衡算法，近似消息传递和半定松弛。目前，AMP和SDR都在许多的实际场景中取得了接近最优的近似度。AMP在实践过程中实现简单而且便宜，但它是一种迭代的方法，在有问题的环境下容易产生分歧。SDR更加强健，复杂度是一种多项式，在实践过程中的应用比较慢。
1.2 机器学习的背景
近年来，机器学习取得了很大的成功，监督学习分类方法类似于统计检测。这两种方法都可以观察到有噪声的数据，并对其来源的离散未知数据输出决策。通常这两个领域的不同就在于，检测理论是基于环境的先验概率模型，而学习是基于实例的数据驱动。在MIMO检测的上下文中，一个模型是已知的，它允许我们根据需要生成更多可能的合成示例。所以，我们采用了另外一种概念，我们将学习解释为从特定的算法类别中选择最佳解码器。经典的检测理论尝试选择最优的未知估计，而机器学习则尝试选择最好的算法来应用。实际上，检测中的假设是未知的符号，而学习中的假设是实际中的检测规则，这也就是说我们每次得到新的观测结果时，都需要应用到检测中涉及到计算的部分。
“深度”这个词与复杂的、具有表达性的算法的使用有关，这些算法也称为架构，通常具有很多非线性的分支和层。深层架构比浅层架构更加具有表现力，但以前认为他们都是不可能优化的。随着大数据，优化算法和计算资源的进步，设计深层体系结构出现了一种方法：展开现有的迭代算法。每次迭代都被视为一个层，算法称为网络。学习从现有算法开始作为初始起点，并使用优化方法来改进算法。
1.3 本文的主要贡献
本文的主要贡献就是介绍了一种用于MIMO检测的深度学习网络：DetNet。DetNet是通过展开投影梯度下降法得出的。仿真表明，它是一种可以实时实现的快速算法，可以实现接近最优的检测性能。其准确性与SDR类似，运行时间比SDR快30倍以上。与另一种具有保证最优性检测的探测器AMP相比，DetNet具有更强的鲁棒性。它在处理病态信道方面表现出了良好的性能，并且不需要了解噪声方差。另外，DetNet通过一次培训就可以在多个模型上执行任务。
1.4 本文中使用到的符号
本文定义正态分布，其中为服从分布的均值，为方差，最小值和最大值均匀分布,黑体大写字母表示矩阵，黑体小写字母表示向量，上标表示转置，表示向量的第个元素。
除非另有说明，不然本文提到的都是独立同分布的高斯矩阵。高斯矩阵就是每个元素都是从正态分布中采样得到的。Rectified Linear Unit(ReLU) 整流线性单元定义为，记作。
在现代神经网络中，默认的推荐是使用整流线性单元ReLU (Rectified Liner Units)，这是一种效果更好、收敛更快的激活函数。整流线性单元易于优化，因为它们和线性单元非常类似。线性单元和整流线性单元的区别就在于整流线性单元在其一半的定义域上输出为零。这使得只要整流线性单元处于激活状态，它的导数都能保持较大，进而保证梯度不仅大而且一致。整流操作的二阶导数几乎处处为 0，并且在整流线性单元处于激活状态时，它的一阶导数处处为 1。这意味着相比于引入二阶效应的激活函数来说，它的梯度方向对于学习来说更加有用。但是整流线性单元存在一个缺陷，就是它们不能通过基于梯度的方法学习那些使它们激活为零的样本。整流线性单元的各种扩展保证了它们能在各个位置都接收到梯度。比如绝对值整流用于图像中的对象识别。
第二章 学习检测
在这一节中，我们阐述了机器学习中的MIMO检测问题，使用标准的线性MIMO模型：
其中是接受到的矢量且，是通道矩阵且，是一个独立的等概率二元符号的未知向量，是具有均值为0，方差为的高斯分布的噪声向量。假设信道状态信息和已知，考虑两种可能出现的情况：（1）固定频道FC（Fixed Channel）：确定并且恒定不变（2）变频道（VC:Varying Channel）:为已知的随机分布。我们的目标是检测,使用的和作为输入估计,步骤如下：
- 选择和确定检测架构：架构指的就是在已知y和H的情况下的一个以为参数的函数(的估计值）。在合理可行的设置下，找出能够使得最大的，通过选择不同的函数和参数设置，就可以得到不同精度和复杂性的检测器。
- 为了找到最佳检测器，我们定义了一个损失函数，用来计算真实值和估计值之间的误差，通过对于参数的改变得到最小的损失函数：
所以学习就被定义为找到最佳的参数，使得架构最大，并且最大限度减小损失。下面我们举例说明架构的选择，以及架构选择对于不同的检测器在准确性和复杂性之间做出权衡的影响。
例一：检测的目标是为了最大限度减小误差，因此选择损失函数为：
然后通过选择具有无界参数化且没有限制的不切实际的灵活架构（x的估计值就是正负1的K维向量）：
然后用ML解码器求得：
该规则在精确度方面是最优的，但需要进行的密集型计算搜索。显然，这个例子是理论性的，因为所有可能的函数的体系结构都不能被参数化，式(1.5)也不能被优化。
例二：另一个极端：假设，也就是不存在噪声。首先，我们考虑固定线性探测器的架构：
其中参数是一个需要优化的K*N的单个固定矩阵，在FC模型中，我们选择作为损失函数，并且最佳解码器是众所周知的解相关器：
结果得到的检测器是一个简单地需要次运算的乘法器，但是结果并不准确。其次，如果我们选择变频率VC的模型，最佳的线性变换就应该是H=0。单个线性解码器不能同时解码任意信道，所以解码器完全无用的。
上面两个例子说明了一个问题：确定体系架构和损失函数对于MIMO检测问题的最佳检测器的选择具有决定性的作用。我们选择的表达能力越强，检测器的精度越高，代价是计算复杂性。
第三章 Deep MIMO 探测器
在本节中，我们提出了一种深度探测器，其架构专为MIMO探测而设计，命名为DetNet检测网络。首先，我们注意到一个高效的检测器不应该直接使用，而是使用压缩的足够统计量（compressed sufficient statistic）：
这暗示了架构中的两个主要成分应该是和。其次，我们采用类似投影梯度下降的方法优化式（1.5）。这种算法会进行下面形式的迭代：
其中是第次迭代的估计值，是非线性的投影算符，是步伐的大小，直观上，每次迭代都是，和的线性组合，然后是一个非线性的投影。我们通过将输入提升到更高的维度并应用深神经网络中常见的标准非线性来丰富这些迭代（这和DetNet层的分布有关）。每个DetNet 层的结构如图1所示：
图1 DetNet中一个单层的结构分布
这产生了以下架构:
其中，提升变量（Lifting variable）帮助跨层传递信息； 是分段线性软符号算子，定义如下
算子根据不同的参数t所得到的图形如图2所示：
图2 对于不同的t，线性软符号函数的值
最终的估计值。在学习阶段优化的DetNet参数为：
由于梯度消失，激活函数饱和，初始化敏感等问题，训练深度网络是一项艰巨的任务。为了应对这些挑战，我们采用了一种考虑所有层输出的损失函数。此外，由于误差依赖于通道的实现，我们决定对这些误差和去相关器的误差进行归一化处理。所以采用以下的损失函数:
其中，这是一种标准的迫零去相关解码器。
我们使用随机梯度下降法的一个变体—Adam Optimizer来训练网络，以优化深度网络。我们在每次迭代时使用5000个随机数据样本进行批量训练，并训练网络进行50000次迭代。为了了解其大致的复杂性，我们在标准的Intel i7-6700处理器上，花费了两天时间学习检测得到我们的数值结果。根据的统计，每个样品独立地由（1.1）式产生。关于噪声，其方差是未知的，因此这也是随机生成的，因此（信噪比）将均匀地分布在其上。这种方法允许我们以检测各种SNR值训练网络。Adam 这个名字来源于adaptive moment estimation，自适应矩估计，如果一个随机变量服从某个分布，的一阶矩是，也就是样本平均值，的二阶矩就是，也就是样本平方的平均值。Adam 算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率。TensorFlow提供的tf.train.AdamOptimizer可控制学习速度。Adam 也是基于梯度下降的方法，但是每次迭代参数的学习步长都有一个确定的范围，不会因为很大的梯度导致很大的学习步长，参数的值比较稳定。AdamOptimizer通过使用动量（参数的移动平均数）来改善传统梯度下降，促进超参数动态调整。
第四章 数值结果
在这个部分，我们通过使用计算机来模拟演示我们所假设的检测器的优势。所有的实验都针对一个30个输入，60个输出的MIMO通道。我们尝试了两个通道：
通道一：FC模型:
在这个模型中，我们选择在一个确定且恒定的病态矩阵上对算法进行测试。取为托普利兹结构。我们可以将这个矩阵称为0.55托普利兹矩阵，它定义了H的奇异值和右奇异向量。在正交矩阵空间中随机均匀地生成左奇异向量，然后通过仿真确定左奇异向量。求解方程组时如果对数据进行较小的扰动，则得出的结果具有很大波动，这样的矩阵称为病态矩阵。判定矩阵是否病态以及衡量矩阵的病态程度通常是看矩阵的条件数的大小,其中为矩阵的逆，‖‖表示对矩阵取某一种范数。称为的条件数,它很大时，称为病态，否则称良态,愈大，的病态程度就愈严重。
FCDN：式(1.10)中描述的DetNet算法有层，大小，大小。使用上述FC模型训练FCDN，专门用于处理特定的病态通道矩阵。
VCDN：与FCDN相同的架构，但训练在VC模型上进行，可以处理任意通道矩阵。FCDN和VCDN的架构相同，但是在训练模型的过程中使用的通道不同，从而最终的模型适用的范围也不一样。
ShVCDN:与VCDN算法相同，但仅使用一个层的浅网络架构。
ZF：这是经典的去相关器，也称为最小二乘或迫零（ZF）检测器。
AMP：近似消息传递算法。该算法可以根据实际情况进行调整，通过3K次迭代实现。
AMP2：与AMP算法相同，但具有误差指定的。以为单位的还有一个额外的偏差。
SDR：基于使用专门定制且高效的内点求解器实现的半定松弛的解码器。
在我们的第一个实验中，我们关注的是信道已知且固定的FC模型。下图3显示了该设置中所有算法的结果。FCDN能够达到与计算代价昂贵的SDR算法相同的准确率，但是在我们的模拟中，SDR算法的检测时间要比FCDN长30倍。AMP不能得到合理的检测精度。值得注意的是，VCDN并不是为这个通道而设计的，但它也能达到很好的准确性。这一结果也同时表明，VCDN在训练阶段对自身进行了泛化，以检测任意随机信道。
图3 检测算法在固定信道内的误码率比较
通道二：VC模型
在该模型中，矩阵是由独立同分布元素随机生成的。每个例子都是在同一个实验中独立生成的。独立同分布指的是量序列或者其他随机变量有相同的概率分布，并且互相独立。随机变量和独立，是指的取值不影响的取值，的取值也不影响的取值.随机变量和同分布，意味着和具有相同的分布形状和相同的分布参数，对离散随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
