英语原文共 353 页
摘要
我们研究了Karhunen-Loegrave;ve变换（KLT）在变换编码应用中的性能。长期以来，KLT一直被视为对正交变换矢量源的系统进行最佳可用块变换，标量使用最佳比特分配量化变换矢量的分量，然后对矢量进行逆变换。本文讨论非高斯源的固定速率和可变速率变换代码。固定速率方法使用最优固定速率标量量化器来描述变换系数;可变速率方法使用均匀的标量量化器，然后是最优熵代码，并且每个量化分量被单独编码。早期工作表明，对于可变速率情况，存在KLT不是唯一的源，并且与“最差”KLT匹配的最佳量化和编码级产生比最佳量化和编码差1.5dB的性能。阶段与“最佳”KLT相匹配。在本文中，我们强化了这一结果，表明在固定速率和可变速率编码框架中都存在使用“最差”KLT的性能损失可以任意大的源。此外，我们在两个框架中都证明存在即使是最好的KLT也会给出次优性能的来源。最后，我们证明即使对于KLT产生独立系数的矢量源，KLT对于固定速率编码也可能是次优的。
关键词：比特分配，有损源编码，量化，变换编码。
简介
Karhunen-Loegrave;ve变换（KLT）在许多学科中发挥着重要作用，包括统计模式匹配，滤波，估计理论和源编码，并且已经应用于某些图像编码（例如， [1]）。在这些应用的大多数中，已知KLT在各种意义上是“最佳的”。本文研究了KLT对源编码的最优性。KLT在源编码中的主要应用是标量量化变换编码。在这种类型的转换代码中，将输入向量线性变换为同维的另一个向量，然后使用系数上的独立标量量化器向解码器描述该矢量的分量。我们同时考虑了固定利率码和可变速率码。固定速率码使用最优固定速率标量量化器；可变速率码采用均匀标量量化，然后对每个量化分量分别进行最优熵编码。解码器对量化后的变换向量进行重构，然后用线性变换得到原始输入矢量的估计值。在这两种情况下，我们的目标都是找到一对线性变换，并在标量量化器之间分配一个平均位预算，从而最大限度地减少端到端的失真。在本文中，我们将失真测量为均方误差(MSE)。与最佳可实现的矢量量化器不同，最佳可实现的的转换码通常是次优的。然而，变换码已经成为理解最优量化和低复杂度代码设计的重要模型。在[2]中，Huang和Schultheiss证明了如果矢量源是高斯的，并且比特预算是渐近大的，则KLT变换及其逆变换是固定速率编码的最优变换对。在最近的一篇论文中，戈亚尔、庄和维特里([3，p.1628，定理6的证明1)和Telatar([3，p.1629，定理6的证明2])通过证明KLT对于高斯输入是最优的，而不作任何高分辨率的假设，从而改进了这一结果。其结果既适用于固定速率编码模型，也适用于可变速率编码模型.
直观地说，KLT在高斯源变换编码中的最优性通常是由这样一种断言来解释的：标量量化比依赖的随机变量编码更适合于独立随机变量的编码。因此，高斯源变换编码的KLT的最优性被认为是高斯矢量的KLT产生独立变换系数的结果。然后，利用KLT系数去相关对一般信源而言，对期望系数独立性的最佳逼近，证明了KLT在非高斯源变换编码中的应用。在[4]中，科斯奇曼指出，如果我们放弃最优比特分配，而强制将固定数目的变换系数量化为零，其余分量则被无限精确地量化，那么对于任何平稳源，KLT都会使MSE在所有可能的正交变换(即“区域编码”)的选择上最小化(这就是所谓的“区域编码”)。虽然这个结果没有解决比特分配问题，但它似乎进一步支持了上述直觉。多年来，这种直觉一直被认为是理所当然的，在文本和学术期刊中出现了许多关于转换编码的KLT的“最优性”的引用。
在这篇文章中，我们一条条地考察了这种直觉，展示了它的失败和成功。所有结果都适用于高速率极限(虽然有些也适用于较低的速率)和非高斯源，包括一些“近高斯”源。首先，我们考虑了样本去相关问题，证明了在固定速率和可变速率变换编码中，样本去相关不是变换最优性的充分必要条件。然后，我们证明了在固定速率情况下，即使在解相关产生系数独立的情况下，klt也可能无法获得最优性能。最后，我们证明了在变速率情况下，对于解相关产生系数独立的例子，klt保证了在适当光滑分布的高分辨率极限下的最优性能。请注意，在可变速率编码框架中，每个量化的组件分别编码.通过考虑KLT不唯一的例子，证明了样本去相关不足以实现变换编码的最优性，并证明了对于这些例子，KLT的某些选择给出了次优变换编码的性能。第一个这样的例子出现在[5]中，它表明了一个最优的可变速率转换码(即，与“最差”klt匹配的量化和编码阶段比与“最佳”klt匹配的最优可变速率变换码的信噪比(SQNR)更差1.5 dB，同时也证明了以前对更一般源的一些直觉是无效的。在本文中，我们扩展了这一结果，以证明在固定速率和可变速率转换编码场景中，使用最坏的klt而不是最佳klt的性能损失是非常大的。这一结果发生在接近零失真的情况下，其中小的失真变化会使SQNR变化非常大。证明的基本思想是，当向量由独立的、同分布的(i.i.d)随机变量，然后各种线性变换往往使源看起来更符合高斯分布，从而“更难”压缩(例如，参见[6])。
然后，我们证明，即使是最优(或仅)的KLT也能提供次优的编码性能。我们证明了存在非高斯源，与其用标量量化最佳KLT的不相关系数，倒不如用标量量化相关源符号。这些结果既适用于固定速率编码，也适用于可变速率编码.为了验证标量量化对独立随机变量的性能优于非独立随机变量的直觉，我们考虑了KLT产生独立变换系数的依赖源向量的例子。对于固定速率编码场景，我们发现一个例子证明了这种直觉也是不正确的。特别地，我们证明了存在着相关信源符号的最优固定速率标量量化比独立KLT系数的最优固定速率标量量化更好的性能。
相反，对于可变速率编码场景，我们证明了当应用高速率近似时，产生独立系数的变换对于可变速率编码是最优的。
本文的其余部分按以下方式组织。第二节介绍背景材料、符号和定义。第三章列出了我们的主要结果。这些定理在第IV-VI节中的证明。
1 序言
用获得的离散随机变量Z的熵定义为
（1-1）
用概率密度函数(PDF)表示连续随机变量的差分熵
（1-2）
如果z是一个具有分量的连续随机向量，然后定义数量
（1-3）
通常定义来表示一个均值为m方差为的标量高斯随机变量的概率密度函数
（1-4）
设源为具有实分量的n维随机向量(视为列向量).在不损失一般性的情况下，我们假设每个分量都有均值为零，给出协方差矩阵
（1-5）
让转置矩阵T为一个ntimes;n且元素为实数的矩阵，并且
用系数表示变换后的随机向量。我们将注意力限制在正交变换上,因为它足以证明KLT在该类上的次最优性.具有分辨率位的标量量化器是映射Q:IR→IR，其范围(称为码本)具有基数。具有分辨率Q的固定速率标量量化器r的速率是
（1-6）
用可变速率标量量化器Q描述源的速率是
（1-7）
对Lebesgue测度，并具有有限的正次矩。然后
（1-8）
2. 定理摘要
定理III.1：无论是固定速率编码还是可变速率变换编码，都存在着变换编码的最佳KLT比最坏的变换编码KLT的编码增益可以任意大的来源。
因此，去相关在固定速率和可变速率变换编码中都不足以达到最优性.接下来，我们证明了在固定速率和可变速率变换编码中，即使是最佳(或仅)的klt也可以是次优的。
定理II.2：在固定速率和可变速率变换编码中，存在对变换编码的最佳KLT上的运算-时间变换的编码增益严格地大于的源。
因此，去相关不仅对最优性是不够的，而且对最优性也是不必要的。第五节中证明这一结果的例子表明，选择去装饰变换可以排除某些源的最优性。接下来，我们考虑KLT是唯一的，去相关产生独立的变换系数的源。第一节中描述的学费建议KLT在这个编码框架中是最优的。在定理III.3中，我们证明了这种直觉对于固定速率变换编码是错误的.
定理III.3：存在KLT唯一且产生独立变换系数的源，但对于固定速率变换编码，KLT并不是最优的。
定理III.4：IfaKLT乘积独立于变换系数，则该KLT是可变速率变换编码的最优解。
在定理III.1中，我们开始显示，解相关对于变换编码的最优性是不够的。我们通过检验KLT不唯一的来源证明了第四节中的这个定理。虽然每个KLT都是一个去相关变换，但存在KLT不是唯一的源，并且所有的KLT都不是同样好的。特别是，我们展示了以下结果。
我们在第IV-B节中证明了KLT对于可变速率编码是最优的。
注意，所有的结果都涉及到高分辨率意义下的最优性.
变换编码器是一个系统，它通过将变换成，然后将独立的标量量化器应用到的每个变换系数Yi上。因此，具有变换T和量化器的变换编码器的每符号
（2-1）
期望速率是
（2-2）
用于固定速率变换编码和
（2-3）
（2-4）
是向量的标量量化分量的向量，两个任意n维向量和之间的欧氏距离表示为
（2-5）
给定每个符号R比特的平均速率预算和固定的R变换，基于T的固定速率转换码的操作失真率函数定义为
（2-6）
其中我们定义了，使得当且仅当是一个均匀的标量量化器，无论何时。当T是恒等矩阵T时，我们去掉下标，用和分别表示与经典固定速率标量比特分配问题和变速率单位形式标量比特分配问题对应的最小均方误差。
变换编码的最优性通常是在渐近意义上考虑的(例如，[7])。
（2-7）
（2-8）
然后和给出完美描述源所需的最小速率，而用于连续源。用变换T1代替变换T2得到的固定速率和可变速率编码增益分别定义为
（2-9）
（2-10）
（请注意，这两个极限的存在是因为分子和分母的极限存在，因为它们在R中是单调不增加的。）每个编码增益描述了相关的最优变换编码器之间的渐近性能差距。以分贝为单位测量的增益为和。
正交变换T*对于源上的固定速率变换编码(如果)和对(如果)上的可变速率变换编码(对于所有正交变换T)来说都是最优的。下面的所有结果都是关于这个渐近意义上的最优性的。源的KLT是由n✖️n正交矩阵给出的线性映射，使得是对角矩阵。矩阵T去关联随机向量因为
（2-11）
一个源可能有多个KLT(例如，任何每突变矩阵都是具有不相关成分的源的KLT)
引理二.1：(Huang and Schultheiss，1963 in[2])任何KLT对于高斯信源的固定速率变换编码都是最优的。引理II.1也适用于非高斯源.我们认为标量随机变量的pdf是相当平滑的，如果在足够高的速率下，映射到相同再现值的所有符号的pdf接近均匀密度。我们使用这个有点松散的定义，就像在[7]中所做的那样，以避免繁琐的计算和分散注意力的计算。给定一个向量源，每个维度上的边缘pdf都相当平滑，以下是Huang和Schultheiss[2]的高速率位定位结果(另见[7，第228至232页])。我们使用符号
|
|
（2-12） |
引理二.2：设是一个随机向量，具有iiii的边缘pdf 和分量方差。如果相当平滑，那么
（2-13）
应该注意的是，引理II.2允许固定速率量化器的速率在实践中无法实现(例如，非整数速率)。然而，这一结果限制了可实现的结果，并提供了有用的理论直觉.在变速率编码中，运算时间可变速率标量量化器性能的高速率近似给出了类似的比特分配结果。这个结果还描述了由熵编码降低的均匀标量量化器的渐近性能(例如，[7，pp.296]，[8])。引理II.3的证明与引理II.2的证明非常相似，见附录。
引理II.3：设是一个随机向量，其边缘密度绝对连续于Lebesgue测度，且具有有限的正次矩。那么有
（2-14）
3.klt并不是总是最优的
在这一节中，我们给出了定理III.1的证明。也就是说，我们在固定速率和可变速率转换编码框架中都表明，存在着KLT不是唯一的源，而“最佳”kLT比“最差”klt产生无限的编码增益。这两个框架的结果依赖于以下一系列示例。
假设具有边际pdfs 的源被定义为。
这里，随机向量的分量是I.D。随机变量具有合理光滑的边缘pdfs和正方差，B是一个n✖️n的正交矩阵.设和分别表示和的协方差矩阵。对于任意正交矩阵B有，其中其中III表示-维恒等矩阵。也就是说，的任何旋转都会产生不相关的随机向量，因此任何变换矩阵都是的合法KLT。虽然的KLT不是唯一的，但KLT的实际实现(例如，House Holder约简和基于矩阵的正交-下三角分解或Jacobi算法[9]的带隐移位的QL算法)给出了恒等矩阵作为的KLT。因此，在的最优变换编码器中使用KLT实际上相当于对原始源进行最优比特分配，然后对原始源进行标量量化。因此，我们计算了变换相对于实际实现的KLT的编码增益。
固定速率编码
利用引理II.2，变换过变换的固定速率编码增益为
（3-1）
对于可变速率编码，使用引理II.3，如果画出I.D.根据有限方差和差分熵的比较光滑的pdf ，可得到任意变换T上变换B的可变速率编码增益。
其中。那么
（3-2）
因为是独立的。T和
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
