英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
无参考图像清晰度评估自回归参数空间
摘要：在本⽂中，我们在自回归 (AR) 参数空间中提出了⼀种新的⽆参考 (NR)/ 盲锐度度量。我们的模型是通过对 AR 模型参数的分析建⽴的，⾸先以逐点的方式 计算局部估计的 AR 系数中的能量和对⽐度差异，然后通过百分位数池化量化图像清晰度以预测总体得分。除了亮度域，我们进⼀步考虑颜⾊信息对视觉感知对锐 度的必然影响，从⽽将上述模型扩展到⼴泛使⽤的 YIQ 颜⾊空间。我们的技术验证是在来⾃四个⼤型图像数据库（LIVE、TID2008、CSIQ 和 TID2013）的具有模糊伪影的⼦集上进行的。实验结果证实了我们的方法优于现有的 NR 算法、最先进的盲 锐度/模糊度估计器和经典的全参考质量评估器的优越性和效率。此外，所提出的 度量还可以扩展到基于双⽬竞争的⽴体图像，并在 LIVE3D-I 和 LIVE3D-II 数据库 上获得⾮常⾼的性能。
索引词 图像清晰度/模糊度、图像质量评估(IQA)、⽆参考(NR)/盲、⾃回归(AR)参数、YIQ 颜⾊空间、⽴体图像、双目竞争。
⼀、引⾔
如今，⼈类消费者对享受⾼质量图像的期望不断提⾼。然⽽，由于带宽和存储介质的限制，图像在最终到达⼈类消费者之前很可能会遭受⼀些典型类型的失真，例如⽩噪声和⾼斯模糊。经典的全参考(FR)图像质量评估(IQA)，假设原始图像和失真图像都是完全已知的，可以评估这些退化⽔平。但原始图像在⼤多数情况下不可⽤，因此是盲/⽆参考 (NR)⾮常需要没有访问原始参考的 IQA 指标。对于噪声估计，这些年来⻅证了相当多的盲算法的出现。尽管已经开发了⼤量的清晰度/模糊度测量方法，但它们的性能指标远低于理 想结果。此外，这种类型的方法在图像处理中具有许多有价值的应⽤，例如⾃动对⽐度增强，超分辨率和去噪。因此，在这项⼯作中，我们致力于引⼊⼀个⾼精度的盲图像清晰度度量。
早期的锐度/模糊度估计尝试主要集中在图像边缘。基于⼀对垂直和⽔平方向的边缘检测器开发了⼀种感知模型。Wu等⼈提出了⼀种盲模糊评估器，通过从模糊图像边缘提取的线扩散函数(LSF)计算点扩散函数(PSF)。作者在测量刚刚注意到的模糊(JNB)因⼦之前计算了8times;8块中的边缘宽度。受JNB成功的启发，累积检测模糊概率(CPDB)算法通过计算每个边缘的模糊概率来预测图像清晰度。
在过去的⼏年里，也有⼀些盲测技术在评估感知锐度方⾯取得了⼀定程度的成功。作者结合了基于空间和变换的特征来引⼊⼀种混合方法，称为光谱和空间锐度(S3)。具体来说，⾸先使⽤局部幅度谱的斜率和总变化来 创建锐度图，然后将S3的标量索引计算为该锐度图中1%最⾼值的平均值。此后，通过评估⾼频DWT ⼦带中的对数能量以及对数能量的加权平均值，探索了⼀种受变换启发的快速图像清晰度(FISH)模型。
最近，Feichtenhofer等⼈通过在集成锐度测量之前分析边缘斜率来模拟 局部对⽐度信息对图像清晰度感知的影响，开发了感知锐度指数（PSI）。Wang 和 Simoncelli 分析了局部相位相⼲性（LPC）。并指出复⼩波系数的相位在清晰图像特征附近的尺度空间中构成了⾼度可预测的模式， 此外，LPC 结构是发现被图像模糊打乱了。带着这种担忧，Hassen等⼈设计了有效的基于LPC的锐度指数(LPC-SI)。
此外，⼏个NR IQA指标在评估图像模糊方⾯被证明是有效的。作者使⽤了最近基于⾃由能的⼤脑理论来模拟⼤脑的内部⽣成机制，并引⼊了基于NR⾃由能的质量度量（NFEQM）。基于失真识别的图像真实性和完整性评估 (DIIVINE) 、使⽤DCT 统计的BLind Image Integrity Notator (BLIINDS-II)和 Blind/Referen celess Image Spatial Quality Evaluator (BRISQUE)来⾃⾃然场景统计（NSS）模型，通过⽀持向量机（SVM）[28]进行特征提取和回归模块的训练。沿着这条研究路线，我们最近设计了 NFSDM和NFERM，通过系统地整合两个有效的减少参考 (RR)1质量指标来消除参考需求。
与以往的方法不同，在本⽂中，我们提出了⼀种新的基于⾃回归 (AR) 模型参数分析的盲锐度度量，称为基于 AR 的图像锐度度量 (ARISM)。我们的技术受到⾃由能原 理和 NFEQM 模型的启发，建⽴在图像模糊增加了局部估计的 AR 参数的相似性的基本假设之上。特别是所提出的 ARISM 可以分别测量每个像素的 AR 模型系数的能量差和对⽐度 差，然后通过百分位池化计算图像清晰度以推断整体质量分数。
⽬前，由于三维（3D）成像技术从娱乐（例如视频和游戏）到专业领域（例如教育和医学），越来越多的图像处理操作被专⻔⽤于⽴体图像，因此有必要⽴体 IQA方法的表现⾮常明显，尤其是在NR条件下。已经有许多相关研究将2D IQA模型扩展到 3D 图像。在[32]中，融合左右眼图像的⼆维质量分数来推断⽴体图像质量。在[33]中深度图中边缘的退化被⽤作3D图像质量。在[34]-[36]中，作者将视差图的质量度量与左右视图的质量度量相融合，以推断⽴体图像的视觉质量。
遵循这⼀研究路线，我们进⼀步努力修改提议的 ARISM，⽤于⽴体图像的清晰度评估，基于现有的双⽬竞争研究 [37]-[39]，发现对于简单的理想刺激，对⽐度上升⼀种观点相对于另⼀种观点的优势。我们合理地假设对⽐度随着AR参数的不同⽽增加。因此，可以使⽤能量差和对⽐度差的加权和来对ARISM模型进行加权来建⽴3D锐度测量。
本⽂的其余部分如下：第⼆节⾸先回顾了我们以前的相关⼯作。第三节介绍了我们方法的动机并详细描述了它的框架。使⽤从四个单视场获得的模糊数据集将 ARISM 与最先进的指标进行⽐较图像数据库（LIVE、TID2008、CSIQ和TID2013）在第四节中给出。在第五节中，所提出的模型被扩展到⽴体锐度测量，并在LIVE3D-I和 LIVE3D-II数据库上进行了验证。我们最终在第六节结束本⽂。
二、相关工作
在最近的⼀项⼯作[22]中，基于⾃由能理论的概念提出了⼀种简单⽽有效的 NFEQM方法，该方法最近在[23]中得到揭⽰，它成功地解释和统⼀了⽣物和物理科学中的⼏种现有脑理论关于⼈类行为、感知和学习。⾃由能原理的基本假设是认知过程由⼤脑中的内部⽣成模型控制，类似于⻉叶斯⼤脑假设。根据这个模型，⼤脑能够使⽤⼀种建设性的方式从输⼊的视觉信号中主动推断出对有意义信息的预测，并减少剩余的不确定性。
上述构造方式可以⽤概率模型来近似，概率模型可以分为似然项和先验项。对于给定的场景，⼈类视觉系统可以通过反转似然项来推断其后验可能性。真实的外部场 景和⼤脑的预测之间总是存在差距是很⾃然的，因为内部⽣成模型不可能⽆处不在。我们认为，外部输⼊信号与其⽣成模型可解释部分之间的差距与视觉感觉的质量⾼度相关，适⽤于图像清晰度的测量。
具体来说，我们假设内部⽣成模型g是视觉感觉的参数化，并且可以通过调整参数向量phi;来解释感知场景。给定⼀个视觉信号s，它的“惊喜”（由熵测量）可以通过在模型参数phi;的空间上积分联合分布p(s,phi;|g)来获得。
图1 使⽤[17]中的代表性图像⽐较地⾯实况、S3、FISHbb和 NFEQM 的局部清晰度图
这里q(phi;|s)是给定输⼊图像信号s的模型参数的辅助后验分布。它可以被认为是⼤脑 给出的模型参数p(phi;|s, g)的真实后验的近似后验。当感知图像信号s或调整q(phi;|s)中 的参数 phi;以寻找 s 的最优解释时，⼤脑会最⼩化近似后验q(phi;|s)和真实后验p(phi;|s, g)。
自由能衡量输⼊视觉信号与其内部⽣成模型给出的最佳解释之间的差异，因此它 可以被视为图像⼼理视觉质量的⾃然代表。这激发了在图像清晰度/模糊度测量中使用⾃由能来设计 NFEQM。线性⾃回归 (AR) 模型⽤于近似g，因为该模型易于构建，并且具有通过改变其参 数来表征⼴泛的⾃然场景的良好能力 [47]-[49]。对于输⼊视觉信号s，我们将AR模型定义。
其中sn是有问题的像素。 Vt (sn)是sn 的t个最近邻的向量。upsilon; = (upsilon;1, upsilon;2, ..., upsilon;t)T 是 AR 模型系数的向量。上标“T ”表⽰转置，n误差项。为了确定upsilon;，线性系统可以写成矩阵形式。参考[22]中的分析，⾃由能最⼩化的过程与预测编码密切相关，它最终可以近似为 给定固定阶数的AR模型s和s之间的预测残差的熵。
图2 NFEQM 和 ARISM 框架的⽐较
三、图像清晰度测量
A. 动机
NFEQM 的成功意味着 AR 模型在测量图像清晰度方⾯的有效性。图1展⽰了三个图像“龙”、“猴⼦”和“峰”[17] 上的地⾯实况图和三个清晰度指标。与S3和 FISHbb 相⽐，NFEQM对地⾯实况图显⽰出相当好的估计。我们可以将 NFEQM 的整个过程总结为⼀个三步模型：AR 参数估计、⾃由能图像预测和熵中的锐度测量。
但是可以发现，⾃由能的核⼼是通过调整q(phi;|s)中的参数phi;来寻找视觉信号s的最优解释，从⽽最⼩化近似后验q(phi;|s)和真实的后验p(phi;|s, g)。因此，参数phi;的分布与⼤脑感知对图像清晰度的作⽤更密切相关是合理的。这里q(phi;|s)的分布由估计的AR参数的分布表⽰，呈现出中⼼峰值的外观。为了说明这⼀点，使⽤⼀阶AR模型计算的模型参数q(phi;|s)的图像及其辅助后验分布。
因此，我们考虑使⽤AR模型参数，这些参数被证明对对象变换（例如平移、旋转和缩放）具有不变性，并在⽂献[50]、[51]中得到⼴泛应⽤，因此专注于分析和采⽤所提出的ARISM方法中的AR系数。这是我们的技术与之前的NFEQM 度量之间的显着差异，后者将锐度度量的性能提⾼到相当⼤的幅度。我们展⽰了这个主要框架，它由AR参数估计、局部锐度计算、百分位池化阶段和颜⾊度量扩展组成。
从另⼀个⻆度来看，在估计 AR 系数之后，上述两个模型采⽤了不同的降维策略。NFEQM 利⽤输⼊和预测图像中的像素进行模糊测量，从⽽在空间域中⼯作。相⽐之下，ARISM通过分析局部估计的AR参数的差异来估计参数空间中的锐度以逐点的方式，稍后将明确解释。
图3 模型参数q(phi;|s)的后验分布说明： 左：自然图像；右：使用⼀阶 AR 模型计算的q(phi;|s)的相关分布
我们的模型与现有相关方法（包括NFEQM）的另⼀个区别是 ARISM 考虑了颜⾊信息对清晰度评估的必然影响。⼤多数方法对灰度亮度图像进行操作，该图像是通过“rgb2gray”变换矩阵从输⼊彩⾊图像信号s转换⽽来的。其中r、g和b表示s中的向量。cr、cg和cb固定为 0.299、0.587 和 0.114。仅使⽤灰度信息是不合理的，因为这种变换可能会去除⼀些边缘，这可能会导致经过上述变 换的彩⾊图像的清晰度消失。因此，我们的技术利⽤简单且⼴泛使⽤的YIQ颜⾊空间来提⾼性能。
B.AR参数估计
如介绍中所述，对应于⼀个特定像素的AR参数的相似度越⾼，表明该位置的清晰度越差。第⼀步是估计每个像素的 AR 模型系数。我们没有在NFEQM中使⽤ AR 参数 估计，⽽是采⽤了另⼀种更简单的方法来解决这个问题，该方法已被有效地⽤于降维。在我们的ARISM中，为每个图像像素及其8连通邻域训练⼀个 8 阶AR模型，以得出最佳AR参数。
- 局部锐度
不难想象，⼀个像素在⼀个⽐较平滑的区域时，该像素的8个AR模型参数会⾮常接近，⽽当当前像素属于a时，这些参数往往会明显不同锐区。我们为此选择了两个经典的措施。第⼀个定义为输⼊图像S中(i, j)位置处那些 AR 参数的最⼤值和最⼩值之差。max 和 min 算⼦独⽴⽤于标记每个像素位置的局部估计参数的最⼤值和最⼩值。指数n⽤于调整差异Ei,j的显着性。值得强调的是，在计算能量差和对⽐度差之前使⽤最⼤和最⼩算⼦是降低 AR 参数维数的简单策略。其他复杂的策略，例如方差和熵,可能更有效。
- 百分⽐汇集阶段
最终采⽤百分位数池化计算锐度分数。百分⽐池化方法已经成功地提⾼了性能准确性。因此我们对k (k isin; {E,C, Ebb,Cbb})映射中最⼤的Qk%值进行平均，以计算清晰度分数rho;k 。然后，我们通过这四个分数的线性加权合并得出整体质量指数。
图4 从CUHKPQ图像数据库[55]中选出的 10 张⾼质量图像
- 参数的确定
为了确定在 ARISM 中应⽤的那些参数，我们⾸先从 CUHKPQ 数据库中选择了10个⾼质量图像，它们具有⼴泛的场景（例如动物和建筑），然后创建了150个模糊图像使⽤具有标准偏差（sigma;G从1到5）的⾼斯核和 Matlab f special和im 过滤器命令的图像。R、G 和 B 图像平⾯中的每⼀个都使⽤相同的内核进行模糊处理。
接下来我们利⽤了视觉信息保真度（VIF）[2]，它被量化为原始图像和失真图像 之间的互信息与原始图像本⾝的信息内容的⽐率，因为它在图像中具有优越的性能 锐度测量，对上述150张图像进行评估，然后使⽤这些客观的质量分数来优化ARISM中采用的参数。
Spearman秩相关系数 (SRCC) 是最流行的性能指标之⼀，已被⽤于在许多 IQA方法（如 [9] 和 [10]）中找到合适的参数，在此实现中⽤于优化。从VIF 与我们的 ARISM 模型的散点图可以看出，样本点⾮常聚集在红⾊拟合曲线上，SRCC值⾼于0.97（1为最佳）。
F.颜⾊度量的扩展
我们进⼀步考虑了⾊度信息，如⽂献 [3]、[4] 中使⽤的那样。在计算 AR 参数之前，使用简单且⼴泛使用的 YIQ 颜
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[590764]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
