英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料
基于独眼视图和深度图的立体三维图像质量评估
Sid Ahmed FEZZA, Student Member, IEEE Mohamed-Chaker LARABI ,Senior Member,IEEE
Multimedia Communications Group XLIM Laboratory ,SIC Department
University of Oran, Algeria University of Poitiers,France
Email:sidahmed.fezza@gmail.com Email:chaker.larabi@ieee.org
摘要 - 本文提出了一种基于感知双目特征的立体图像全参考质量评估指标。为了确保预测的3D体验质量尽可能可靠且接近3D人类感知，所提出的立体图像质量评估（SIQA）方法依赖于独眼图像。我们的方法的动机是，在不对称质量的情况下，3D感知机制更加强调提供最重要的和具有对比度的视图。 我们将此心理物理学的结论采用基于本地信息内容的加权因子整合到提出的3DIQA框架中。 除此之外，为了考虑视差/深度掩蔽效应，我们根据场景中的位置调制获得每个像素的质量分数。 实验结果表明，与最先进的度量标准相比，本文所提出的度量与人类判断的相关性更好。
1.介绍
近年来，人们已经做出很大努力来为消费者带来更逼真的3D视觉体验。 3D图像/视频在我们的日常生活中通过各种多媒体设施引入，包括电影，电视，蓝光，PC，智能手机，广播等。例如，据全球领先的消费电子制造商预计，2017年的3D电视销量将从2013年占所有销量的18%上升到58%[1]。 这种消费者的广泛认可不仅归功于采集、编码和显示技术的最新进展，同时也归功于3D技术带来的沉浸感。
为了评估和优化这些取得的进展，评估工具的选择至关重要。 实际上，必须评估和预测3D成像系统的性能，以保证最终用户所感知的3D体验质量（3D QoE）[2]。 由于人类观察者是最终的接收者，主观测试仍然是评估感知3D图像质量的最佳方式。 然而，这样的实验是耗时的，对于实时应用来说不可行，主观实验昂贵且强烈依赖于观察者背景（个人经历，情绪状态等）[3]。 因此，需要客观测量来自动测量符合人类视觉系统（HVS）的3D内容的感知质量。
为了客观地评估3D图像质量，一种直接的解决方案是将最先进的2D图像质量评估（IQA）方法应用于立体对的每个视图，并将它们组合起来得到总分。 一些作者已经采用了这种方法[4]-[7]。例如，Campisi等人[4]评估了立体图像的四个2D IQA度量的适用性。 Yasakethu等人研究了主观得分与若干2D质量测量之间的关系，以预测整体3D图像质量[6]。 对于对称失真的情况，采取这类方法得到的结果可以被认为是适中的，但是当立体图像对有不对称失真时，这些结果不令人满意。 一些研究表明，简单地预测3D图像质量作为左右图像质量得分的组合与人类质量判断并不完全相关[20]-[21]。 这可以通过以下事实来解释：3D感知涉及多个双目视觉现象，例如双目融合和双目竞争/抑制，并且后者对感知的3D质量具有很大影响。
由于HVS使用所谓的双目视差来感知深度，因此其他方法[8]-[10]已经尝试将视差（深度）图集成到立体图像质量评估（SIQA）度量中。 Benoit等人建议使用2D质量度量来估计参考和失真立体对之间的质量分数，并将它们与视差失真的估计分数相结合[8]。
同样，You等人[9]在立体对和视差图上应用了10个经典的2D质量度量，以不同的方式组合得到两个相应的得分，并得出结论，使用结构相似性（SSIM）[25]度量作为平面图像质量度量获得了最佳的图像质量指标。 Sarikan等人建议评估不同深度水平对整体3D质量的影响，他们在[10]中提出了使用深度图分割的立体视频质量评估模型。 使用2D IQA度量来评估深度/差异图是不够有效的，因为后者被优化过来进行针对可视化图像的评估，与被视为双目线索之一的视差图形成对比。 而且，这些方法在很大程度上依赖于视差估计方法的性能，因为后者仍然容易出错。
最近几项关于SIQA的研究以不同的方式解决了这个问题。他们试图通过在IQA方法[11]-[14]中整合不同的双目感知特性来模拟HVS。 例如，Bensalma等人[11]提出通过估计参考和受损立体对之间的双目能量差异来建模双目融合现象。这是通过对负责融合的人类视觉系统（HVS）的简单细胞和复杂细胞的行为进行建模来实现的。为了考虑双眼视觉的特性，Wang等人[14]提出了双目空间灵敏度加权度量，其中加权基于Just Noticeable Difference（JND）模型[15]。 尽管通过这些方法获得了进展，但我们对3D人类感知的理解仍然有限。 因为后者非常复杂，需要采用多学科方法。 因此，研究影响3D QoE的不同因素仍然是一个有趣且具有挑战性的研究领域。
当立体图像呈现给观看者时，人脑组合左图像和右图像以创建称为独眼图像的合成图像[16]。因此，为了执行更可靠和准确的SIQA，一些方法在这种独立视图上执行评估过程，例如[17]和[18]。 Maalouf等人[17]基于参考和失真立体声对的独眼图像的计算提出了3D图像质量度量。他们将3D得分计算为相应的独眼图像和视差图的相关性之间的差异的平均值。然而，Maalouf等人没有考虑双眼感知的特征，如双眼竞争。最近，Chen等人[18]提出了一个完整的参考度量，这种参考度量在独眼图像上执行SIQA。为了模拟双目竞争过程，他们使用由归一化Gabor滤波器幅度响应计算的左眼和右眼的加权系数。尽管如此，作者并没有利用任何在3D QoE中起关键作用的差异/深度信息。
因此，本文的目的是提出一种依赖于独眼图像的新SIQA方法。本文的度量标准考虑双目视觉效应，尤其是当立体对受到不对称失真损害时发生的双目竞争/抑制的现象。 此外，通过在提出的3D IQA框架中集成视差图，我们模拟视差/深度掩蔽效果，从而更准确地反映深度感知。
本文的其余部分安排如下：第2章描述了提出的新SIQA方法，第3章给出了实验结果，最后一章则是结论与后期工作。
2. 提出的立体图像质量度量
所提出的度量的流程图如图1所示。作为第一步，我们创建两个独眼图像，分别对应于参考与失真的立体图像对。 通过将左视图视为参考（不失一般性），我们通过将左图像与右视差补偿图像融合来合成独眼视图，如下所示：
(( (1)
其中是像素坐标。 是生成的独眼图像，和分别是左图像和右图像，是像素的视差值，表示像素从左到右视图的水平偏移。 在我们的实现中，为了估计视差图，我们使用[23]中描述的立体匹配算法。
这种建立的模型，仅考虑到双眼融合情况，即当两种刺激相似时的情况。然而，如果两个呈现的图像都非常不同，例如在非对称编码情况[21]中，会导致匹配失败，而不是合并，则两个图像进入一种竞争。这种竞争被称为双目竞争现象[22]。通常，人类的大脑试图通过抑制其中之一来解决两种不同刺激之间的这种竞争。这种现象被称为双目抑制，这种抑制理论被用作验证非对称立体编码方法的基础[21]。基于心理物理学的发现，在双目竞争的情况下，高对比度或丰富轮廓的视图（通常包含更多信息）倾向于支配3D最终感知[18] - [21]。因此，为了模拟双目竞争过程，我们根据本地信息内容为每个视图定义加权因子。因此，等式1可以重写如下：
( (2)
此处的和应定义为：
(3)
= (4)
其中EN *表示每个空间位置的局部熵。 该熵是在整个图像上逐像素移动的尺寸为11times;11的圆形窗口内计算的，如下所示：
( (5)
其中gmin和gmax分别是圆形窗口中的最小和最大灰度值。 p（x）是直方图中bin的概率。
根据这种推论，我们的度量可以考虑双目感知属性。 例如，如果我们考虑具有相同或接近的局部熵的两个相似刺激的情况，它们对独眼图像的融合的过程起到了帮助。 另一方面，如果呈现不同的刺激（即具有不同的局部熵），则具有较高局部熵的视图对于独眼图像的构造贡献更多，并因此如双眼竞争/抑制所预测的那样支配3D质量。
一旦我们获得了参考（）和失真（）立体对的独眼视图，我们就可以在两个获得的独眼图像之间应用2D IQA度量。 即便我们可以使用其它更严格的评价指标，但我们由于尺度结构相似性（MS-SSIM）指标[24]简单性和可用性，仍然选择了它：
(6)
其中S表示获得的MS-SSIM索引图（在空间域中）。
接下来，根据其在场景中的位置，调制每个镜头的质量分数。 我们假设不同深度水平下不同扭曲的可见性是不同的。 因此，HVS对更近的物体更敏感。此外，众所周知，视差与深度成反比，这意味着具有更大视差的物体是最近的，反之亦然。
最后，整体3D感知质量得分Q3D计算如下：
Q3D= (7)
3.实验结果
为了评估建议度量的性能，我们使用了LIVE3DIQD_phase2数据库[18]。 该数据库（图2中给出了示例）中的图像包含对称和非对称失真的情况。 模拟的失真是使用JPEG和JPEG 2000标准的压缩，加性高斯白噪声，高斯模糊和基于瑞利衰落信道的快速衰落四种模型。 生成360个失真的立体对，并获得相应的平均意见得分差异（DMOS）。
为了评估度量的性能，我们使用三种常见的性能指标：线性Pearson相关系数（LCC），Spearman等级相关系数（SROCC）和均方根误差（RMSE）。 在非线性回归之后，在DMOS和由所提出的度量标准（DMOSp）获得的分数之间计算所有这些指标。 该回归使用[26]中推荐的5参数逻辑函数进行，定义如下：
(-) (8)
表I显示了与现有技术指标相比所提出的SIQA指标的结果，表中的前三种方法是通过平均左右2D IQA得分获得的，而其他方法是采用得到唯一得分的3D IQA指标。 根据性能比较，本文所提出的方法优于对称和非对称失真的其他度量方法，这在非对称失真上尤为突出。 由于引入了本地信息内容权重，所提出的度量方法更有效地处理双目现象，而无需事先检测失真类型或任何有关失真的附加信息。
最后，除了上面使用的评估指标之外，我们在图3中提供了一个图表，该图表显示了主动MOS的散射分布与通过提出的度量方法获得的预测分数，以及LIVE 3D数据库上的非线性拟合曲线。这个图清楚地显示了客观和主观评分之间的良好一致性，从而可以很好地预测人类的判断。
4.结论
在本文中，我们提出了一种新的立体图像质量评估指标。 为了尽可能接近HVS行为，我们提出模拟人类大脑所做的独眼视图的构建过程。 为了实现这一点，在计算独眼图像时考虑了双眼视觉现象，尤其是双目竞争/抑制。 双目视觉现象通过基于本地信息内容的加权因子被整合到所提出的度量中。 除此之外，还考虑了深度掩蔽效应的作用，我们根据其在场景中的位置调制每个区域（像素）的重要性。 实验结果表明，所提出的度量与主观得分很好地相关，并且优于其它主要的质量评价方法。
在不久的将来，我们将尝试通过包含HVS的时间属性，将度量方法扩展到3D视频。
参考文献
[1] http://www.futuresource-consulting.com/2013-09-3D-Tracking.html
[2] U. Reiter, K. Brunnstruml;om, K. De Moor, M.-C.Larabi, M. Pereira, A. Pinheiro,J. You,A. Zgank, “Factors InfuencingQualityof Experience,” Chapter in Quality of Experience, pp. 55-72, edited by Springer International Publishing.
[3] W. Lin, and C. C. J. Kuo, “Perceptual visual quality metrics: a survey,” Journal of Visual Communication and Image Representation, vol. 22, no. 4, pp. 297-312, 2011.
[4] P. Campisi, P. L. Callet, and E. Marini, “Stereoscopic images quality assessment,” in Proc. European Signal Processing Conference (EUSIPCO 2007), Poznan, Poland, Sep. 2007.
[5 C. T. E. R. Hewage, S. T. Worrall, S. Dogan, and A. M.
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[19911]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
