英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
附录A 外文译文
基于视觉注意力的立体显示视觉舒适度提高的研究
夏振平（SID 成员）
程成
李晓华（SID 核心成员）
摘 要
在浏览三维(3D)显示的内容时，虽然众多潜在原因可能导致视觉不适，在立体显示双目并用时,辐辏和调节的矛盾是一个特有的原因。基于3D内容视觉注意力的研究,我们提出了一个新颖的立体深度调整的方法来改善视觉舒适度和提高感知自然度。该方法结合了三维图像显著性和特定的观看条件建立一个新的模型,计算最优零视差平面立体的形象。关注视觉舒适度和立体感的感知实验的结果表明,该方法可以显著提高立体视觉舒适度,甚至可以提高立体感觉在保证3D图像融合的前提下。
关键词: 视觉注意力，立体显示，深度调节，视觉舒适度，立体感
1.引言
立体技术得到持续关注受益于电影行业的强劲推动。大多数电影采用立体版而且观众变得习惯了。因为立体技术现在广泛使用的是基于双目视差,除了观看不适的其他潜在原因和视觉疲劳, 如串扰、双目失配,运动模糊,和清晰度,聚散度和调节的分开是基于双目视差立体显示的一个特定的原因,这是不可避免的。为了将观看不适和视觉疲劳最小化,三维 (3D)内容应该用精确摄影的设置条件拍摄。然而衍生的3D内容仅适用于特定的显示而且意识不到观看舒适度至关重要的条件。此外,观看注意查看舒适也很重要。所以解决最小化观看不适根据特定的观看条件和特定的预计3D内容是被期待实现的。最近,大量的视觉注意计算模型研究被提了出来。他们中的大多数是基于自底向上的视觉注意机制——快速,预注意和数据驱动的。形象特点在这些模型被用来估计人类视觉注意力,依赖的假设人类大脑只侧重于分析的一小部分感知形象。这重要的一小部分基于底层图像特征的图像往往是衍生变化如亮度、颜色、方向和边缘。形象特点广泛用于所感兴趣的物体图像识别,图像分割,图像重新定位目标,图像压缩,等等。三维图像显著性涉及三维深度信息和融合了二维的显著性和提取深度特点。邵等人提出了一个3D视觉舒适的改进方案,通过调整三维深度考虑空间频率差异的反应,和视觉注意力然而,视觉注意力的方案只考虑2 D的显著性。李等人提出了一种新颖的参数调整方法,减少视觉不适,也认为舒适的观看区域减少辐辏和调节的矛盾。在本文中,我们提出了一种新的基于3D立体图像深度调整方法图像视觉注意力检测和特定的观看条件。这个注意力模型是通过3D图像显著性检测,我们构建一个最优零视差平面(ZDP)模型基于立体视觉注意力模型以减少不适。最后,感知实验是为了验证视觉不适最小化的效果和该方法的立体感觉的变化,这表明我们的方法显著改善视觉舒适甚至提高立体感觉通过确定3D图像融合。
2. 立体系统
2.1 3D图像捕捉
适当的拍摄条件是确定立体成像系统中最基本的工作之一。不同方式的基础上,将光学轴,有两种类型的立体拍摄配置的一般分类: 平行式和会聚式两种立体拍摄方式。前一个保持平行的光轴，它具有小的共同区域，和左视图中的相同的点总是位于右侧视图的右侧 (图1a)。没有移位，立体场景将全部显示在立体显示面板平面的前面。后者相机配置使光学轴收敛一点,可以来回移动来改变图像形式朝向或远离观察者。因为更容易操纵的立体效果, 会聚式相机配置经常采用。然而, 会聚式摄像机也可以轻易地把主题扭曲,如木偶剧院和纸板的效果。没有经验的创作者，很难理解的交叉点或相机间的距离，使舒适和安全的立体声内容（图1b）。根据几何分析从真实空间转换到三维立体空间显示,平行摄像机配置保持线性,而会聚式摄像机显示非线性特性。
图1. 立体拍摄配置(a)平行摄像机配置;(b)会聚式摄像机配置。
2.2 三维图像显示和观察
3D显示诱导的双目视差，这是最重要的3D提示的3D图像感知（图2a）。三维显示技术可以简单地分为两个组：立体和自动立体3D技术。立体3D技术包括最常用的偏振型和主动快门式，观察者需要特殊的眼镜来帮助分离左/右图像视图。自动立体3D技术克服了眼镜的依赖性，观察者可以用肉眼观看3D内容。最常用的自动立体3D技术是障碍型和透镜型，呈现不同区域的视差图像视图。
与传统的2D显示技术相比，3D技术带来更多的身临其境的观看体验。然而，最常用的3D技术，前面提到的所有遭受调节与辐辏之间的不匹配；因此，与2D技术相比更可能引起视觉不适。调节是一个视觉机制，眼睛想集中在视网膜上创建一个清晰的聚焦图像。左/右视图的三维图像总是出现在显示屏;因此,调节屏幕平面和眼睛之间的距离是一个固定的距离。转向机制是眼睛围绕一个垂直轴旋转在双眼视网膜中心使观察到的图像。然后，在三维显示观察的视线距离是从眼睛到眼睛的视线线交点的距离（图2b）。根据左视图和右视图之间的差距，感知的3D图像可以融合在前面的显示（负视差），在显示器的背面（正视差），甚至在平面上的显示时，左视图和右视图彼此重叠（零视差）。调节和辐辏的矛盾通常导致视觉不适和眼部疲劳。更多的调节和辐辏的矛盾的差别，就会有更多的视觉不适和视觉疲劳的发生。根据前面的感知研究,有一个特定的领域对象可以比较清楚地看到,和保持双眼融合的定义是明确区单双目视觉。除此之外,一个较小的区域,大约三分之一的区域清晰的单一的双目视觉,被定义为珀西瓦尔（Perciva） 的舒适区(图2 c),调节和聚散度反应可以实现没有不适。
图2. 3D显示器和相对观测机制。(a) 3D显示器和感知;(b) 观察与调节和聚散度机制;(c) 特定区域定义相对清晰的区域。PZC, Percival的舒适区; ZCSBV区明确的单一的双眼视觉。
3. 立体视觉舒适度的提高
3.1 框架
因为调节和辐辏之间的矛盾导致视觉不适,我们的研究着重于减少这种冲突,同时保持了立体的感觉。这个提议的关键思想是找到最优ZDP特定的立体图像和调整的深度位置同时保持深度范围。实现该方法的流程图在图3为例演示了两个视图立体3D内容。原来的左/右视图是系统的输入图像。2 D图像显著性来源于原始左图像视图通过应用光谱残留提取方法。深度显著获得来自原始的左右图像视图,通过应用立体匹配方法和推导深度对比。然后3D图像显著性由2 D图像显著性和深度构造。接下来,结合具体查看状况,一个最优ZDP模型来计算最优的位置ZDP成立。最后，原来的左/右图像的观点是根据计算出的最佳ZDP推导出系统的输出调节：深度调整左/右图像的看法，这是为了提高立体视觉舒适度。在本文中,我们专注于特定的最优ZDP表征三维图像在特定的观察条件下，所以我们采用了简单的视差偏移法根据最优ZDP调整3D图像的深度。视差偏移法通过裁剪左/右图像视图的冗余边界来调整深度。它简单，计算复杂度低。
3.2 视觉注意力检测
三维视觉注意力检测包括二维图像显著性和深度显著性检测。在各种2 D图像特点检测方法中,该系统采用一个简单的方法:光谱残差的方法。这种二维图像显著性检测方法与对象的特征、类别或先前知识无关。唯一要做的是分析的输入图像的对数谱提取的光谱残差。然后在光谱残差空间域构造期望的二维图像显著图。对于一个输入图像I(u,v)，它的傅里叶变换F(u,v)=F(I(x,y))=A(u,v)times;exp(jtimes;P(u,v)),其中一个A(u,v) 和P(u,v)分别是输入图像的振幅谱和相位谱。然后，光谱残差R(u,v)，可以通过以下方式获得
R(u,v)=L(u,v)-(u,v)*L(u,v) (1)
其中(u,v)是一个局部平均算子和= L(u,v)=log(A(u,v))是输入图像I(u,v)的傅立叶谱的对数振幅，这表明对数频谱的一般形状。
图3. 实现提出了立体深度调整方法的流程图。与原图像左/右视图作为输入, 通过应用所提出的方法得到深度调整的左/右图像视图作为输出。
2D图像显著图S2D可以推导出
(x,y)=g(x,y)* (2)
其中g(x,y)是高斯滤波器平滑的显著图。P(u,v)是图像相位谱。表示逆傅立叶变换。对于深度显着性检测，该系统采用贝叶斯方法，相关的深度特征量的深度显着的心理物理实验数据分析。深度显著性被定义为盯着特定点的概率,可表示为如下方程:
=P(C=1) (3)
C是一个二进制随机值，显示是否盯着一个特定的点。当我们应用贝叶斯规则,公式4显示深度特性如何影响人类视觉系统的概率来决定是否盯着一个特定的点。
P(C=1) = P(C=1) (4)
立体图像的深度显著计算,然后通过提取深度对比模型的概率分布(公式3)。深度对比导出高斯模型使用不同的过滤器,这是广泛用于视觉特点建模。当然,立体匹配是应用之前获取特定的立体图像的差异映射。在概率分布建模中，对眼动实验数据进行了分析和采用。由于缺乏标准化的方法来混合2D显着性和深度显着性，建议的系统采用简单的方法—公式5。
= (5)
在omega;1 = 1 = 0.5omega;使用该系统。采用基于视觉跟踪实验的视觉显著性检测模型。在实验中,眼球运动的位置和持续时间都考虑创建固定密度图。一组定量比较的输出采用模型和推导出固定密度图提出了使用不同的度量。皮尔逊使用指标的线性相关系数(PLCC)库尔贝克、莱布勒散度(KLD),接受者操作特征曲线下面积(AUC)。采用模型的度量值是0.410，0.605，和0.670的PLCC，KLD，AUC，分别说明所采用的模型在预测3D视觉显著性良好的性能。
3.3 最佳零视差平面建模
适当的ZDP建模是找到最低的最佳ZDP视觉不适状况的具体图像内容(与特定的视觉注意力分布)和查看状态。图4显示了几何立体显示查看系统。与左，右图像视图之间的差距，感知的3D图像融合在远离显示面板平面的位置。三维图像和显示板之间的距离表示为Zd，根据以下计算:
(6)
其中Dd是左/右视图的差距的距离。Vd是观众的观看距离显示。IPD 是眼球间距离。即使我们的不同观察条件(包括显示尺寸、显示分辨率和观看距离),距离Zd不适当的指示的调节和辐辏之间的矛盾。因此, 角差异Da涉及查看条件和计算如下:
= (7)
当感知三维图像只是显示平面上（图2c），角差距等于零；而角差距负值三维图像在显示器前所示（图2a）；角差距正值意味着三维图像融合的显示（图2b）。
图4. 立体显示观看系统几何。3D显示系统投射左/右视图的人的左/右眼，分别，并与视差，感知的3D图像可以被融合在远离显示平面的位置。
随着角差距Da的定义，角分布奇偶图可以基于视差图的像素，使用基于立体匹配的分割计算。因为视觉不适和角视差量之间存在正相关关系，我们只是将视觉疲劳指数如下表达：
(8)
图视觉疲劳指数等于图像显著图繁殖角差异的绝对值图。调整ZDP使图像角差异范围从Rda Rda,并找到最低视觉疲劳指数映射,表明最优ZDP,Rda的角差异范围具体形象和观察条件,可以得到如下:
(9)
3.4 方法的实现
根据建议的立体图像深度调整方法，实施结果如图5所示。随着3D图像的显著性（图5d），视觉注意力集中的地区确定。其中，三维图像的显著性是2D图像显著性（图5b）和深度显著（图5c）。视觉疲劳指数结合图像角视差图（图5f）和3D图像显著图（图5d）和确定最佳的零视差平面。最佳零视差平面来调整原有的立体图像（图5a）进入深度调整的立体图像（图5f）以最小的视觉不适。所提出的方法调整的绝对深度的整个立体图像，同时保持在同一图像中的对象之间的深度范围和相对深度。因此，它可以简单地理解为，该模型侧重于对象具有更多的视觉显着性，使这种人类的视觉集中的对象显示尽可能接近的显示平面。图5中男孩头部的位置平面被发现有更多的视觉显着性，因此，男孩的头部的差距调整接近零。其他对象的差异进行调整，根据相同的最佳零视差平面保持深度范围和相对深度。其结果是，背景树分支的差距变得更大。然而，它是没有必要担心的视觉不受树枝的影响，因为视觉的显著性。
图5. 提出的方法的实施结果。（一）原始立体图像；（二）二维显著图；（三）深度显著图；（d）三维显著图；（e）角视差图；（f）深度调整立体像。
4. 感知实验验证
4.1 实验装置
验证改进的视觉舒适性和维护立体感觉的深度调整方法,验证感知实验设计。八个立体图像，包括室内和室外的图像，自然和计算机生成的图像中选择的实验。为不同的验证目的，实验分为两段时间。原始和深度调整的立体图像（根据观看条件在这个实验中），每段实验总共有16个刺激。使用被动偏振光眼镜的立体显示在实验中使用。采用立体显示的分辨率为1920times;1080像素大小0.311times;0.311mm。视觉舒适会话验证实验,立体显示,显示的刺激被随机和参与者被要求查看每个刺激8 s,然后分数根据视觉舒适视觉舒适度评分标准表1(五程度损害规模)。立体感觉实验验证会话的刺激也随机显示在3D显示,参与者被要求查看每个刺激然后得分根据立体感觉的立体感觉评分标准(表1)。然而，没有时间限制，每个刺激的立体感的实验，而8s为设定为观看时间限制为每个刺激在视觉舒适的实验。为了避免实验序列的潜在影响,实验课程的顺序(会议第一,视觉舒适或立体感觉实验会议)为每一个参与者也随机决定。查看条件说明在图6中,参与者在坐在离显示显示高
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[483963]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
