英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
注意和多感觉整合的多个阶段：视听研究的回顾
托马斯·科勒维恩阿德尔伯特·布朗霍斯特扬·泰乌斯
摘要 多感官整合和对交叉模式的关注对我们对世界的看法产生了很大影响。因此，重要的是要了解这些过程在什么情况下发生以及它们如何影响我们的绩效。到目前为止，关于多感官整合和交叉模式注意是否独立运作以及它们是否代表真正的自动化过程尚未达成共识。这篇综述描述了多感官整合和交叉模式注意发生的约束条件以及这些过程发生在哪些大脑区域。一些研究表明，多感觉整合和跨峰注意发生在较高的异峰脑区域，而其他研究表明早期感觉特定区域的参与。此外，当前文献表明，多感官整合和注意力相互作用取决于发生的处理级别整合。为了阐明这个问题，讨论了有关多感官交互发生的级别的不同框架。最后，本文重点关注视听互动和跨模式注意是否是自动过程的问题。最近的研究表明，情况并非总是如此。总的来说，这篇综述为并行处理框架提供了证据，表明多感官整合和注意力过程都发生并且可以在大脑的多个阶段相互作用。
1 引言
当您在火车上阅读报纸时，左边的嘈杂音乐或右边电话上交谈的人可能会分散注意力。当背后的对话引起您的注意时，您可能会跳过一行，误读标题，甚至停止阅读。当听到周围的声音时，为什么如此专注于阅读却如此困难？当您知道这些声音无关紧要时，为什么不能将它们屏蔽掉？尽管当您尝试阅读时会分散注意力，但是我们听到的声音和看到的声音之间的这些相互作用可以挽救您的生命——例如，当您左手传来的汽车声使您僵住时。
这些日常的例子说明了我们的听觉和视觉系统之间存在着强大的相互作用。这些相互作用可以发生在“多感官整合”级别(请参见Steinamp;Stanford,2008)，例如当声音和活动的嘴巴整合到一个事件中时(例如McGurkamp;MacDonald,1976)。多感官整合有助于我们更好地感知信息，这可能就是为什么在窃听时浏览报纸的原因如此诱人，平坐在火车对面的两个人之间的对话。此外，这些互动可以引起注意(请参阅Driveramp;Spence,1998)，例如，声音将我们的视觉注意力吸引到某个位置(例如Driveramp;Spence,1997)。这可能就是为什么当有人在我们旁边嚼着口香糖时，很难将注意力集中在我们面前报纸上的文字上的原因。
对知觉和注意力过程的早期研究主要研究孤立的感觉方式。但是，在过去的二十左右的时间里，越来越多的研究针对模式之间的相互作用。这使我们可以全面了解这些过程在大脑中的工作方式，还可以将这些结果与更现实的情况相关联，在这种情况下，几乎不会孤立地发生听觉和视觉事件。随着当前技术的发展，何时期望视听交互的问题变得比以往任何时候都更加紧迫。例如，诸如导航系统之类的车载技术向我们溢出了视听信息。声音对我们驾驶能力的影响(主要是视觉任务)已经成为研究的热点(参见Hoamp;Spence,2005;Spence＆Ho,2008)。
视听交互可以使我们专注于相关信息并过滤掉不相关的信息，或者当与我们的任务无关的视听信息违反我们的意愿吸引我们的注意力时，可能会引起分心。我们谈到当违反我们的意图将注意力吸引到空间中的某个位置时，注意力捕获(Theeuwes,Belopolskyamp;Olivers,2009)。例如，即使我们的目标可能是看书，但我们的注意力可能会吸引到一个人发出声音的位置。在这篇评论中最重要的问题是，是否可以将自动定向到特定空间位置的视觉注意力从该位置自动吸引到声音来自的位置。即使以前的研究表明，注意力吸引可以在不同的方式之间发生(例如Driveramp;Spence,1997)，问题仍然在于，可本地化的声音是否在所有情况下都能捕获视觉空间注意力(交叉模式捕获)。最近的研究表明，在某些情况下不会发生视听交互，例如跨模式捕获(Koelewijn,Bronkhorstamp;Theeuwes,2009;Santangelo＆Spence,2007)，而其他研究表明，在大多数情况下，不相关的声音确实会影响我们的视觉系统(例如Koelewijn,Bronkhorstamp;Theeuwes,2009; Mazza,Turatto,Rossiamp;Umilta,2007;McDonald,Teder-Salejarviamp;Hillyard,2000;Driveramp;Spence,1997;vanderLubbeamp;Postma,Ward,2005;1994)。这篇综述解决了在什么情况下发生交叉峰捕获的问题。此外，最近的研究表明，多感官整合和(交叉模式)注意力在某些大脑水平(例如，Fairhallamp;Macaluso,2009; Mozolic,Hugenschmidt,Peifferamp;Laurienti,2008; Talsma，Dotyamp;Woldorff，2005; Talsma，Dotyamp;Woldorff,2007; Talsmaamp;Woldorff,2005)。这篇评论还探讨了这些相互作用可能发生的水平。
除了视觉和听觉，味觉，嗅觉和触觉之间还会发生多模式互动(例如，Driveramp;Spence,1998;Steinamp;Stanford,2008)。到目前为止，大多数研究都针对视觉，听觉和体感系统之间的交互作用，并且集中于注意力级别或多感官集成级别的交互。这篇综述将侧重于主要讨论视觉和听觉模态之间相互作用的研究，尽管有时会引用体感研究来说明这种作用更普遍。
尽管我们的感知系统似乎已完全集成，但模态特定的功能往往不会相互作用，如Alais，Morrone和Burr(2006)用于听觉音调和视觉对比感知。但是，存在一种称为联觉的相互作用形式，其中模态之间的不重叠特征确实会融合。例如Baron-Cohen,Wyke和Binnie(1987)表明有些人在听到数字时会看到颜色，这似乎暗示着某种形式的多峰互动。然而，Rouw和Scholte(2007)研究表明，经历过联觉的人的大脑结构可能与未经历过联觉的人的大脑结构不同，这表明联觉的发生及其隐含的多峰相互作用并不是普遍现象。
本文回顾了以多感觉整合和交叉模式注意的形式研究视听交互的研究。两种类型的相互作用都在大脑内的多个处理级别上发生。第一部分描述了来自听觉和视觉方式的信息相遇和整合的处理级别。接下来是对研究的回顾，这些研究专门研究了听觉和视觉方式中的注意捕获。接下来的部分介绍了这样的思想，即多感觉整合和交叉模式注意有时会独立发挥作用，而有时会相互作用。为了阐明这一问题，讨论了有关多感官交互发生水平的不同框架。最后一部分着重于视听互动和交叉模式注意是否是自动过程的问题。文献表明，跨峰注意并不总是符合自动化的标准。一种可能性是可以根据并行处理来解释这些发现。行为和电生理研究都将讨论以提供有关此主题的当前状态的完整图片。本文介绍了有关视听整合和注意力研究的广泛概述。
2 多感官整合
我们需要多感官集成，以便将不同类型的感官输入识别为属于同一对象。多感官集成通过组合来自不同感官模式的信息来帮助减少感知系统中的噪声(请参阅斯坦因斯坦福，华莱士和江，2004)。较少的噪声输入可轻松将事件与背景噪声区分开，并在连续事件之间进行划分。例如，声音可以增强视觉事件的可检测性(请参见Noesselt，Bergmann，Hake，Heinze和Fendrich，2008)。即使早在1960代和1970代就已经报道了由于多感觉整合而产生的一些多峰行为效应和错觉(例如，赫尔森(Hershenson)，1962；麦格克和麦克唐纳，1976)，在过去的二十中，对多传感器集成的研究迅猛发展。心理物理学研究表明，在每个模态中以前馈方式分别处理感官信息的观点是不正确的(请参见Driver和斯彭斯2000)。此外，动物生理学(请参见斯坦＆斯坦福，2008)，人体电生理学(塔尔斯玛(Talsma)等，2007)和人体成像研究(Calvert，Campbell和Brammer，2000)提供的证据表明，多感官整合并不局限于较高的多感官(异模式)脑区域(请参见Macaluso和驱动程序，2005)。本节讨论在什么情况下以及在大脑中什么地方发生多感觉整合。首先，将讨论一些多感官幻觉和效果，以说明多感官整合的强度。
2.1 多感官整合效果和幻想
尽管多传感器集成是绑定来自不同方式的信息的过程，但是大多数时候您都不知道它的发生。尽管如此，我们仍然可以意识到一些多感官的整合效应或幻觉。肠胃病瑟洛和杰克(1973))是一个众所周知的示例。在这种幻觉中，木偶的声音似乎从木偶本身的嘴中伸出。将声音归于一致的来源通常是有益的，并且可以在嘈杂的环境下改善感知(桑比和波拉克，1954)。最常见的表现是声音向视觉事件位置的转移。在人偶幻象中，声音会移向一致的声源，但是Slutsky和Recanzone(2001)证明腹语症也出现在没有语义价值的简单听觉和视觉发作中。相同的研究表明，对腹膜语言效应存在时空限制。这意味着这些事件在空间上不应相距太远，最好在时间上同时发生。时间和空间限制通常适用于多感官整合，将在下一节中讨论。腹腔语言效应表明，在空间定位方面，视觉系统比听觉系统占主导地位。但是，下面讨论的其他错觉证明并非总是如此。
心房颤动还可以将时间上的感觉事件拉在一起，使得两个连续的视觉事件的感知到的时间接近度受到听觉输入的影响。例如，在莫林扎米尔，索托·法拉科和金斯通(2003)参与者对两个LED的开始执行时间顺序判断任务。当声音在第一次发作之前和第二次发作之后出现时，与声音与LED发作同时发生的中性条件相比，参与者的表演受益。似乎视觉发作在时间上被拉向听觉发作，这使得视觉事件的时间顺序判断更加容易。
房语和时空语气学表明，一种形式可以在时空范围内偏向另一种形式。这些影响表明，听觉方式在时域中占主导地位(Morein-Zamir等，2003)，而视觉模式在空间域中占主导地位(SlutskyandRecanzone，2001)。
多感官整合不仅会导致空间或时间偏差，还会产生虚幻的效果。Shams,Kamitani,andShimojo(2000)结果表明，当单个视觉闪光伴随着蜂鸣声形式的多个短暂听觉事件时，该视觉事件被感知为多次闪光。在后续研究中，Shams，Kamitani和Shimojo(2002)结果表明，这种错觉仅在闪光灯开始之前或之后100毫秒的时间窗口内出现两次蜂鸣声时才会发生，这是多传感器整合的典型时间限制。
时间性腹膜病显示声音偏向视觉时间感知(Morein-Zamir等，2003)。但是，声音还可以增强视觉事件的可检测性(例如，Frassinetti，博洛尼尼和拉达瓦斯，2002)，这种视觉可检测性或显著性的提高会影响时间搜索(Vroomen＆deGelder，2000)。沃伦和德盖尔德(2000)表明声音可以增强视觉时态搜索。在这项研究中，参与者必须检测快速分散的干扰物序列中出现的视觉目标。在流中每个视觉事件开始时，都会呈现低音调，除了一种情况下，其中高音调与目标一起呈现。在后一种情况下，参与者的表现得到改善。作者将这种效应称为“冻结效应”，因为一些参与者报告说，目标似乎比干扰物在屏幕上停留的时间更长，好像目标图像冻结了一段时间。
多感官整合不仅有助于分离连续事件，还可以增强视觉空间搜索。这已经证明了范德伯格，奥利弗·布朗克斯特和Theeuwes(2008)。在这项研究中，参与者必须在对角线干扰点之间搜索垂直或水平目标线段。目标和干扰项随时间的推移随机改变颜色(红色或绿色)，但是当目标改变颜色时，它是此时唯一改变颜色的元素。此任务的性能与其他串行搜索任务的性能类似，当分散器的数量增加时，其他串行搜索任务的搜索时间也会增加。但是，当目标颜色改变开始时出现短音(点子)时，视觉目标从显示屏上弹出，这由基本平坦的搜索功能证明(即，对目标搜索时间没有影响)。显示屏中的干扰物数量)。范德伯格等(2008)此外还表明，当点与视觉目标的变化在时间上对齐时，搜索性能最佳，而在时间上早些或晚些时候出现时，搜索性能会下降。在一项后续研究中，调查了“点子和弹出”效应所依据的过程的时程，范derBurg，Talsma，Olivers，Hickey和Theeuwes(已提交)证明可以用多感觉整合来解释这种效应。他们测量了事件相关电位(ERP)的刺激行为，这些电位通过行为诱发了点子和弹跳效应，并发现了一系列的知觉和注意力影响：首先是早期的多感官反应(刺激后50毫秒)，其次是对侧阳性(80-120ms)表示多模式事件的显著性增强和N2pc增强，反映了对目标位置的注意力应用(例如，希基，麦当劳和Theeuwes，2006)。还确定了较大的持续性后侧对侧负性成分，这反映了视觉短期记忆中目标的编码和维持(例如，克拉维尔，塔尔斯玛，维耶尔，Heinze和Mulder，1999；沃格尔与町泽，2004)，以及扩大的P3组件，反映了工作记忆中的更新(例如，Nieuwenhuis，Aston-Jones和Cohen，2005)。总的来说，这些结果表明，点子和弹出效果可以通过早期的多感官整合来解释，这可以提高目标显著性并引起注意。
总而言之，这些实验通过表明一种方式可以偏向另一种方式(例如，Morein-Zamiretal。,2003;Slutsky和Recanzone，2001)，增强其他(范德伯格等，2008)，或产生强烈的幻觉效果(例如，Shams等，2000)。此外，这些研究表明，这些错觉或相互作用仅在特定的时间和空间限制下发生。
2.2 时间和空间限制
我们的感知系统似乎毫不费力地集成了来自不同模式的共现信息(恩斯特amp;伯索夫, 2004)。但是，要进行多感官整合，通常需要两个事件都在时间和空间上紧密地发生(博洛尼尼, Frassinetti,Serinoamp;Ladavas,2005；Frassinetti等,2002)。Frassinetti等(2002)发现增强了通过声音进行亮度检测的感知灵敏度。通过系统地改变视觉和听觉事件的时空接近度，他们表明这种增强仅在视觉和听
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[414748]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
