英语原文共 13 页,剩余内容已隐藏,支付完成后下载完整资料
异常机器测试:错误相关电位在脑机接口中的应用
Ricardo Chavarriaga*, Aleksander Sobolewski and Joseacute; del R. Millaacute;n
瑞士洛桑工程学院神经修复中心无创脑-机接口技术讲座
摘要
识别错误的能力对于有效的行为至关重要。许多研究已经确定了人脑错误识别的电生理相关性(错误相关电位,ErrPs)。因此,有人建议使用这些信号来改善人机交互(HCI)或脑机接口(BMI)的方法,在此,我们对实现该目标的十多年来的发展进行了回顾。这项工作提供了一致的证据,证明可以在一次试验的基础上成功地检测到ErrP,并且可以在HCI和BMI应用程序中有效使用它们。我们首先描述了错误现象,然后分析了不同的策略,通过加入单次尝试错误识别,或者通过纠正机器的动作,或者通过提供基于错误的自适应方法来提高系统的鲁棒性。当用户使用传统的HCI输入设备或与另一个BMI信道结合时,都可以应用这些方法。最后,我们讨论了当前必须克服的挑战,以便将ErrP完全集成到实际应用中,尤其包括这些信号在实际(istic)应用中的特征,以及从中提取更丰富信息的可能性,超越了主导当前方法的时间锁定解码。
关键词:脑机接口、错误相关电位、强化学习、脑电图、神经修复、混合脑机接口
1.介绍
人类和非人类动物学习和适应其行为的能力很大程度上取决于它们识别错误行为的能力(Rabbitt,1966)。一些研究表明,这样的事件会引起不同的神经反应,这些反应可以通过不同的神经成像技术观察到,包括fMRI、头皮和颅内脑电图(EEG)以及脑磁图(MEG)。特别是,已经证明了这种错误处理的电生理特征——即错误相关电位,ErrP——可以在一次试验的基础上可靠地解码,从而允许它们通过脑机接口(BMI)系统作为一种手段来提高机器的性能,类似于动物。例如,典型的BMIs旨在从神经活动中解码用户的意图(例如,由EEG记录)。对这些意图的错误分类会导致错误的命令。用户对此类错误的后续感知可引发ErrP,并且对此响应的成功解码将允许系统采取纠正措施,例如防止错误命令被完全执行或恢复其结果(Schalk等人,2000;Ferrez和Millan,2008a;Dal Seno等人,2010)。或者,可以使用ErrPs通过重新校准系统来减少将来再次出现错误的可能性,从而使系统能够“从错误中吸取教训”(Artusi等人,2011;莱拉等人,2011年)。这些方法如图1所示。它们结合了一个大脑信号的解码(例如,运动图像或刺激识别的相关性)来控制设备,并将ErrP作为一种纠正机制,从而对应于混合BMI系统(Pfurtscheller等人,2010)。值得注意的是,当使用除BMI以外的输入设备时,同样的原理也可以应用于人机交互(HCI)系统(Parra等人,2003年;Chavarriaga和Millan,2010年;Wang等人,2011年;Zander和Kothe,2011年;Zander和Jatzev,2012年)。有趣的是,这些ErrP是在人类与机器的交互过程中自然产生的。这意味着可以隐式地获得关于用户对这种交互的认知评估的信息,而无需培训或要求用户主动生成这些信息。解码这些信息的系统有时被称为被动BMIs;与所谓的主动BMIs相反,大脑信号被用户有意识地调制以控制给定的设备或应用(Zander和Kothe,2011)。但是,如果用户在交互过程中扮演了完全被动的角色,则应注意不要解释这一点。实际上,ErrP已显示出受用户参与任务的程度的调节(Hajcak等,2005)。
在过去的十年里,研究人员已经提供了充分的证据证明了这种方法的可行性。在这里,我们将从简短的与错误相关的不同电生理模式(第2节)的简短描述开始,回顾这项工作。对于这些信号的神经基础的更详细的描述,读者可以参考Taylor等人的评论。(2007);霍夫曼和法尔肯斯坦(2012);韦斯尔(2012),andUllsperger等人。(2014年)。在这里,我们将重点放在主要用于脑机接口的信号上,并主要讨论使用无创记录技术发现的脑电图信号(第3节)。我们将继续介绍可通过将单次试验ErrP识别纳入身体健全的受试者和运动障碍用户中来提高BMI系统鲁棒性的不同策略(第4和第5节)。我们还将介绍将这些信号集成到实际应用程序中的最新工作(第6节)。最后,我们回顾了用于解码这些电位的技术(第7节),并讨论了在研究和利用这些信号方面的当前挑战(第8节)。
2.错误相关人脑活动
与错误相关的脑活动的早期报告可追溯到20世纪90年代初(Falkenstein等人,1991年;Gehring等人,1993年)。这些研究显示了一个在受试者接受任务或接受响应任务后激发出来的特征性的EEG事件相关电位(ERP)。这种模式的特点是负电位反射,称为错误相关负性(ERN),在受试者错误反应后约50-100毫秒出现在额叶中央头皮区域(Falkenstein等人,2000)。这个负性成分之后是一个中心顶正偏转(Pe)。后一部分的调整与受试者对错误的意识有关。有趣的是,已经发现ERNs与这些错误之后的行为调整之间存在相关性,例如,错误后响应减缓(Debener等人,2005年;Frank等人,2005年;Themanson等人,2012年);支持信号确实反映了行动监测过程的观点(Holroyd和Coles,2002年)。这一点得到了进一步的证实,即ERN振幅似乎受到给定任务中错误重要性的调节(Frank等人,2005年;Taylor等人,2007年),以及对错误的主观认识(Falkenstein等人,2000年;Wessel,2012年;Navarro Cebrian等人,2013年)。不管这种功能调节如何,这些信号也受到个体差异和某些病理条件的影响(Olvet和Hajcak,2008)。然而,重要的是,这些信号已经在时间上(Olvet和Hajcak,2009)和不同的任务(Riesel等人,2013)中被证实是相当可靠的。
据报道,在出现“反馈”即选择或行动的延迟结果后,出现了类似的内侧额叶脑电图模式。这种与反馈相关的消极性(FRN)出现在反馈开始后200到300毫秒之间,受到选择的影响,这些选择会导致战略性赌博任务中出现失落情况(Cohen等,2007),以及受试者对增强信号的特异的敏感性(Frank等,2005)。有趣的是,在没有运动反应的情况下或者在观察另一个人或代理人犯下的错误时也会产生类似的信号(van Schie等人,2004年;Yaung等人,2005年;Zander等人,2008年;Chavarriaga和Millan,2010年;Zander和Jatzev,2012年)。越来越多的证据进一步证明了这些信号与回报或效用预测误差之间的联系,表明当实际结果与预期结果不符时会产生ErrP(Holroyd和Coles,2002;Holroyd等人,2003;Nieuwenhuis等人,2004;Yeung等人,2005)。正如强化学习理论(Sutton and Barto,1998)所提出的那样,可以通过调整行为以最大程度地减少错误来将此类信息用于学习。
值得注意的是,尽管这些信号通常被称为“负性”,但与性能监测相关的EEG包括一个统一的ERP组件序列,而与错误源无关(Ullsperger等人,2014)。其中包括上述相关的额中央负变形,然后是额中央正变形,然后是顶叶阳性。这种模式是在自生错误(即ERN/Pe复合物)、刺激呈现(即N2/P3复合物)和反馈错误(即FRN/P3复合物)之后形成的。目前还不完全清楚这些信号在多大程度上共享了共同的基本过程。一些使用功能磁共振成像、基于脑电的脑源定位和颅内记录的研究表明,额叶中央ERP调制通常涉及到前额叶皮质,特别是前扣带回皮质(ACC)(Ulsperger和von Cramon,2001;Braacute;zdil等人,2002;van Veen和Carter,2002;Herrmann等人,2004;泰勒等人,2007年)。
最后,ErrPs被视为电生理信号时域的不同模式,并不是对可观察到的EEG现象的详尽描述。越来越多的侵入性和非侵入性研究也证明了频率调制,特别是错误反应导致theta;活性增加,然后beta;心律幅度降低(Trujillo和Allen,2007;Cohen等人,2008;Koelewijn等人,2008;Cavanagh等人,2009,2012)。此外,连通性研究揭示了跨区域同步的模式,指出了从ACC到前额叶区域的影响(Cavanagh等人,2009)。
如前所述,几项研究报告了在使用BMI系统时用户意图解码引起的错误响应(参见图2)。这种反应表现为上述调制的相似模式。额中央区域的差分波形(误差减去正确值)的特征是反馈呈现后约200ms处出现一个初始正峰值,然后在约250ms处出现一个较大的负反射,约320ms处出现第三个较大的正峰值。此外,使用sLoreta(Pascual-Marqui,2002)对颅内活动的估计表明,在脑-机交互作用期间产生的信号是在ACC中产生的,与其他错误相关的脑电图相关(Ferrez and Millan,2008a;Lopezlaraz et al.,2010;Iturrate et al.,2013a)。值得注意的是,术语错误相关电位(error related potential,ErrP)在BMI群体中广泛存在,涵盖了在许多范式中引起的电生理反应。解决与ERP组件及其功能调节之间的关系超出了本以BMI为重点的综述的范围(尽管我们在下面提到了一个相关的困惑)。尽管在某种程度上以其与基础研究的对应关系为代价,但它被认为是应用驱动研究的有用的总称。然而,这在一定程度上是由不同的研究环境所决定的:封闭的面向对象的可用性和单次试验解码的实用性很少是基础神经科学的主要关注点,而后者典型的抽象、提炼的实验范式并没有被面向工程的研究人员采用。
3.BMI的误差相关电位
根据上一节中描述的基本神经生理学内容,发现当机器在操作实际或模拟BMI时,由于用户意图的错误分类而产生错误时,也会发现类似的信号,此时会有几个研究时间数据。在第一份报告中,Schalk等人(2000)表明,在四名健康受试者中显示,当在错误诱发实验中使用基于mu和beta;的EEG节律调制的非侵入性BMI控制一维光标时,会诱发ErrP。Ferrez和Millan(2008a)在对五名受试者的研究中进一步发展了这种方法,他们使用基于二类运动图像(MI)的BMI控制离散步长中的光标移动(参见图3A)。结果表明,每一个命令所产生的ERPs都能被解码为与错误或正确条件条件相对应,准确率约为80%。同时,其他研究测试了解码手动响应后引发的错误相关活动的可行性(Blankertz等人,2003;Parra等人,2003)。
进一步的研究证明了ErrPs在BMI应用中的其他令人鼓舞的特性。首先,与ERN一样,随着时间的推移,它们表现得相当稳定。ErrP分类器在校准后几个月进行测试时,可以保持相同的性能(Ferrez和Millan,2008a;Chavarriaga和Millan,2010)。此外,这些信号似乎主要与一般的错误监视过程有关,而不是所执行的特定任务的特殊性。Iturrate等人(2014)比较了在三个任务中,受试者(N = 6)监视不同复杂程度的设备的操作:a光标移动(图3A),模拟(图3B)和真实机器人(图3C)在二维空间中移动。他们的结果表明,这些任务的ErrP在峰值调制的延迟方面有显着差异,但在幅度或总体波形上却没有显着差异但在振幅或整体波形上没有差异,因此表明有可能识别与任务无关的错误的人机交互标记。同样,在使用不同反馈模式的任务中也报告了类似的波形(Lehne等人,2009年;Perrin等人,2010年;Loacute;pez Larraz等人,2011年;Chavarriaga等人,2012年)。
在BMI应用程序中使用ErrP必须指出这些信号可能容易受到的几种特殊混淆。由于BMI的性质,这种应用通常涉及运动刺激,因此观察到的信号有可能是由眼动引起的眼电图(EOG)伪影引起的。特别是在反馈运动的方向与动作的正确性有关的应用设计中,这可能会使解码产生偏差。为了解决这个问题,研究人员,特别是在概念验证研究中,可能会注意确保目标刺激的位置或运动是平衡的。幸运的是,人们一直发现,眼部伪影对解码信号几乎没有影响(Ferrez and Millan,2008a;Chavarriaga and Millan,2010;Iturrate et al。,2010年;Artusi等人,2011年;Spuuml;ler等人,2012年):尽管如此,在使用运动刺激的脑电图研究中,EOG伪影仍然是一个经常出现的问题,应该系统的评估其潜在影响。
另一种可能的混淆是,观察到的电位与错误事件的罕见性比与其价态更相关。为了评估这一点,Ferrez和Millan(2008a)和Chavarriaga和Millan(2010)分别进行了错误率为50%和40%的实验。在这两种情况下,尽管振幅较低,但报告的ErrP与错误率较低的ErrP相似。类似地,N200/P300以及FRN信号也被报告为受到目标/错误可能性的调制(Polich,1990;Polich和Margala,1997;Jessup等人,2010;Hauser等人,2014)。综上所述,尽管ErrP受到刺激频率的影响,但它们不能仅由这一个因素来解释,而且似乎与它们的意义更为相关。
另一个可以调节ErrP幅度的因素是受试者的注意力水平和他/她对任务的投入(Hajcak等人,2005)。受试者在简单监测设备时的ErrP振幅往往小于控制设备时的ErrP振幅,参见图2C,D(Ferrez 和Millaacute;n,2008a;Chavarriaga和Millan,2010)。这一因素可能会影响性能,与其他BMI方法一样,需要有效的校准方法,此方法可在在线操作前使用。
总体而言,最初的ErrP研究支持以下观点,即可以识别错误的响应(手动或通过BMI解
剩余内容已隐藏,支付完成后下载完整资料
资料编号:[239950],资料为PDF文档或Word文档,PDF文档可免费转换为Word
以上是毕业论文外文翻译,课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。