Sci Eng Ethics https://doi.org/10.1007/s11948-018-0020-x

ORIGINAL PAPER

道德困境中的一个决定很大程度上是功利主义的:

虚拟汽车驾驶研究为自动驾驶汽车提供了指导

安娜·鲍伯1 .巴克·迪克·戴梅蒙1 .bull;腓力斯A. 1 .西西莉亚

彼得Kouml;nig1,2

接收时间:2017年8月24日/接收时间:2018年1月10日

copy;施普林格Science Business Media B.V.，是施普林格Nature 2018的一部分

摘要：过去，像电车困境这样的道德思想实验被广泛研究，表明人类的行为是功利主义的，试图造成尽可能小的总体伤害。在过去的几年里，这些电车困境重新引起了人们的关注，尤其是由于在自动驾驶车辆中需要对道德决策进行简化。我们进行了一系列实验，参与者在虚拟现实环境中作为司机经历了修改后的电车困境。参与者必须在两条车道中做出选择，其中一条车道会出现不同的障碍物。最终，参与者必须决定他们会撞到哪个物体。障碍包括各种不同年龄和群体大小的类人化身。此外，还测试了人行道作为潜在安全港的影响，以及可能的自我牺牲条件。结果显示，总体而言，参与者的决定是功利主义的，在其他变量的影响有限的情况下，尽可能保留最多的化身。从这些与功利主义道德决策方法相一致的研究结果中，我们可以得出结论，在道德决策过程中应该有一个强制性的道德设置。

关键词: 自主驾驶;功利主义;电车问题

Anja K. Faulhaber, Anke Dittmer, Felix Blind, Maximilian A. Wauml;chter and Silja Timm: Shared first authorship.

* maximilian A. Wachter mwaechter@uni-osnabrueck.de

德国奥斯纳布吕克大学认知科学研究所，瓦克斯布雷切27,49090

2德国汉堡-埃彭多夫大学医学中心实验医学中心神经生理与病理生理学系

介绍

自19世纪汽车发明以来，汽车对世界各地的城市景观和社会产生了巨大的影响。由于车辆的不断发展和日益复杂，这种影响仍在继续。甚至汽车制造商似乎离另一个里程碑越来越近:一辆无人驾驶的汽车。在过去的几年里，这类自动驾驶汽车(ADVs)的发展取得了长足的进步。自动化的特点，如巡航控制、基于摄像头的盲点辅助和平行停车已经成为现代汽车的标准。大多数汽车制造商和服务提供商，如优步，目前正在研究ADVs，并计划在2025年的美国东部时间(Hars 2016)进行商业营销。ADVs的快速引入是由于预期的优势。这些可能包括为不能开车的人提供更高的机动性(如老年人、疲劳者、残疾人)，更好地组织交通，以及由于车辆之间的通信而造成的交通堵塞减少。重要的是，基于改进的驾驶行为和更短的反应时间，预计交通事故和伤亡人数将显著减少。然而，随着破坏性技术的发展，新的问题出现了。由于引入广告可能对社会有很大的影响，关键问题涉及广泛的领域，包括心理、伦理、社会经济和法律方面。

需要解决的最紧迫的问题包括伤亡情况下的责任以及ADV在道德困境中的行为。道德决策似乎交通到目前为止几乎没有影响,因为大多数acci——凹陷发生在一个没有时间和信息的一刹那想托尔——咳嗽反应。因此，人类在这种位置上的决定主要是基于反射和本能，而不是深思熟虑。这将随着ADVs的引入而改变，因为汽车在各种可能的交通场景中的决策将被预先编程，包括不可预见事件甚至非常不可能的场景的指导方针(Lin 2013, 2015)。但是，谁来决定应该编写什么程序，目前还没有定论。一种可能性是，用户可以自己选择一个道德规范设置。然而，Gogoll和Muller(2017)批评并拒绝了这一选择，因为这极有可能导致在交通中两难选择(参见“讨论”部分)。他们认为，人们会选择一个次优的结果，从而对整个社会产生负面影响，仅仅是为了防止其他道路使用者的可能利用。因此，Gogoll和Muller呼吁为所有广告设立强制性的道德规范。

1囚徒困境是建立在博弈论基础上的数学理论。想象一下两个被指控一起犯罪的囚犯。这两名囚犯受到审讯，彼此无法沟通。如果双方都否认犯罪，双方都将得到较低的惩罚。如果两人都坦白，两人都会被判重刑。但是，如果两名囚犯中只有一名认罪，他或她将不被判刑而离开法庭，而另一名将获得最高刑期。在这种情况下的困境是，每个囚犯必须在不知道另一个囚犯的决定的情况下选择否认或坦白。判决取决于两名囚犯如何共同作证，因此不仅取决于他们自己的决定，而且还取决于另一名囚犯的决定。

实施这种环境下,需要一个道德框架,仍然广泛讨论(Hevelke Nida-Rumelin 2014, 2015 a, b)。一个问题是人们的功利主义的方式副词编程但是他们国家自己不会想买这样一个副词(Bonnefon et al . 2016年)。

自治系统的道德决策常常是在控制困境的基础上讨论的。经典的电车困境是在1967年作为一项哲学思想实验(Foot 1967)引入的。关键因素是一辆电车径直驶向一群人，他们都在铁轨上，无法逃生。有一条小路，一个人站在上面，根本不知道有轨电车。在这个思维实验中，参与者站在一个杠杆旁边，这个杠杆能使电车转向侧轨，从而导致道德困境。如果不加以干预，电车会撞死在主轨道上的那群人。拉杆时，小车将继续在侧轨上运行，仅造成一人死亡。人们在这种情况下做决定吗?什么道德原则决定他们的成功?这个问题已被广泛调查和辩论(米哈伊尔2007;汤姆森1976,1985;昂格尔1996)。

到目前为止，关于改良电车困境的研究主要集中在先进个人的行为是道义论的还是功利主义的。义务论动机的伦理理论概念与功利动机之间的区别是很难界定的，尤其是在义务论概念比较宽泛的情况下。定义功利主义行为，反对随机行为或拒绝行为，是基于对未来的某种概率观点，通过寻求尽可能少的总体损害来最大化效用的行为。这甚至可能包括愿意冒险伤害自己。最近的研究表明，人们通常以功利主义的方式行事，并且对功利主义的广告比较放心，以尽量减少伤害为目的(Bonnefon et al. 2016;Skulmowski等，2014)。

除了义务论方法和功利主义外，关于如何解决自动驾驶汽车的决策问题还有许多伦理观点。这些范围从美德伦理,这意味着专家和伦理学家机器作为一个政府委员会的决策,影响到机器模仿人类行为的整个频谱(古德2014)。在这些讨论中，关于选择哪种伦理环境是正确的，文献中存在很多分歧，目前还没有明确的表述(Lin 2015)。本研究以参与者的行为为出发点。其目的是从人类行为中推导出适用于所有广告的规则。这是因为人们必须同意在他们的车里实施道德设置，才能真正使用它。此外，人们通常不根据道义或功利的理由来判断一个案件，而是受到来自他们的文化和社会的规范标准的指导。本研究结果旨在建立一个伦理道德困境决策框架在驾驶的情况下,可以作为一个义务道德的基础设置在难以实现。这样一个框架应该防止一个能够拯救成千上万人生命的制度因为与一般民众的道德分歧而不被使用。

包括电车困境在内的研究传统上以哲学论文的形式进行。这意味着这些材料以书面的场景描述的形式呈现给参与者，有时还带有附加的图片表示。这种表达困境的方式引入了一些问题，比如在道德决策中忽视了重要的上下文和情境影响(Skulmowski et al. 2014)。新的沉浸式技术，如虚拟现实(VR)，可以帮助弥补这些不足。在这种背景下，电车困境最近在科学上经历了一次复兴(Navarrete et al. 2012;潘等，2011;帕蒂尔等，2014;Skulmowski等，2014)。VR环境提供的沉浸感有助于提高生态有效性，同时保持对专家心理变量的控制(Madary和Metzinger 2016)。在ADVs的背景下，VR可以呈现出更类似于现实生活中交通决策的场景，从而揭示参与者的道德行为，而不是他们的意识信念。

此外，电车困境的许多可能改变引发了一些悬而未决的问题。例如，潜在受害者的不同特征可能会影响人类的决策过程。之前的研究表明，儿童比成人更容易获救，因此潜在受害者的年龄可能在决策中发挥作用(Sutfeld等，2017)。在ADVs的上下文中，还有一些特定于流量的方面值得考虑。例如，人行道为交通中的行人提供了一个安全的空间，这可能会导致一种内在的不愿意在人行道上开车的心理，也可能会影响修改后的电车困境中的决策过程。此外，还有一些可能的情况，人们只能通过牺牲自己的生命来拯救生命。尽管调查显示，人们愿意使用自我牺牲的广告(Bonnefon et al. 2016)，但在现实环境中，人们是否真的会这样做是值得怀疑的。本研究特别针对这些开放性问题，并利用虚拟现实环境，旨在获得较高的生态效度。

在这个实验中，测试了五个假设。首先,基于之前的研究,它是假定人们会,一般来说,行为的量化更好,努力保持的人数要达到最低(假设1)。然而,它可以推测潜在受害者的年龄问题,人们可能闲置的年轻人的旧(假说- esi 2)。在traffic-specific上下文行人在人行道上预计将受到保护,因为他们不积极参加交通。人们通常希望站在人行道的一边是安全的，同时也含蓄地同意在进入街道时受到伤害的有限风险。因此,人们认为避免撞上行人在人行道上而不是人站在街头(假设3)。另一方面,它是假设人们倾向于保护孩子,即使他们是站在街道上,而不是成人在人行道上(假设4)。最后,最后一个假说认为,人们不会拒绝自我牺牲完全但考虑当达到高阈值的他人损害时(假设5)。为了测试这些假设,在Sut - feld等人(2017)的研究基础上，利用最先进的VR技术进行了驾驶仿真实验。为了避免性别差异的影响，所提出的化身仅为男性，因为之前的研究表明男性和女性的化身被区别对待(Sutfeld et al. 2017)。参与者能够以司机的身份控制车辆，并经历各种修改后的电车困境，如“材料和方法”部分所述。

图1定量大良品模块的决策分布

结果

根据上述假设，将189名参与者的数据和总共4000个试验分成5个模块进行分析。下面将分别描述每个模块的结果。

数量上的更大利益

在第一个模块中，它测试了人们是否会通过储蓄更多而不是更少的化身来支持权力型更大的善。这个模块由三个试验组成。该模块的环境是一个郊区设置，包括一条双车道道路。只有站着的成年人才被赋予化身。在郊区，停着的汽车占据了这条双车道街道的两侧。在1对2和1对6的情况下，189个参与者中只有7个的目标人物的数量更高(图1)。因此，在所有三种情况下，绝大多数参与者都没有使用更多的化身。

为了研究这两种情况之间的差异，我们使用了排列测试。差异无统计学意义(p gt; 0.05)。这表明，在所有三种情况下，参与者裤的作用都是相似的。对于每一个单独的条件，针对一个化身而不是更大数量的参与者的数量是

图2考虑年龄的决策分布较好模块。左边显示的是纯粹考虑年龄的决策;右侧显示关于对象高度的决定

极显著(p lt; 0.01)。这一数据表明，参与者更倾向于量化的更大好处。

年龄-考虑更好

第二个模块验证了这样一个假设，即人们会以牺牲年长的ava- tars为代价而放弃年轻的ava- tars。它是由六个试验在郊区设置。作为一个孩子的化身，一个站着的成年人，一个跪着的成年人和一个老人被使用。每个试验提出了以下六个化身的组合之一:一个孩子和一个成人,一个孩子和一个老人,一个站- - -荷兰国际集团(ing)成人和一个老人,一个跪着成人与一个站成人,跪着一个成人和一个老人,一个跪着的成人和一个孩子。

在儿童、成人和老年人的两两比较中，可以观察到，以牺牲老年人的头像为代价，保留了较年轻的头像(图2)。在排列测试中，儿童与成人、老年人与成年人之间的差异非常显著(p lt; 0.001)。结果显示出一个化身的预期剩余寿命与被击中的几率成反比。这种随年龄增长而降低的值具有显著的统计学意义(p lt; 0.01)。

为了研究这种差异是否只通过化身身高的变化而出现，研究人员对跪着的成年人与站着的儿童和站着的老年人进行了测试。观察到的儿童与跪着的成年人之间的差异非常显著(图2，第4街区，p lt; 0.001)。在跪着的成年人和站着的成年人的直接比较中，后者更容易被击中(p lt; 0.001)。在跪着的成年人与老年人之间的比较中也出现了类似的模式;因此，跪着和站着在一定程度上调节了参与者的决定。然而，这些结果证实，无论化身的身高如何，参与者都会牺牲年轻的化身而放弃年长的。

Fig. 3 Decision distribution in the Influence of Context module. Depiction of the best-fit

Sci Eng Ethics https://doi.org/10.1007/s11948-018-0020-x

ORIGINAL PAPER

Human Decisions in Moral Dilemmas are Largely Described by Utilitarianism: Virtual Car Driving Study Provides Guidelines for Autonomous Driving Vehicles

Anja K. Faulhaber1 · Anke Dittmer1 · Felix Blind1 · Maximilian A. Wauml;chter1 · Silja Timm1 · Leon R. Suuml;tfeld1 · Achim Stephan1 · Gordon Pipa1 ·

Peter Kouml;nig1,2

Received: 24 August 2017 / Accepted: 10 January 2018

copy; Springer Science Business Media B.V., part of Springer Nature 2018

Abstract Ethical thought experiments such as the trolley dilemma have been investigated extensively in the past, showing that humans act in utilitarian ways, try- ing to cause as little overall damage as possible. These trolley dilemmas have gained renewed attention over the past few years, especially due to the necessity of imple- menting moral decisions in autonomous driving vehicles (ADVs). We conducted a set of experiments in which participants experienced modified trolley dilemmas as drivers in virtual reality environments. Participants had to make decisions between driving in one of two lanes where different obstacles came into view. Eventually, the participants had to decide which of the objects they would crash into. Obstacles included a variety of human-like avatars of different ages and group sizes. Further- more, the influence of sidewalks as potential safe harbors and a condition implicat- ing self-sacrifice were tested. Results showed that participants, in general, decided in a utilitarian manner, sparing the highest number of avatars possible with a limited influence by the other variables. Derived from these findings, which are in line with the utilitarian approach in moral decision making, it will be argued for an obligatory ethics setting implemented in ADVs.

Keywords Autonomous driving · Utilitarianism · Trolley problem · Moral dilemma

Anja K. Faulhaber, Anke Dittmer, Felix Blind, Maximilian A. Wauml;chter and Silja Timm: Shared first authorship.

• Maximilian A. Wauml;chter mwaechter@uni-osnabrueck.de

1 Institute of Cognitive Science, University of Osnabruuml;ck, Wachsbleiche 27, 49090 Osnabruuml;ck, Germany

2 Department of Neurophysiology and Pathophysiology, Center of Experimental Medicine, University Medical Center Hamburg-Eppendorf, Hamburg, Germany

Introduction

Since their invention in the nineteenth century, cars have considerably influenced townscapes and societies all over the world. Due to the continuous development and increasing sophistication of vehicles, this impact is still ongoing. It even seems that car manufacturers are getting closer to reaching another milestone: a car that is capable of driving without a human driver. In the last few years, there have been substantial advancements in the development of such Autonomous Driving Vehicles (ADVs). Many features of automation, such as cruise control, camera-based blind spot assistance, and parallel parking have already become standard in modern cars. The majority of car manufacturers and service providers, such as Uber, are currently working on ADVs and planning to commercially market them by 2025 at the lat- est (Hars 2016). The fast introduction of ADVs is due to the expected advantages. These might include higher mobility for people unable to drive a car (e.g. elderly, tired, disabled people), better organized traffic and fewer traffic jams due to commu- nication between vehicles. Most importantly, based on improved driving behavior and shorter reaction times the number of traffic accidents and casualties is expected to decrease significantly. However, with the development of disruptive technologies, new problems arise. Because introducing ADVs might have a large impact on soci- ety, critical issues spread over a wide range of areas including psychological, ethical, socioeconomic, and legal aspects.

The most pressing issues that need to be addressed include liability in the case of casualties as well as the ADVrsquo;s behavior in moral dilemma situations. Moral decision-making seems to have little implication for traffic so far because most acci- dents happen in a split second without the time and the information to think thor- oughly about onersquo;s reaction. Therefore, humans base their decisions in such situ- ations mostly on reflexes and instincts rather than deep thoughts. This will change with the introduction of ADVs given that the carrsquo;s decisions in all kinds of possible traffic scenarios will be programmed beforehand including guidelines for unforeseen events and even highly unlikely scenarios (Lin 2013, 2015). But there is no con- sensus yet on who decides what should be programmed. One possibility would be that users may choose an individual ethics setting themselves. However, Gogoll and Muuml;ller (2017) criticized and rejected this option as this would most likely lead to a prisonerrsquo;s dilemma1 in traffic (see also “Discussion” section). In their thought exper- iment, people would choose a suboptimal and thus a negative outcome for the entire society, just to prevent a possible exploitation by other road users. In consequence, Gogoll and Muuml;ller call for an ethics setting that is mandatory for all ADVs. For

1 The prisonerrsquo;s dilemma is a mathematical theory based on game theory. Imagine two prisoners accused of committing a crime together. The two prisoners are interrogated and can not communicate with each other. If both deny the crime, both receive a low punishment. If both are confessing both receive a heavy se

资料编号：[4742]