How Picture Books Work: A Semiotically Framed Theory of Text-Picture Relationships.
Abstract：Investigates the complexities of reading books that use more than one sign system. Presents a theory of text/picture relations based on 'transmediation.' Provides an overview of the various ways in which the relationship between the words and pictures in a picture book has been conceptualized. Draws on several theoretical traditions and disciplines to describe this. (PA)
Key words：Literary Criticism, Picture Books, Semiotics
In this article, I provide an overview of the various ways in which the relationship between the words and pictures in a picture book has been conceptualized; I draw on several theoretical traditions and disciplines to describe this relationship. Although theorists have advanced many different conceptualizations of the text-picture relationship, they have not adequately explained what goes on in our heads as we relate words and pictures. Therefore, in order to describe more precisely what happens internally as we relate verbal and visual signs, I present a theory of text-picture relations that is based on the semiotic concept of *transmediation.' By way of making the theory more clear, it is applied to the text-picture relationship in one double-page spread of Where the Wild Things Are.
Conceptualizing the Text-Picture Relationship
According to many writers, the essence of the picture book is the way the text and the illustrations relate to each other; this relationship between the two kinds of text _the verbal and the visual texts一is complicated and subtle. A variety of metaphors have been used to describe it. In several cases, the metaphor is drawn from music. Cech writes of the Mduet' between text and pictures. Pullman utilizes the term “counterpoint,” while Ward and Fox refer to the “contra- punctual' relationship. Ahlberg talks about the “antiphonai” effect of words and pictures. On the other hand, using scientific metaphor in writing about illustration, Miller uses the idea of uinterference' from wave theory, describing how two different wave patterns may com bine to form a complex new pattern. Moebius utilizes geological im- agery to speak of the uplate tectonics' of text and illustrations.
Various alternative words and concepts seem to be pivotal in other theorists description of the text-picture relationship. Lewis uses the idea of “polysystemy”： “the piecing together of text out of different kinds of signifying systems.' Perry Nodelman describes how the text and pictures each other, and uses literary terminology to be scribe the relationship of text and pictures as one of wironyn: The words and pictures comment ironically on each other, as it were. Nodelman also discusses Barthesrsquo;s metaphor of “relaying,' writing that, uBy limiting each other, words and pictures take on a meaning that neither possesses without the other—perform the completion of each other that Barthes calls relaying.' Schwarcz conceives of two general categories of relationships between text and pictures: what he calls bull;congruency1 and udeviation.' In the category of congruency, the text and pictures are in a harmonious relationship. Sometimes the illustrations complement the text by -running ahead of the text and pushing the action forward.' The text and the illustrations may also take turns in telling the stor)*; this is what Schwarcz calls -alternate progress.' In deviation, Schwarczs second category of relationships, the illustrations uveer away' from the text by opposing it in some way. Another example of deviation is what Schwarcz calls **counter- point'—the musical metaphor, again—when the illustrations tell a different story from the text. Part of the enjoyment of this story lies in the reader-viewers perception of both stories at once.
Golden describes five types of relationships between text and pictures: The categories seem to be differentiated by how much 'work' the illustrations or the text do in conveying meaning. One limitation of this scheme is that, since it depends mainly on the relative amounts of power the text and the illustrations have, there is less attention to the dynamic way in which, as Nodelman puts it, 'the words change the pictures and the pictures change the words.' ITie text-picture relationship is not so much a matter of a balance of power as it is the way in which the text and pictures transact with each other, and transform each other.
The Synergy of Words and Pictures
My own descriptive term is Ksynergy,B defined by the Shorter Oxford English Dictionary as uthe production of two or more agents, substances, etc., of a combined effect greater than the sum of their separate effects.' In a picture book, both the text and the illustration sequence would be incomplete without the other. They have a synergistic relationship in which the total effect depends not only on the union of the text and illustrations but also on the perceived interactions or transactions between these two parts.
In adding to what these theorists have written about the relationship of words and pictures in picture books, I will focus on the phenomenological dynamics of the synergistic relationship itself. In other words, I want to try to explain more fully what happens in our heads: the process we engage in when we relate the verbal and visual texts of the picture book to each other. In order to do this, I will draw from literary theories of the type commonly referred to as “reader response' criticism (Wolfgang Iser), aesthetic criticism (G. E. Lessing and Wendy Steiner), linguistics and semiotics (Roman Jakobsen and Charles Peirce), and theories of literacy (Marjorie Siegel, Mark Sa- doski, and Alan Paivio).
What Wolfgang Iser sees as he examines the reader-text relationship is a reader participating in the production of textual meaning. Th
剩余内容已隐藏，支付完成后下载完整资料
图画书是如何运作的:符号学框架下的图文关系理论
摘要：调查阅读使用多个标志系统的书籍的复杂性。提出了一种基于“跨媒体”的文本/图片关系理论，概述了绘本中文字和图片之间的关系被概念化的各种方式。利用几个理论传统和学科来描述这一点。
关键词：文学批评、图画书、符号学
1引言
在本文中，我概述了图画书中文字和图片之间的关系是如何被概念化的。我借鉴了一些传统性的理论和学科来描述这种关系。虽然理论家们对文字和图片的关系提出了许多不同的概念，但他们并没有充分解释我们在把文字和图片联系起来时大脑中发生的事情。因此，为了更准确地描述当我们联系语言和视觉符号时内部发生的事情，我提出了一种基于符号学概念的文本-图像关系理论。为了使这一理论更加清晰，本文将其应用于《野兽国》一个双页方式的图文关系中。
2概念化文本-图画关系
许多作家认为，图画书的本质是文本与插图的相互联系，这两种文本（口头文本和视觉文本）之间的关系是复杂和微妙。人们用各种各样的比喻来形容它，在某些情况下，这个比喻从音乐中提取出来的。切赫在文本和图画之间使用了“二重唱”一词。普尔曼使用“对位”一词。沃德和福克斯则将其指为“对位准时”关系。阿尔伯格谈到了单词和图片的“反语音”效果。另一方面，米勒在写插图时使用了科学的隐喻，从波动理论中运用了“超干涉”的概念，描述了两种不同的波动模式是如何结合在一起形成一个复杂的新模式的。莫比乌斯利用地质学术语来描述文字和插图中的高地构造。
在其他理论家对文本-图画关系的描述中，各种不同的替代词和概念似乎是至关重要的。刘易斯使用了“多义系统”的概念：“从不同的表示系统中把文本拼凑在一起。”佩里·诺德曼描述了文本和图片是如何相互作用的，并用文学术语来描述把文字和图片的关系写下来，就像威洛尼的作品一样：文字和图片讽刺地互相评论。诺德曼还讨论了巴特关于“传递”的隐喻，他写道，通过相互限制，文字和图片呈现出一种对方都不具备的意义——完成了巴特所说的“传递”。施瓦茨设想了文本和图片之间的两种关系：他称之为“一致性”和“超偏差”。在一致性范畴中，文本与图片处于一种和谐的关系中。有时候，插图是对文本的补充——跑在文本前面并推动操作来补充文本（文本和插图也可以轮流告诉存储者）。这就是施瓦茨所说的——交替性的进展。在偏差中，施瓦茨的第二类关系，插图通过相反的方式从文本中脱离。在某种程度上。另一个偏离的例子是施瓦茨所说的“反点”——音乐隐喻，当插图讲述的故事与文本不同时。这个故事的部分乐趣在于读者和观众同时对两个故事的感受。
戈尔登描述了文本和图片之间的五种关系：类别似乎是由插图或文本在传达意义方面所做的“工作”来区分的。这个方案的一个限制是，由于它主要依赖于文本和插图的相对力量，很少关注动态的方式，正如诺德曼所说，“文字改变图片，图片改变文字”。文本与图片的关系与其说是一种力量的平衡，不如说是文本与图片相互作用、相互转化的方式。
3文字和图画的协同作用
我自己的描述性术语是Ksynergy，《牛津英语词典》将其定义为两种或两种以上药剂、物质等的合成效果大于它们各自作用的总和。在一本图画书中，如果没有文字和插图的顺序，两者都是不完整的。它们有一种协同关系，在这种关系中，总的效果不仅取决于文本和插图的结合，而且还取决于这两部分之间的相互作用或交易。
除了这些理论家在图画书中所写的关于文字和图片之间关系的内容之外，我还将关注协同关系本身的现象学动力学。换句话说，我想更全面地解释一下我们大脑中发生的事情：当我们把图画书的文字和视觉文本联系起来时，我们所参与的过程。为了做到这一点,我将从文学理论的类型通常被称为“读者反应”（沃尔夫冈·伊瑟尔）、美学批评（莱辛和温迪）、语言学和符号学（罗马·雅各布森和查尔斯·皮尔斯）还有识字理论(马约莉·西格尔、马克·多斯基和艾伦·佩沃）。
沃尔夫冈·伊瑟尔在考察读者与文本之间的关系时，认为读者参与了文本意义的产生。真正的文学作品是通过读者与文本的融合来实现的。对于伊瑟尔来说，读者是作品的共同创造者，他们提供了作品中没有被写出来，而只是隐含的部分。每个读者都以自己的方式填写未完成的作品或隐喻，从而承认文本的无穷无尽。伊瑟尔关于间隙的概念表明，我们可以想象读者用插图中的信息来填补绘本语言文本中的一些空白，以及读者用插图中的信息来填补插图中的一些空白。
诺德曼观察到文字在传递时间信息方面有更大的潜力，而图片在传递空间信息方面有更大的潜力。这是否意味着我们可能以不同的方式处理语言和视觉信息？这是这是一个有着悠久历史的观点，始于德国浪漫主义哲学家莱辛的经典区分，即基于同时感知的艺术（绘画、雕塑）和基于时间序列或连续感知的艺术（音乐、文学）。莱辛认为，由于我们对世界的体验有两种成分或模式（空间和时间），所以所有的艺术都可以根据这两种模式中的哪一种来分类，而这两种模式是观众或听众在从事一件艺术作品时所经历的。我们一眼就能看到一幅画，但为了体验文学或音乐，我们必须在一段时间内连续不断地读或听。这就提出了一个问题：是否存在同时基于时间和空间、同时基于连续性的艺术。即使在莱辛的时代，歌剧也是这种艺术形式的一个例子。正是因为歌剧结合了空间艺术和时间艺术，瓦格纳才称他的歌剧为Gesamtkunstwerke。戏剧和电影也是我们在时间和空间同时体验的艺术形式的例子。当然，图画书是另一种混合艺术形式。文学和美学理论家温迪·斯坦纳认为，插图文本是一种Gesamtkunstwerk式的艺术媒介的混合体，集中体现在瓦格纳的歌剧中。
温迪·斯坦纳通过观察视觉艺术给我们呈现了一个漫射的网络，而时间艺术引导我们沿着一条线或一条链，来遵循莱辛的基本区别。语言学家、符号学家罗曼·雅各布森也提出了类似的观点：每一幅复杂的视觉符号，比如每一幅画作，都呈现出各种成分的同时性，而时间序列似乎是语言的基本轴。雅各布森接着说，言语不是纯粹的时间线性的，而是“主要的连续性”。语言的本质是毋庸置疑的，这种成功的首要性必须加以分析。书面语言不是纯粹的线性的。当我们阅读时，我们把越来越多的字母、单词和句子作为有意义的整体来处理，直到最后，我们可以理解一首诗或一个故事的总体结构。然而，套用雅各布森的话，书写语言的主要顺序性是毋庸置疑的。
正如书面语言不纯粹是线性的，绘画和视觉艺术也不纯粹是空间的。当我们看一幅画（或一本图画书中的插图）时，我们看到的是它不同部分的一系列瞬间。但是，正如斯坦纳所说，视觉艺术的设计是为了扩大我们将序列转化为同时性的能力，让我们能够形成更大的时间流，形成统一的时间结构。所以，我们对图像的感知并不是静态的。我们确实是在一系列的时间瞬间观察图像，但当我们观察时，我们的大脑正在形成前所未有的更大的时间流，形成统一的时间结构。因此，再次套用雅各布森的话，视觉艺术的同时性是毋庸置疑的。
我们体验书面语言和视觉艺术的不同方式，对我们试图将图画书中的文字和图片联系起来的方式，有着重要的影响。由于图片的主要空间性质和我们形成统一时空结构的动力，我们倾向于凝视、思考或沉思它们。相比之下，语言叙述的主要时间性质在我们心中创造了一种继续阅读的倾向，在刘易斯所说的非叙事性欲望中继续前进。因此，在创造一种非排他性结构的过程中，我们注视图片、忘记时间的冲动与不打断时间叙述之间存在着紧张关系和不中断时间叙述流。文字以线性的方式驱使我们继续阅读，而插图则诱使我们停下来看。
这紧张导致的冲动是递归和反射性阅读图画书：去向后和向前为了说明相关的之前或之后，以及相关文本在一个页面上说明先前的或连续的页面，或理解一页上的文字和图片的组合与前一页或后一页的关系的新方法。图画书的作用是让你放松对纯文字单向流动的专制。因此，绘本似乎需要重读，我们永远无法完全理解文本的所有可能含义，或图片的所有可能含义，或图文关系的所有可能含义。科米克观察到，在图文并茂的信息文本和超文本中，有许多可能通过文本世界的途径，这同样适用于图画书。玛格丽特·米克认为《妈妈画册》吸引了各种各样的读者，并允许创造一套故事而不是一个故事。
文本与图画关系的重构是绘本的重要组成部分之一。但是这个工程是如何进行的呢？文字和图画的相互关系反映了思维过程本身，这是一个有趣的想法。欧文·马西的观点认为，“思维是图像制作和造词之间的一种不断的交替”，这一观点在阅读理论中得到了马克·萨多斯基和艾伦·帕维奥的“虚拟编码”假设的支持，这表明认知有两个独立的（尽管相关的）结构：一个用于处理语言信息（无论是在语言中还是在语言中）。一种用于处理非语言信息（如视觉刺激）。当我们在图画书中的文字和图片之间交替注意时，我们可能在单独的认知结构中表示语言和非语言信息；然后，通过这两个认知结构之间的复杂参照关系，我们构建了一个完整的意义。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[18682]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
