Verbal and visual intermodal relations in the construction of interpersonal meanings in children's minimalist picture books

Abstract

Abstract : Picture books constitute a recognizable genre in children sliterature and have been gaining space in contemporary society. At thesame time, they have become more sophisticated, since they lay on acomplex relation between image and verbal text. Such complexityrequires reading both text modes as well as reading the intermodalrelations, so that the comprehension of the story may occur effectively(Nodelman, 1988, Nikolajeva and Scott, 2006, Arizpe and Styles, 2003).This thesis investigates the interpersonal aspects that encompass picturebooks, in other words, it explores the form reader and characters arepositioned to create different degrees of involvement. Adding to theinterpersonal content, this study also explores how the characters relationships are constructed. The research draws on a socio-semioticperspective, more specifically, on systemic functional grammar(Halliday, 1994; Halliday & Matthiessen, 2004), on visual grammar(Kress & van Leeuwen, 2006) and on the study of visual narratives(Painter, Martin & Unsworth, 2013). The results suggest that: 1) thepreferred option for positioning readers and characters is a detaching one,created by the use of declaratives and visual choices such as the lack ofvisual contact, characters depicted in long shots and obliquely; 2) changesconcerning social distance tend to occur in the twisting moments of thenarrative; 3) differences regarding degrees of instantiation constitute oneof the resources used to create irony in the picture books analyzed; 4) theuse of colors is highly applied to evoke the characters states of mind andis mainly responsible for the construction of feelings since: 5) the verbaltext does not instantiate much verbal language concerning emotions; 6)ideational meanings are largely used to instantiate the characters feelings; 7) judgment between the characters is built, mainly, by theverbal text, while images converge with and evoke the content of thewritten text. This way, the present study aims at implementing thelanguage teaching areas by putting in evidence the interpersonal contentdeveloped in picture books as well as by highlighting their potential todevelop multimodal literacy.

Livros ilustrados constituem um gênero da literatura infantil quevem ganhando cada vez mais reconhecimento na sociedadecontemporânea. Ao mesmo tempo, eles se tornam mais sofisticados, poistrazem uma relação complexa entre imagem e texto verbal. Essacomplexidade requer a leitura de ambos os modos textuais bem como umaleitura intermodal para que a compreensão da história ocorra de formaefetiva effectively (Nodelman, 1988, Nikolajeva and Scott, 2006, Arizpeand Styles, 2003). A presente tese investiga os aspectos interpessoais delivros ilustrados, ou seja, a maneira como leitor e personagens sãoposicionados a fim de criar diferentes graus de envolvimento. Somandoseaos conteúdos interpessoais, explora-se também como se dá aconstrução de relações entre os personagens. A pesquisa toma por baseuma perspectiva sociossemiótica, mais especificamente, a gramáticasistêmico-funcional (Halliday, 1994; Halliday & Matthiessen, 2004), agramática visual (Kress & van Leeuwen, 2006) e o estudo voltado paranarrativas visuais (Painter, Martin & Unsworth, 2013). Os resultadossugerem que: 1) há uma preferência por manter o distanciamento entreleitores e personagens, criado pelo uso de orações declarativas e escolhasrelativas aos aspectos visuais como ausência de contato visual,personagens desenhados em planos abertos e obliquamente; 2) alteraçõesrelativas à distância social tendem a ocorrer em momentos de mudançana narrativa; 3) a diferença concernente aos níveis de instanciação é umdos recursos usados para criar ironia nos livros analisados; 4) o uso decores é altamente utilizado para evocar estados afetivos dos personagense é um dos principais responsáveis para a construção de sentimentos umavez que: 5) o texto verbal instancia pouca linguagem verbal relativa àemoções; 6) os significados ideacionais foram largamente utilizados parainstanciar os sentimentos dos personagens; 7) a construção de julgamentoentre os personagens se dá, principalmente, pelo texto verbal, sendo queas imagens convergem e evocam o conteúdo do texto escrito. Assim,busca-se com o presente estudo implementar as áreas voltadas para oensino de línguas ao evidenciar o conteúdo interpessoal desenvolvido emlivros ilustrados infantis, bem como destacar o potencial desses para odesenvolvimento do letramento multimodal.