Multimodalitet är utmärkande för konst där material i olika former, exempelvis tal, rörelser och text, kombineras i samma verk, exempelvis en teaterföreställning. I synnerhet digital konst är multimodal, eftersom man med digitala metoder kan blanda och kombinera om olika former, testa och leka med de möjligheter som de digitala verktygen erbjuder samt utveckla nya uttryck.
Kuvituskuva: silmä ja numeroita
Foto: Getty Images / Stanislaw Pytel

Författare: Martina Paatela-Nieminen ja Tomi Slotte Dufva

Multimodalitet betyder enligt Kress och Leeuwen (2005: 177) text där man använder mer än en form. I grunderna för läroplanen för den grundläggande utbildningen tillämpas det vidgade textbegreppet, enligt vilket ordet text syftar på information som uttrycks med hjälp av verbala, visuella, auditiva, numeriska och kinestetiska symbolsystem samt kombinationer av dessa (LPG 2014: 22). 

I detta stödmaterial presenteras utifrån det vidgade textbegreppet intertextuell läsning (Paatela-Nieminen 1996; 2000), där man studerar interaktionen och relationerna mellan olika fenomen, deras betydelser och hur de blir till någonting. I studierna i bildkonst i gymnasiet tolkar man bilders intertextuella referenser till exempelvis en annan bild eller en sång (GLP 2019: 353). I modulen KO3 ingår att tolka visuella kulturprodukter som kombinerar olika sätt att skapa kunskap och de intertextuella relationer som ingår i dem (GLP 2019: 357). 

Nedan diskuteras exempel från en högskola, där multimodala texter studeras intertextuellt. Analysen fokuserar då på textens innehåll, som får tolkaren att tänka på en referens till eller ett spår av en annan bild, samt former som skapar intertextuella kopplingar mellan olika medier, intermedialt.  (Se bild 1.) I gymnasiet uppmuntras de studerande att testa och tillämpa nya tekniker och medier i visuellt uttryck och i utforskandet av fenomen (GLP 2019: 352).

Tillbaka upp

I kursen Media (5 sp) i grundstudierna i bildkonstens didaktik (25 sp) vid Helsingfors universitet läsåret 2020–2021 var en uppgift att göra en kort video, där tanken var att kombinera olika verkligheter ur den reella och den virtuella världen. I produktionerna kombinerades material i olika former: fotografier, korta gif-animationer och längre animationer som skapats med programvaran Procreate, som till slut kombinerades till en video. Man använde sig av iPad och Apple Pencil. 

I sin video Uncanny clearing (2021) kombinerar studerande Tuike Venho olika materialtyper på ett intertextuellt sätt så att referenser, bildspår, har förverkligats intermedialt från andra texter. Venhos video berättar om ett djur vars gestalt är en korsning av en spelfigur och en kattvideo. Figuren påminner om Carbuncle från spelserien Final Fantasy. Dess rörelser är däremot en hänvisning till en video med en levande katt som saknar framben, och som därför rör sig på ett speciellt sätt. Venhos animerade figur har fängslande rörelser. Bakgrunden i animationen är ett skogslandskap som målats i Procreate. I förgrunden finns en transformerad rhododendronbuske, som försvinner från förgrunden stegvis, som en ridå. Ljudlandskapet består av fågel- och skogsljud samt figurens märkliga ljud. För att få in lite av den verkliga verkligheten i animationen stoppade Venho in sin hand intill den sovande animerade figuren och gav den en byggnad att förundras över (bild 2). Som teknik användes en blue screen-bakgrund, som handen filmades mot. Den blå bakgrunden gjordes transparent och ersattes med animationens bakgrund. Tekniken för infällningen av handen var för Venho ett minne av en infällningsteknik som användes i en animerad film om Svampbob Fyrkant. Intertextuella betydelser byggs i detta sammanhang i intermediala relationer. 

Kohtaus Tuike Venon animaatiosta
Scen ur Tuike Venhos animation

Det är viktigt att notera hur olika medier flyter in i varandra och skapar mångsidiga verkligheter och mångfibriga tolkningar. Det att den digitala tekniken har kommit med – och finns överallt – formar det multimediala skapandet (Dufva & Dufva 2016). Man kan animera och manipulera bilder samt kombinera olika slags bilder på aldrig tidigare skådade sätt: virtuella världar blir till världar av förstärkt verklighet och nostalgiska animerade figurer från barndomen kombineras med nutida bilder på mångsidiga sätt. Utöver allt detta ger de digitala verktygen möjlighet att programmera bilder, så att varje pixel kan formas med kod för att ge nya intermediala och multimodala betydelser. 

Tillbaka upp

 

Ett annat exempel är den immersiva 3D-videon Gretan puutarha, som namngavs efter klimataktivisten Greta Thunberg. Gretan puutarha utarbetades i kursen Ilmaisu i grundstudierna i bildkonstens didaktik (25 sp) år 2019, när studerandegrupper virtuellt skapade en gemensam tredimensionell immersiv värld med programmet Tilt Brush, som kräver att man tar på sig ett HTC VIVE-visir och håller kontroller för den virtuella verkligheten i händerna. I den reella och virtuella verklighetens världar målade och skulpterade man virtuellt samt kombinerade såväl 2D-teckningar som 3D-bilder från den verkliga världen som förts in med fotogrammetriteknik. 

Paatela-Nieminen (2019a), intertekstuaaliset merkityssuhteet
Paatela-Nieminen (2019), intertextuella betydelserelationer

Bild 1. Paatela-Nieminen (2019), intertextuella betydelserelationer

Intertextuella betydelsenätverk bildas såväl mellan texter som när man skiftar fokus mellan studerande, medier och kulturer (bild 1). Eftersom intertextuella betydelser rör sig i olika verkligheter och världar, kan betydelserelationerna och nätverken vara mångsidiga och betydelserna pluralistiska.

Tillbaka upp

  • Dufva, T., & Dufva, M. (2016). Metaphors of code—Structuring and broadening the discussion on teaching children to code. Thinking Skills and Creativity, 22, 97-110. https://doi.org/10.1016/j.tsc.2016.09.004
  • Kress, G. & van Leeuwen, T.  (2005). Reading images. The grammar of visual design. New York: Routledge.
  • LOPS, Lukion opetussuunnitelman perusteet (2019) https://www.oph.fi/sites/default/files/documents/lukion_opetussuunnitelman_perusteet_2019.pdf
  • OPS Perusopetuksen opetussuunnitelman perusteet 2014. 4. painos. Helsinki: Opetushallitus. https://www.oph.fi/sites/default/files/documents/perusopetuksen_opetussuunnitelman_perusteet_2014.pdf
  • Paatela-Nieminen (1996). Intertekstuaalinen tutkimus englantilaisista Alice in Wonderland -kuvituksista vuosilta 1984–1994 ja Alices in Wonderlands  -multimedia. Lisensiaatin tutkimus. Espoo: Aalto yliopiston kirjasto.
  • Paatela-Nieminen (2000). On the threshold of Intercultural Alices. Intertextual research on the illustrations of the English Alice in Wonderland and the German Alice im Wunderland in intermedia research in the field of art education. CD-rom muotoinen väitöskirja. Taideteollinen korkeakoulu.
  • Paatela-Nieminen, M. (2019). Intertekstuaalisuus monilukutaitoa rakentamassa. Teoksessa M. Harmanen & M. Hartikainen (toim.), Monilukutaito. Helsinki: Opetushallitus, s. 132–139.
  • Paatela-Nieminen, M. & Kupiainen, R. (2019). Taidekasvatus ja monilukutaito. Teoksessa T. Autio, L. Hakala & T. Kujala (toim.), Siirtymiä ja ajan merkkejä koulutuksessa: Opetussuunnitelmatutkimuksen näkökulmia. Tampere: Tampere University Press, s. 297–318. http://urn.fi/URN:NBN:fi:tuni-201912166925
Tillbaka upp