Il videomapping in Augmented Reality. Surfacing media e urban storytelling in Cthulhu di KOMPLEX-Live Cinema Group

Cinergie – Il cinema e le altre arti. N.14 (2018)
ISSN 2280-9481

Il videomapping in Augmented Reality.
Surfacing media e urban storytelling in Cthulhu di KOMPLEX-Live Cinema Group

Mirko LinoUniversità degli Studi dell’Aquila (Italy)

Mirko Lino is Research Fellow and Adjunct Professor in History of Cinema and Cinema and Media at University of L’Aquila. He is editor in chief of “EmergingSeries Journal”. He published the book L’apocalisse postmoderna tra letteratura e cinema. Catastrofi, oggetti, metropoli, corpi (Le lettere, 2014); he edited (with S. Ercolino, M. Fusillo, L. Zenobi) Imaginary Films in Literature (Brill-Rodopi, 2016), and with S. Antosa, Sex(t)ualities. Morfologie del corpo tra visioni e narrazioni (Mimesis, 2018).

Ricevuto: 2018-07-12 – Versione revisionata: 2018-10-08 – Accettato: 2018-11-23 – Pubblicato: 2018-12-31

Abstract

This essay analyzes the Augmented Reality (AR) installations of the KOMPLEX-Live Cinema Group, who since 2013 have worked for the dissemination of digital visualities in urban spaces. KOMPLEX’s installations define AR’S media and narrative features, as a kind of surfacing media which allows digital images to come to the surface, by narrating the user’s walk through urban spaces (urban storytelling). The following analysis will consider the interactive installation Cthulhu – An Investigation on Very Low Frequencies in L’Aquila (2016) as the topic for consideration. Cthulhu is an augmented walk through the city of L’Aquila, where many districts were destroyed by a violent earthquake. These are replaced by the rich imagery taken from the literary mythology of H.P. Lovecraft novels. The AR work by KOMPLEX in Cthulhu aims to re-signify the interactive-immersive account between the user, medium and urban space. Before a formal analysis of Cthulhu, this essay will sketch out a theorical framework for the phenomenological study of Augmented Reality.

Keyword: Augmented Reality; KOMPLEX – Live Cinema Group; Post-Cinema; Surfacing Media; Urban Storytelling.

1 Inquadrare l’Augmented Reality

Nel video BroadcastAR Augmented Reality for National Geographic Channel1 (2012) viene ripresa un’installazione sviluppata da INDE2 in cui alcuni visitatori del National Geographic Museum di Rotterdam, posizionati all’interno di un reticolo sul pavimento, vengono mostrati su uno schermo dove all’improvviso appaiono le proiezioni digitali di astronauti, delfini, dinosauri, ecc. pronte a interagire con loro. Il video mostra l’incontro tra elementi reali (i visitatori) ed elementi virtuali (le proiezioni) all’interno di un contesto spaziale ben definito (il museo) che lo schermo installato contribuisce a trasformare in quello che Lev Manovich ha definito augmented space: uno spazio fisico dove si sovrappongono in maniera dinamica elementi virtuali (2006: 220).

La tecnologia esibita nel video è l’Augmented Reality (AR), capace di creare delle suggestive commistioni interattive tra elementi reali e digitali in uno spazio che diviene ibrido, dove il virtuale non sospende il reale, bensì lo arricchisce di informazioni e dati.3 BroadcastAR, inoltre, mostra gli effetti visivi che l’AR produce sui visitatori, indugiando sullo stupore impresso sui loro volti: un wow effect che sembra richiamare l’astonishment4 dello spettatore davanti alle apparizioni (e sparizioni) di immagini effimere e figure spettrali, tipiche di dispostivi precinematografici e del cinema delle origini. Questo esempio, quindi, permette di considerare l’AR alla stregua di una ricodificazione postcinematografica5 di diverse esperienze mediali del passato, caratterizzate da una spiccata innovazione e sperimentazione dei linguaggi e delle forme.

Helen Papagiannis (2014: 35) considera l’AR una medialità emergente; pertanto, alcune sue caratteristiche formali sembrano tracciare una continuità con quelle del passato: lanterna magica, fantasmagoria e il cinema delle origini “rimediando”6 le estetiche ibride, sperimentali, intermediali di queste forme del passato in chiave digitale. L’AR, infatti, sembrerebbe replicare l’esperienza del cinema delle attrazioni formalizzata da Gunning: “the craft of late nineteenth-century stage illusions consisted of making visible something which could not exist, of managing the pay of appearance, in order to confound the expectation of logic experience” (1986: 116-117). Alla stregua delle fantasmagorie e delle magie visive di Méliès,7 che con i loro “trucchi” esibivano tutto il potenziale espressivo delle rispettive medialità, anche l’AR nella sua fase attuale concorre a mostrare le proprie peculiarità tecniche, promettendo l’irruzione di elementi virtuali nello spazio fisico in maniera creativa e artistica, come dimostreranno alcuni esempi di Mobile Augmented Reality Art8 trattati nel prossimo paragrafo.

Figura 1. Un esempio di fantasmagoria; immagini tratte da BroadcastAR di INDE.
Figura 1. Un esempio di fantasmagoria; immagini tratte da BroadcastAR di INDE.
Figura 2. La colonizzazione urbana dei Pokémon.
Figura 2. La colonizzazione urbana dei Pokémon.

Secondo Helen Papagiannis (2014), quindi, l’AR ripercorrerebbe le medesime tappe che hanno caratterizzano i media prima di giungere a sviluppare modi di rappresentazione e produzione convenzionali;9 pertanto, vivrebbe una stagione di ricchezza espressiva e di profonda sperimentazione intermediale, di confronto con gli altri linguaggi, al fine di “drammatizzare” ed esibire, le proprie potenzialità visive10 e articolare una dimensione narrativa plasmata sulle proprie specificità tecnologiche.

L’AR nasce come una tecnologia per la visualizzazione di informazioni: non a caso il termine viene coniato da Caudell e Mizell (1992) a proposito di alcuni interventi tecnici sui Boeing eseguiti attraverso visori HUD (Head-Up Display)11 che permettevano all’operatore di visualizzare in sovraimpressione diversi dati tecnici. Grazie all’integrazione della geolocalizzazione e la diffusione di dispositivi mobili – smartphone, tablet e diversi prototipi di glass12 – questa tecnologia ha cominciato a essere impiegata per la costruzione di spazi ibridi, dove reale e virtuale negoziano la loro compresenza e influenzano reciprocamente le loro forme. Ed è a partire dalla triplice intermediazione tra reale, virtuale e interfaccia, che l’AR ha arricchito le sue possibilità espressive, divenendo un medium che non solo tematizza la polimorfia degli spazi, ma che si mostra esso stesso in continua trasformazione. Pertanto, considerare l’AR semplicemente una tecnologia sarebbe alquanto riduttivo; mentre, considerare le sue ricorrenze estetiche, i modi in cui esibisce le epifanie digitali, l’uso dei device e delle rispettive interfacce, all’interno dei discorsi del cinema e della sua rilocazione negli spazi urbani,13 della “ri-mediazione” del cinematico nei dispositivi mobili14 e della tracimazione dell’immagine cinematica nel campo della media art,15 permette, a mio parere, di comprendere le possibili configurazioni spaziali tra utente, contenuto, spazio e medium16 che definiscono alcuni assetti entro i quali costruiamo le nostre esperienze e organizziamo i nostri saperi con i media contemporanei.

In questo contributo si proverà, quindi, a unire i punti sin qui tracciati, prendendo come caso studio l’analisi formale del percorso urbano aumentato Cthulhu: An Investigation on Very Low Frequencies in L’Aquila (2016), sviluppato da KOMPLEX-Live Cinema Group. Attraverso questo caso specifico, si proverà ad avviare una riflessione sulla rilocazione delle istanze fruitive e visive del primo cinema all’interno delle polimorfie espressive dell’AR, insistendo sulla sua profonda interazione con la superficie urbana.

2 L’AR come surfacing media e urban storytelling

Le applicazioni dell’AR sono molteplici. Da una parte, si accostano alla logica dell’estrazione di dati e informazioni da marker e QR code: pensiamo all’ambito brand oriented17 dove tendenzialmente si generano esperienze passive (lean back experience18) di animazioni virtuali di oggetti statici,19 o micronarrazioni per fidelizzare il consumatore, fruibili sullo smartphone, senza richiedere l’interazione dell’utente; o a quello dell’editoria,20 dove articoli e approfondimenti vengono estratti dalla carta stampata e rilocati per essere letti sul proprio dispositivo mobile. Dall’altra parte, invece, sono notevoli gli sviluppi in ambito medico-scientifico, come avviene, ad esempio, per lo sviluppo di augmented surgery table21 dove viene intensificata la portata visiva delle epifanie grafiche e informazionali. L’AR, quindi, nella sua polimorfia e polifunzionalità, appare imbrigliata in una serie di effetti meramente mostrativi, organizzati su immagini che emergono da oggetti e superfici statiche. È soprattutto l’ambito artistico sperimentale, invece, a insistere verso la sperimentazione di diverse tipologie di articolazioni narrative a seconda delle esperienze dell’utente e la qualità delle immagini che emergono. Rewa Wright (2015: 2) sottolinea come l’AR contribuisca alla riconfigurazione delle nozioni di interfaccia, partecipazione dell’utente ed esperienza mediale in relazione a una dimensione spaziale che, come abbiamo accennato, si rivela ibrida e complessa. La sfida in termini artistici sembrerebbe quella di innescare una relazione con lo spazio circostante che superi le limitazioni della galleria o dello spazio espositivo,22 al fine di concentrarsi principalmente sull’area urbana e gli spazi pubblici. La Mobile AR(t), argomento centrale degli studi di Wright, illustra la complessità fenomenologica dello spazio aumentato; una questione che per Lev Manovich (2006: 225) diventa anche estetica e riguarda la centralità dell’utente nell’esperienza mediale. In questa prospettiva, ad esempio, il collettivo Manifest.Ar si propone di usare l’AR per trasformare il senso profondo degli spazi pubblici attraverso l’installazione di oggetti virtuali,23 che richiedono all’utente pratiche di walk through tra elementi urbani “aumentati” da interferenze digitali. È proprio la combinazione tra interfaccia mobile, geolocalizzazione e spazio a contribuire a definire i contenuti in AR come la narrazione di un’esperienza urbana (urban storytelling). Ad esempio, Alter Bahnof (2012) di Janet Cardiff e Georges Bures Miller mostra lo schermo di uno smartphone posto al centro di un’inquadratura che riprende il flusso di gente in transito dalla stazione ferroviaria di Kassel in Germania; al di fuori della cornice ritagliata dallo smartphone viene riproposto il medesimo scenario urbano, colto però in un altro momento, mentre la voce di Cardiff (in audio binaurale) racconta frammenti di narrazioni, provando a guidare – e a confondere – gli utenti.

Figura 3. 28 di KOMPLEX.
Figura 3. 28 di KOMPLEX.

Alter Bahnof illustra un’intrigante fusione tra interfaccia, spazio reale e narrazione orale, che ribadisce come l’esperienza visiva e narrativa della città venga sempre di più mediata dagli schermi di dispostivi portatili. In Biomer Skelter (2013) di Tamiko Thiel e Will Pappenheimer, invece, le sperimentazioni tra spazio e narrazione convergono in forme di embodiment virtuale e metropolitano, tramite un fitto scambio tra dati biologici e spazio urbano: a partire dalla frequenza dei battiti del cuore degli utenti, analizzato da un’app, sulla città vengono disseminate diverse tipologie di piante visualizzabili tramite smartphone e tablet; maggiore sarà la frequenza dei battiti, maggiore sarà la presenza della vegetazione virtuale nello spazio urbano, generando così un nuovo cityscape24 che “racconta” anche lo stato fisico dell’utente.

Figura 4. Locandina digitale di Cthulhu e del workshop in AR tenutosi presso il Dipartimento di Scienze Umane dell’Università dell’Aquila.
Figura 4. Locandina digitale di Cthulhu e del workshop in AR tenutosi presso il Dipartimento di Scienze Umane dell’Università dell’Aquila.

Altri due brevi esempi, questa volta inerenti ai tentativi di diffusione commerciale e videoludica dell’AR, contribuiscono a definirne maggiormente la componente narrativa in relazione allo spazio urbano. Il primo esempio riguarda il video One Day25 (2012) prodotto da Google per la promozione dei suoi glass.

Figura 5. I tentacoli di Cthulhu nel portico presso la Piazza del Duomo.
Figura 5. I tentacoli di Cthulhu nel portico presso la Piazza del Duomo.

One Day mostra un’ipersoggettiva (Eugeni 2015: 49-63) delle interazioni dell’utente con le informazioni e i dati estrapolati dalla superficie urbana e ricodificate tramite i Google Glass. L’ambiente urbano e gli altri spazi percorsi (la strada, la libreria, l’accesso alla metro, ecc.) si trasformano in un’interfaccia immersiva per diverse tipologie di interazione con le rappresentazioni grafico-dinamiche di dati e informazioni (data visualization). In questa maniera, il percorso interattivo dell’utente funziona da volano per la narrazione di un’esperienza mediale sempre più integrata nel tessuto urbano.

Il secondo esempio riguarda la famosa app Pokémon GO (2016) sviluppata da Niantic Lab, che permette ai giocatori di catturare tra le strade di diverse città del mondo le entità digitali appartenenti al mondo dei videogame della Nintendo. L’app, come sottolinea Adriana De Souza e Silva, rientra nella categoria degli Hybrid Reality Game26 (HRG), ovvero quelle esperienze ludiche che utilizzano la città come campo di gioco (De Souza e Silva 2017: 21). Peculiarità di questa app-game, rispetto agli altri HRG, è l’utilizzo dell’AR per attivare i contenuti del gioco (la visualizzazione degli animaletti del mondo dei Pokémon che i giocatori devono catturare) rilocando così l’esperienza videoludica nello spazio urbano.27 In questa maniera il gioco viene arricchito da un’esperienza urbana: una narrazione configurata sulla geolocalizzazione e i percorsi tracciati dagli utenti per raggiungere i diversi obiettivi.