Germany’s ART+COM used augmented reality in the stage setting and costume design of the opera The Jew of Malta premiered at the Opera Biennale Munich in 2002. Both the furniture (markers) and all other aspects of the stage were white, as was the costumes (markers) of the actors.  Using tracking technology and gesture-based control, the system projected images onto the stage setting and costumes – a milestone in using augmented reality in opera. Here The original English Text 

Nel 2002 il gruppo di artisti digitali Art+Com su commissione della Biennale d’Opera di Monaco e con il supporto dello ZKM ha realizzato un’opera musicale con il supporto di un sofisticato sistema tecnologico di motion graphics e motion tracking particolarmente emblematica per l’innovativa proposta di scena virtuale e di digital costume design.
Si tratta di The Jew of Malta, libero adattamento dall’opera di Christopher Marlowe firmato dal compositore e regista contemporaneo Andrew Werner. Lo scopo del progetto era quello di rinnovare la classica e statica scena per un design tecnologico “reattivo” e dinamico. La tecnologia si indirizza verso sistemi di bitmap tracking, gesture recognition e physical contour recognition per architetture e costumi
Protagonista era Machiavelli: le scenografie e persino i costumi digitali erano legati al concetto che Machiavelli era il detentore di un potere assoluto e di conseguenza tutto doveva ruotare intorno alla sua persona. La topografia dei luoghi, le trame virtuali dei tessuti e gli ambienti sintetici creati in grafica 3D – che andavano a configurare un bunker della Seconda Guerra Mondiale – si trasformavano real time sulla base di un sistema di rilevamento ottico del movimento del protagonista. Pochi attori ricoperti solo di una speciale stoffa bianca riflettente la luce interpretavano tutti i personaggi e i rapidi cambi di costume erano possibili grazie a videocamere a infrarossi che rilevavano i loro contorni e permettevano una proiezione di particolari texture virtuali sulle maschere digitali generate dal sistema. Spiegano i progettisti ARt+Com:

L’obiettivo non era quello di sviluppare una nuova forma di arte narrativa o celebrare la tecnologia sulla scena; al contrario stavamo cercando di estendere le potenzialità delle tradizionali discipline del teatro e del design del costume grazie all’aiuto dei media interattivi per farli diventare un ulteriore supporto alla narrazione. 

Art+Com messo a disposizione un video che spiega le caratteristiche tecniche di questo pionieristico progetto di stage design interattivo.
Di seguito la traduzione in italiano del testo del documentario scaricabile dal loro sito.

(Traduzione di Anna Maria Monteverdi, supervisione:Andrea Piegaia)

A VIRTUAL OPERA

Nel 1996 il Festival di Monaco commissionò al compositore Andrew Werner un’opera musicale contemporanea. L’opera è stata premiata nel 2002. Sin dall’inizio prima di scrivere la prima nota o il primo verso del libretto, il compositore aveva incluso artisti digitali nello sviluppo di tutto il progetto. Il nostro compito fu di creare una scena interattiva e uno speciale design digitale per i costumi, in stretta collaborazione con Werner per tutto il processo di scrittura. Era chiaro sin dal principio che l’obiettivo non era quello di sviluppare una nuova forma d’arte narrativa o celebrare la tecnologia sulla scena, al contrario stavamo cercando di estendere le potenzialità delle tradizionali discipline del teatro e del design del costume grazie all’aiuto dei media interattivi e farle diventare un supporto alla narrazione.

Il libretto dell’opera era basato sul testo L’ebreo di Malta scritto da C. Marlowe nel 1590 e che fu riscritto dal compositore Andrew Werner. Il testo è ambientato per la maggior parte in un monastero. Così il nostro primo passo fu quello di trovare una metafora contemporanea per l’ambientazione originaria. E ci venne l’idea di un bunker della seconda guerra mondiale perché il monastero e il bunker sono sia rifugio che prigione. Lo step successivo fu lo sviluppo di un concept per portare un bunker creato al computer, sintetico dunque, sulla scena e creare un’architettura tridimensionale e dinamica. Ci venne l’idea di usare tre schermi di grande formato retroproiettabili; poiché non potevamo proiettare un volume architettonico in forma olografica – come invece vediamo qui – decidemmo di proiettare soltanto le intersezioni verticali del bunker, definite dalla posizione e dalle dimensioni degli schermi. Queste intersezioni o piani che si congiungono, ci fornirono da una parte un interessante punto di partenza astratto, dall’altro crearono l’impressione di una gigantesca architettura tridimensionale.

Per testare quest’idea, creammo un modellino 1:10 con tre schermi retroproiettati: 3 schermi e 3 computer. Ciascuno di essi calcolava il piano di intersezione del bunker secondo la posizione e le dimensioni degli schermi. Per rendere possibile l’interattività abbiamo fatto aderire il movimento del bunker al movimento del corpo del personaggio principale, Machiavelli. Se lui si muoveva verso l’architettura o indietreggiava rispetto ad essa, tutta l’architettura lo seguiva; se si girava, l’intera architettura si girava esattamente secondo i suoi movimenti. Tecnicamente il protagonista era “tracciato”, seguito da una telecamera a infrarossi che forniva un traccia digitale in forma di bit map che permetteva di determinare l’esatta posizione sulla scena del protagonista. Era possibile interpretare il suo gesto calcolando il centro di gravità e trasmettendo la distanza tra questo e il punto più lontano dal centro.
Qui il protagonista Machiavelli è in grado di cambiare la scena solo muovendo le braccia. E qui un altro esempio di come può muovere l’intera scena digitale solo col gesto. Una potente impressione di tridimensionalità scaturisce da questa idea di intersecare l’ architettura virtuale.
Abbiamo scelto di attribuire a Machiavelli il potere attraverso l’interattività perché nell’adattamento di Werner dal testo di Marlowe Machiavelli è il personaggio centrale. Egli si considera il creatore dei mondi. Pensa che il mondo si muova secondo i suoi piani e crede di poter determinare anche le azioni degli altri. L’architettura in sé non è stata completamente pre-modellata. In alcune sequenze l’architettura è stata generata real time basandosi sull’algoritmo di crescita delle piante.
Oltre all’architettura interattiva generativa, abbiamo esteso le possibilità espressive del design del costume attraverso i nuovi media. Lo scopo era quello di proiettare le condizioni interiori dei cantanti sulla pelle esterna. Per fare ciò tecnicamente abbiamo sviluppato un sistema altamente complesso che ci permetteva di fare una proiezione precisa, soltanto dentro i contorni visibili dei personaggi. Essi potevano muoversi e la proiezione li seguiva secondo i diversi e continui cambi di posizione e di movimento.
Per fare questo gli attori indossavano un costume bianco che rifletteva gli infrarossi, illuminato con una luce rossa a infrarossi. Una telecamera ad infrarossi veniva puntata sulla scena e produceva 25 immagini ad alto contrasto al secondo. Da qui un algoritmo generava una maschera su cui era applicata una texture, una trama. L’immagine finale veniva poi proiettata sull’attore da un proiettore posizionato esattamente nello stesso punto della telecamera a infrarossi. Questo sistema è stato usato su due lati della scena per permettere che la proiezione dell’immagine avvolgesse l’attore per intero. Una delle molte possibili applicazioni è questa scena in cui tre ebrei vogliono convincere un quarto a pagare le tasse. Quando il quarto personaggio sembra essere convinto e si avvicina ai tre e assume la loro stessa “trama digitale” sul costume. Quando invece non è d’accordo, perde la trama.

Poiché abbiamo utilizzato quattro attori sulla scena su cui bisognava proiettare immagini, abbiamo sviluppato un ulteriore sistema piuttosto complesso che ci permetteva da un lato di identificare dove ciascuno degli attori era collocato e dall’altro lato dove il confine (per la proiezione) di uno di loro terminava e cominciava quella di un altro. Per fare questo abbiamo usato 4 telecamere laterali, una frontale e un’altra dall’alto che ci permetteva di generare real time un modello 3D architettonico per ciascun attore. Ecco le immagini dalle 4 telecamere. Ecco il modello 3D real time che veniva generato e che ci permetteva di capire esattamente la collocazione di ciascuno dei 4 attori e quale attore copriva gli altri. Questa informazione ci permetteva di capire dove una sagoma di uno doveva terminare e dove quella di un altro doveva cominciare. Ecco la trama proietatta risultante da sinistra e da destra. Ed ecco ancora il risultato finale sulla scena.
Come abbiamo detto all’inizio la tecnologia che avevamo sviluppato era la base per un contenuto che guidava l’interazione che era l’obiettivo principale e il supporto al racconto.
Machiavelli è la figura dominante che governa e conduce il gioco, che ha il potere interattivo sui media in scena e sui costumi digitali. All’inizio egli può controllare tutta la scena i cui diversi principi di interazione sono qui mostrati. Come l’opera musicale prosegue Machiavelli perde il suo potere che viene espresso da una perdita dell’interattività della scena. Infatti in poco tempo gli altri personaggi sono in grado di interagire con la scena disturbando il potere di Machiavelli. Alla fine addirittura la scena stessa prende controllo su di sé e comincia a essere interprete da sola, lasciando Machiavelli privo di potere. Il declino di Machiavelli è anche espresso dalla perdita di potere sulle proiezioni sui costumi sugli altri personaggi. Quando l’attore si leva il suo abito riflettente la luce infrarossi bianco, mostrano costumi neri che non possono essere catturati dalla telecamera e quindi su cui non si può proiettare immagini.
Quando il processo finisce i personaggi prendono il controllo del loro destino e il potere di Machiavelli viene meno definitivamente. Viene ridicolizzato dai personaggi. Nel finale il tema centrale è nuovamente messo in vista. La lotta di potere tra le tre religioni mondiali, Cattolicesimo, Islam e Ebraismo. Machiavelli è incastrato tra le religioni che sono rappresentate da tavoli con tovaglie dalle trame di tre colori differenti. Alla fine anche Machiavelli perde questa lotta e le Religioni dominano crescendo fino a riempire l’intero palco.

ART+COM – COMMUNICATING SPATIALLY WITH NEW MEDIA

By the mid-1980s an interdisciplinary group of designers, architects and artists coming from various departments of the Berlin University of the Arts and hackers from the ChaosComputerClub foresaw that the upcoming digital technology was not only a tool, but potentially a (mass) medium. Therefore ART+COM was founded as an non-profit organisation to explore the new mediums applied possibilities in the fields of art, design, science and technology.In 1994 when ART+COM received commissions of commercial projects the organisation became officially a company with limited liability. Since 1998 the design studio is owned mainly by its employees, board members as well as the former organisation members. From the very beginning ART+COM has pioneered the development of this medium, and has conceived and realized communication formats, design principles and technologies that have become pervasive concepts in today’s world. Ranging from artistic installations and design-focused projects to technological innovations and inventions, ART+COM’s work includes different kinds of formats: Autoactive, reactive and interactive objects and installations, media-based environments and architectures.Although often very complex, the projects are always driven by the content and not by the technology. Despite having grown and professionalised its operations, ART+COM remains dedicated to its original cause from 25 years ago: to design innovative and original projects  to pave the way for the future of media-based communications.