Het regent pijpenstelen. En wel in het gebouw op het computerscherm van architectuurstudent Loretta So. ‘Ik ben aan het kijken hoe de lichtval is op verschillende plekken in mijn gebouw’, zegt ze. ‘En ik heb net het weertype veranderd.’ Opmerkelijk aan haar ontwerp is een weidse glazen overkapping. De weerkeuze ‘stormachtig’ toont hoe het buitenlicht daar doorheen valt bij een loodgrijze wolkenlucht. Omdat So nog geen glas heeft toegevoegd aan de ijzeren baleinen van het virtuele dak, vertelt het computerprogramma nu met grijswitte strepen dat je nat wordt als je eronder staat.
Het is vrijdag op de VRAcademy, en dus zijn de achttien werkplekken in het leslokaal op het Amsterdamse Marineterrein bezet door tweedejaarsstudenten van de master architectuur. Wekelijks werken ze daar aan driedimensionale modellen van een nieuw gebouw voor ArtEZ, de modeacademie van Arnhem. Bijzonder is dat er naast de computers een fikse virtual-realitybril hangt die de studenten zo nu en dan opzetten. Met die VR-bril op kunnen ze zich in hun ontwerp wanen en de ruimtelijke werking ervan ervaren. ‘Ik had vorige week nog een ruimte van vijf meter hoog’, vertelt Myrna Eussen, die naast So aan het werk is. ‘Je wéét wel wat vijf meter is, maar met VR kun je vóelen wat dat betekent. En toen ik erin stond, dacht ik: veel te hoog!’
Het is geen nieuws dat er op de Amsterdamse Hogeschool voor de Kunsten met VR wordt gewerkt. Maar tot voor kort gebeurde dat alleen op de Filmacademie. Het leslokaal op het Marineterrein maakt het mogelijk dat ook studenten van andere academies gebruik kunnen maken van de apparatuur, de software en ervaren VR-docenten. En dit ene lokaal is nog maar het begin van de VRAcademy. Momenteel zorgt een verbouwing ervoor dat er een studio van zeven bij zeven meter bijkomt, waarin iemand met een VR-bril op kan rondlopen. Hoe nodig dat is, wordt duidelijk als je in het leslokaal het gebouw van een architectuurstudent met de bril op betreedt. Om in het ontwerp van Eussen te navigeren, moet je met een controller op aangegeven punten in de ruimte mikken en klikken. Een gestileerde hand met controller die vlak voor je in de ruimte zweeft, zorgt voor een connectie tussen je lichaam en de virtuele omgeving. Daar heb je zat ruimte om met de controller te zwaaien, maar in de fysieke werkelijkheid (die je niet meer ziet) kun je dan een lelijke klap uitdelen aan iemand op de werkplek naast je.
Initiatiefnemer en hoofd van de VRAcademy is Harry Schreurs. Twaalf jaar was hij op de Filmacademie studieleider van de opleiding Immersive Media & Visual Effects (imvfx) toen hij vond dat er een volgende stap richting de toekomst moest worden gemaakt. Allereerst wilde hij de studierichting Immersive Media verstevigen. Wat de visuele effecten betreft stond de opleiding imvfx er goed voor: ‘Onze studenten gaan naar bedrijven over de hele wereld en werken daar mee aan grote films.’ Het specialistische vakgebied waar hij zich al zo’n 35 jaar mee bezighoudt, was altijd een voorloper als het ging om nieuwe technieken om 3D-beelden te fabriceren en te manipuleren. ‘Veel technieken die de samenleving nu zo veranderen, zoals fake interviews en facial tracking waarmee ze in China mensen controleren, werden eerder bij visual effects gebruikt.’ In zijn kantoor op de Filmacademie pakt Schreurs zijn mobieltje op. ‘De software om gezichten te herkennen, die in een iPhone X zit, daar werkten wij hier vroeger mee. Ineens was dat niet meer te verkrijgen en het bedrijf dat die software leverde was verdwenen. Wij wisten toen dat Apple het had opgekocht en dat die techniek drie, vier jaar later in een smartphone zou opduiken.’
Maar wat zich momenteel het interessantst ontwikkelt zijn de real-time filmische VR-ervaringen, die je fysiek kunt ondergaan. De filmindustrie vond virtual reality in eerste instantie niet bijster interessant. ‘Het werd gezien als iets voor computergames en voor commerciële gadgets. Daar konden geen verhalen mee worden verteld.’ De virtuele wereld die je met een VR-bril kon ervaren zag er lang ook nogal synthetisch en schetsmatig uit. In de aanpassing van fotorealistische beelden op een veranderde blikrichting of een interactieve handeling zat vertraging, omdat de computers dat niet zo snel konden uitrekenen. Maar de vereiste apparatuur en software werden steeds goedkoper en voor iedereen beschikbaar en de rekenkracht van de computers nam razendsnel toe.
Schreurs toont een YouTube-filmpje dat de mogelijkheden promoot van een ‘game engine’, een computerprogramma dat 3D-beelden genereert. Onder de aanprijzing ‘Ridiculously Realistic Looking Characters and Environments!’ verschijnt in een donker woud een lieflijke jonge vrouw, die neerknielt bij een bosmeer en blijkt te huilen als de camera dichterbij komt. Het moet wel een gefilmde actrice zijn, zo levensecht zijn haar expressie en bewegingen. Maar alles in het promotiefilmpje is op de computer vervaardigd. De menselijke figuur, die altijd het moeilijkste was om na te maken, bevat alle noodzakelijke details: glans in de ogen, poriën in de huid. ‘Met VR-bril op kan ik door het landschap naar haar toe lopen’, zegt Schreurs. ‘Die bril is nu nog een onhandig groot ding, maar ook die zal handzamer worden. Het is dus niet meer de vraag of deze nieuwe technieken óóit iets gaan betekenen voor de filmindustrie. Iemand die alleen thuis zit, kan dit met zo’n game engine allemaal gaan maken. Je moet wel eerst een persoon rondom hebben gescand, maar zodra je het animatieskelet hebt en foto’s van het uiterlijk, kun je met die figuur aan de gang. Een film creëren is binnenkort dus niet meer voorbehouden aan mensen die hele studio’s en filmcrews tot hun beschikking hebben. En het ziet er filmisch geloofwaardig uit.’
Voor de makers van traditionele films kunnen de nieuwe technieken voor veel meer worden ingezet dan alleen visual effects. ‘Als je hierbuiten een film wilt gaan draaien’, wijst Schreurs naar het verkeersplein voor de Filmacademie, ‘kun je met een aantal foto’s van de omgeving een 3D-model van de locatie maken. Daarmee kun je van tevoren alles previsualiseren: de hoek waarvanuit je wilt filmen, waar je de lampen neerzet, waar de acteurs moeten staan.’ En doordat virtual-realitybeelden tegenwoordig met een real-time-snelheid reageren op de drager van een VR-bril, nodigt de techniek uit om er verhalen mee te vertellen die filmisch zijn én een fysieke ervaring veroorzaken. In een studio op de Filmacademie staat het decor al klaar van het VR-project waar de vierdejaarsstudenten van Immersive Media mee afstuderen. Voor een simulatie van een loopgraaf uit de Eerste Wereldoorlog is een bouwsel getimmerd van ‘verweerde’ planken: een tastbare beschutting waar jij als ‘soldaat’ straks met je VR-bril op tussendoor tuurt. Een zachte, bobbelige ondergrond geeft je voeten het gevoel dat ze in de modder staan.
Bij de VRAcademy kunnen ook studenten van buiten de opleiding Visual Effects & Immersive Media een plan indienen voor een virtual-realityproject, waar zij met hulp van VR-docenten aan gaan werken. Dat liet Roshan Nejal zich geen twee keer zeggen. Als student regie documentaire was hij in zijn eerste jaar al bezig met de mogelijkheden van interactieve film. ‘De eerste keer dat ik een VR-bril opdeed, dacht ik: wauw, dit is zo’n nieuwe manier van verhalen vertellen! Maar je moet daarvoor wél anders gaan denken. Veel VR-producties bestaan nog steeds uit een verhaal met een begin, midden en eind, omdat filmmakers dat gewend zijn. Dan krijg je een bioscoopfilm waarin je kunt rondkijken. Terwijl de toegevoegde waarde van VR is dat het je een levensechte, fysieke ervaring kan geven. Mijn missie als documentairemaker is: de belevingswereld van andere mensen invoelbaar maken. Begrip creëren voor mensen die niet in eerste instantie op jou lijken. Dat is in de wereld van nu echt nodig. En VR kan daarin helpen.’
Het plan waarmee Nejal naar de VRAcademy stapte, is een uitbreiding van de documentaire Familyfood die hij als derdejaars maakte over zijn maagverkleining. ‘Ik heb heel mijn leven morbide obesitas gehad’, vertelt de jongeman die nu een slanke verschijning is, maar een jaar geleden nog honderdvijftig kilo woog. In de korte film zie je Nejal voor en na zijn operatie in zijn ouderlijk huis praten met zijn oma en met zijn moeder die de gerechten met roti, rijst en aardappelen bereidt, die bij de Nejals tweemaal daags op tafel komen. Zelf worstelde Roshan altijd met zijn overgewicht. ‘Maar op een gegeven moment viel het me op dat mijn hele familie overgewicht heeft. In mijn film onderzoek ik waarom eten zo belangrijk is in de hindoestaanse cultuur waarin ik ben opgegroeid, en hoe onze eettradities van generatie op generatie worden overgedragen. Dat gebeurde altijd vanuit een heel liefdevolle intentie. Maar daarin zit het drama van de film, want hoe liefdevol het ook was, het heeft mij iets negatiefs gebracht.’
Toen hij vijftig kilo was afgevallen, kreeg hij van een bewegingsdeskundige die hem in de obesitaskliniek begeleidde een zogenaamd ‘sportvest’ aan waar dat gewicht aan was gehangen; om te voelen wat hij was kwijtgeraakt. Een indringende ervaring, die hij met zijn VR-project overdraagbaar wil maken. ‘Toen ik zo dik was, vond ik het lastig hoe gemakkelijk anderen daarover dachten: ach, wat kilootjes meer, je eet gewoon wat minder en dan is het opgelost. Maar mensen begrijpen niet hoe het is om zoveel massa met je mee te dragen. Ik kon niet lang op mijn benen staan. Ik had moeite met bewegen, en als je dat de hele dag ervaart, dan heeft dat invloed op je persoonlijkheid. Dat wil ik met mijn VR-project invoelbaar maken.’
De opzet is dat het publiek na het bekijken van de documentaire een vest aankrijgt met vijftig kilo eraan, en dan de huiskamer van de Nejals betreedt. Daar kun je rondlopen en allerlei voorwerpen, die daartoe uitnodigen, nader bekijken. Bij een jeugdfoto van Roshan als dik jongetje, zegt zijn moeder, die ook in de huiskamer is, hoe goed hij er toen toch uitzag. Bij een doosje pillen voor diabetespatiënten zegt zijn moeder dat je met de juiste pillen prima met suikerziekte kan leven. Het probleem van obesitas wordt dus ontkend, terwijl de VR-brildrager de fysieke impact ervan aan den lijve ondervindt. Kijk naar beneden en je ziet een omvangrijke buik. Je voelt hoe zwaar het is om te blijven staan. Zowel in de virtuele huiskamer als in de werkelijke ruimte staat één stoel; als je daarop gaat zitten, is de ervaring afgelopen. De uitdaging wordt dus om het neerzijgen op die stoel zo lang mogelijk uit te stellen. Hoe en of dit gaat werken, moet Roshan Nejal nog allemaal gaan uitzoeken.
Ook voor studenten buiten de Filmacademie is het werken met VR interessant. Momenteel wordt de simulatietechniek overal ingezet: bij watermanagement om stromingen in kaart te brengen en het effect van stijgingen te voorspellen; door winkelketens die online winkels ontwerpen waar je tussen de schappen kunt lopen; door historici die vroegere steden betreedbaar nabouwen. Aansluiting bij deze brede beroepspraktijk was een reden om de VRAcademy buiten de Filmacademie op het Marineterrein te plaatsen, midden tussen de VR-start-ups die zich daar hebben genesteld en die bedrijfsmatig betrokken kunnen worden bij studentenprojecten die zich daartoe lenen. En om van begin af aan de voorzieningen voor alle academies van de ahk toegankelijk te maken. Inmiddels zijn er al bijna twee jaar VR-lessen gegeven aan studenten van diverse opleidingen. De Academie van Bouwkunst heeft zelfs een eerstejaars lesprogramma voor zestig studenten aangevraagd, opdat de aanstaande architecten al vroeg leren om met VR te werken en het als ontwerptool te gebruiken. Naast de nieuwe VR-studio komt er op het Marineterrein voor alle ahk-studenten een werkplaats waar decorstukken kunnen worden gebouwd en waar je maquettes en modellen kunt vervaardigen met de modernste 3D-printers.
Een andere reden dat het college van bestuur in 2017 het plan van Harry Schreurs ondersteunde en er financiële middelen voor vrijmaakte, is dat de VRAcademy innovatie binnen het ahk-kunstonderwijs zou kunnen bevorderen. En innovatie is niet alleen een kwestie van nieuwe apparatuur, maar vooral van nieuwe ideeën. Die ontstaan met name in de kruisbestuiving van verschillende disciplines. ‘Bij de VRAcademy kan een theaterregisseur een project doen met iemand van Visual Effects, of een danser met een interactieve documentairemaker. Laat die samen met virtual reality aan de gang gaan en er kan iets totaal vernieuwends uitkomen.’
Zo kan het dat op een doordeweekse middag Daniel Bolba, tweedejaars percussiestudent van het Conservatorium van Amsterdam, in een motion capture suit kijkt naar een poppetje op een beeldscherm dat met zijn lichaam meebeweegt. Dat gebeurt nu nog op de Filmacademie, straks hebben ze die virtual-realitypakken ook op het Marineterrein. Daar gaat Bolba samen met Diogo Carriço, die op het conservatorium een master live electronics doet, aan een performance werken waarin met fysieke bewegingen zowel muziek als geprojecteerde beelden worden aangestuurd. De master- en bachelorstudent, allebei afkomstig uit Portugal, werden door docenten aan elkaar gekoppeld omdat ze met iets vergelijkbaars bezig waren. Carriço, die is opgeleid als klassiek pianist, ontwierp in Amsterdam een instrument om meer expressie toe te voegen aan het bespelen van een keyboard: ‘Als ik met één hand de toetsen bespeel, heb ik de andere vrij.’ Hij herprogrammeerde een game-sensor die handgebaren kan lezen, zodat de bewegingen van zijn vrije hand de muziek die hij maakt elektronisch kunnen vervormen, wat tegelijk wordt vertaald in videographics. Bolba had in Portugal al soloperformances gemaakt waarin hij een strakke choreografie uitvoert van percussiegebaren die exact samenvallen met de geluiden op een zelfgemonteerde soundtrack. Alsof hij onzichtbare instrumenten bespeelt.
Hun gezamenlijke idee is dat Bolba met zijn hele lichaam live electronics gaat aansturen, in samenspel met Carriço’s handmanipulaties. ‘Daniel is nou eenmaal de grote fysieke jongen’, grapt Carriço over deze taakverdeling. ‘Ik ben de fijnzinnige finger guy.’ Hun project bij de VRAcademy maakt het voor Bolba mogelijk dat hij naast zijn lesprogramma een eigen leertraject volgt. ‘Dat is te gek: bij mijn lessen richt ik me op klassieke percussie, maar samen met Diogo kan ik spelen met multimedia en met live electronics. Ik leer van hem met een keyboard te werken, en allerlei fun stuff die we al bij een eerdere performance hebben ingezet.’ De geluiden die ze straks gaan manipuleren hebben een passende herkomst. Op zijn laptop demonstreert Carriço een programma dat de ruwe data van documenten, pdf’s of powerpointpresentaties omzet in bliep- en ruisgeluiden. ‘Deze heeft al een ritme in zichzelf’, constateert hij bij een ingevoerd tekstdocument. ‘De grote componist Messiaen luisterde naar de vogels. Wij luisteren naar computerfiles’, zegt Bolba geamuseerd. Ze moeten nog uitzoeken hoe ze deze geluiden fysiek gaan manipuleren, welke gebaren daarvoor geschikt zijn en welke videobeelden ze gaan gebruiken. Carriço: ‘Het is een onderzoeksproject. We zijn nog aan het leren en ontdekken wat er allemaal mogelijk is.’ Dat gaan ze vanaf september twee maanden doen, in de nieuwe studio van de VRAcademy.