Digitale Szenen, LED-Wände und eine Menge neuen technischen Know–hows. FilmemacherInnen werden in der neuen Technik der Virtual Production unter anderem mit diesen Aspekten konfrontiert. Die Filmstudierenden der ZHdK arbeiten sich seit einiger Zeit ebenfalls in das Thema ein; letztes Jahr etwa mit dem Projekt «World Building».
Ein Schneesturm wütet, Eis und Kälte soweit das Auge reicht, am Ende des Weges ein einzelnes Gebäude mit beleuchteten Fenstern. Mitten durch den Sturm schreitet unser in eine Art Rüstung gehüllter Hauptcharakter in Richtung des Gebäudes, sein Umhang flattert im peitschenden Wind. So sehen die ersten 20 Sekunden der Hitserie «The Mandalorian» im Star-Wars-Universum aus. Echt vorhanden war beim Drehen der Szene davon nur wenig. Die hier verwendete Filmtechnik, die 2019 erstmals durch eine grosse Produktion ins Scheinwerferlicht rückte, nennt sich Virtual Production.
Was das Konzept anbelangt, ist diese Technik grundsätzlich nicht weit vom Greenscreen entfernt; es wird eine digitale Welt gebaut, welche im Hintergrund des physischen Sets dargestellt wird und es bildet sich eine Szene, die auf die Zuschauerin als Endprodukt überzeugend wirken soll. Einen grösseren Effekt hat die Technik auf die Filmcrew: Anders als beim Greenscreen muss der Schauspieler sich hier den Hintergrund nicht vorstellen – dieser wird nämlich für jeden sichtbar auf eine LED-Wand projiziert. Für die Darstellerin besteht somit ein viel stärkerer Bezug zur Filmwelt.
Ein neues Feld für die ZHdK
Auf Virtual Production aufmerksam geworden ist bereits 2018 die Zürcher Hochschule der Künste (ZHdK), welche seither verschiedene Experimente und Projekte zum Testen der Tauglichkeit eines solchen Lernfelds durchgeführt hat. «Am Ursprung stand das Forschungsprojekt ‹Virtually Real›. Mit diesem wollten wir herausfinden, wie Zuschauerinnen und Zuschauer die zunehmend virtuellen Bilderwelten wahrnehmen und ob sie einen Unterschied zwischen realen und digitalen Hintergründen sehen», sagt dazu Norbert Kottmann, wissenschaftlicher Mitarbeiter im Bereich Immersive Arts und Film im Departement Darstellende Künste & Film der ZHdK. Ebenfalls sollte die Veränderung des Arbeitsprozesses bei dieser neuen Filmtechnik erforscht werden. Kottmann ist besonders an der technischen Umsetzung solcher Projekte beteiligt.
Norbert Kottmann unterstützt die Studierenden der ZHdK als wissenschaftlicher Mitarbeiter im Bereich Immersive Arts und Film im Departement Darstellende Künste & Film. Bild: zVg
Weiter ging es mit der Frage, wie Bildsprache im Film unterrichtet werden kann. Zu diesem Zweck entwickelte die ZHdK den «cineDESK», ein Touchscreentisch, mit welchem virtuelle Kameras in einer mittels Game-Engine inszenierten Filmszene direkt auf dem Tisch eingestellt und kontrolliert werden. Auf die Praxis bezogen dient dies als Filmsimulator, mit dem den Studierenden die Prävisualisierung einer Szene auf einfache Art zugänglich gemacht wird. Was die Kamera genau sieht, lässt sich währenddessen auf einem Bildschirm betrachten. Aus mit dieser Methodik durchgeführten Workshops kristallisierten sich zwei Kernpunkte: Simulation ist einfacher und schneller als ein realer Dreh und die Reduktion der Komplexität ist ein Vorteil, nicht eine Limitation.
Ein kleines Haus in einer Fantasiewelt
Die neueste Entwicklung der ZHdK in diese Richtung stellt das von den Studentinnen India Demirci und Angelika Federer geführte Projekt «World Building» dar. «Die Studierenden sollten sich aufgrund der Vorgabe Tiny Mobile Home eine Welt ausdenken, in der neben geografischen Beschaffenheiten auch soziale und historische Hintergründe konstruiert werden», erzählt Kottmann zu den anfänglichen Vorgaben des Projekts. «Die Fantasie einer Welt ist aus vielen verschiedenen Aspekten zusammengebaut, welche visuell umgesetzt werden sollten.» Die zwei Studentinnen legten sich bei der Umsetzung des Projektes auf ein Raumschiff auf einem Müllplaneten fest.
Wie die vergangenen Projekte, war auch dieses zu einem vertieften Kennenlernen der Thematik gedacht. Der Drehprozess stellte sich als relativ aufwendig heraus – sowohl in der Planung als auch in der Umsetzung. Auf technischer Seite werden hierbei eine LED-Wand, Rechner, die das Bild rendern können, passendes Licht sowie ein Trackingsystem für die Steuerung der virtuellen Kamera, welche den digitalen Hintergrund generiert, benötigt.
Mit dem von der ZHdK hergestellten Filmsimulator-Plugin «cineDESK» für Touchscreentische konnte an der Hochschule mit Elementen der Virtual Production experimentiert werden. Bild: zVg
«Anders als der Greenscreen, gibt die LED-Wand zwar bereits Licht und Reflektionen auf den Vordergrund ab, aber filmtauglich ist dies alleine nicht. Was auf der Wand dargestellt ist, umfasst mit RGB nicht das volle Farbspektrum. Daher muss im Vordergrund mit zusätzlichem Filmlicht gearbeitet werden, damit die Hauttöne wieder passend aussehen», erklärt Kottmann. Ebenfalls erschwere das eher weiche Licht der Wand beispielsweise eine überzeugende Darstellung von Szenen mit hartem Licht wie dem der Sommersonne. In einem solchen Fall wird mit einem zusätzlichen Scheinwerfer ausgeholfen.
Technisches Know-how zur digitalen Welt
In der Regel wird der digitale Setbau sowie die Prävisualisierung mithilfe von 3D-Game-Engines durchgeführt. An der ZHdK wird dafür hauptsächlich die Unreal Engine verwendet, in der auch der Müllplanet im Projekt «World Building» von Grund auf gebildet wurde. Die digitalen Inhalte, welche zur Konzeption der Welt nötig sind, kommen aus verschiedenen Bereichen: Modelliert werden sie in 3D-Programmen wie Blender oder es werden fertige Modelle in den jeweiligen Engines zum Download bereitgestellt. Zudem kann Bestehendes aus der realen Welt mittels verschiedener Scantechniken – Fotogrammetrie oder Lidar – gescannt und digitalisiert werden. Im Projekt wurden so unter anderem Müllhaufen aus der Echtwelt importiert.
Vorteile hat die Technik der Virtual Production also zweifelsohne: Die Filmcrew sieht bereits, wie der Hintergrund des Sets aussehen soll, Lichtverhältnisse können einfacher angepasst werden, kleine Justierungen am Hintergrund können bei Bedarf schnell getroffen werden. Es öffnet sich die Möglichkeit zu Filmwelten, die ansonsten nur sehr aufwendig realisierbar wären. Schauspielerinnen können mit der Umgebung klarer interagieren und sich besser in die Stimmung einfügen, als es der Greenscreen jemals könnte. Dabei kann es sich um Alienwelten handeln, aber auch um schwer zugängliche, weit entfernte oder historische Orte. Die Methodik erlaubt viel Flexibilität bei der Prävisualisierung sowie beim Filmdreh vor verschiedenen Kulissen. Im Falle von The Mandalorian» konnte bei den Dreharbeiten beispielsweise von einem Moment auf den anderen vom Eis- zum Wüstenplaneten gewechselt werden.
Der Setbau muss bei der Virtual Production vor dem Dreh erledigt werden. Für «World Building» war dies besonders aufwendig, da die zwei produzierenden Studentinnen den Bau alleine übernahmen. Bild: zVg
Anspruchsvoller wird die Arbeit vor allem für die Produktionscrew. Nebst entsprechender Infrastruktur und finanzieller Mittel benötigen die verschiedenen Aspekte der Virtual Production nicht nur viel neues technisches Know-how, sondern erfordern ebenso ein Umkrempeln des gesamten Produktionsprozesses. «Es ist eine Frage des zeitlichen Aufwands. Alles, was zuvor nach dem Dreh erledigt werden konnte, muss jetzt bereits vor dem Dreh stehen», so Kottmann. Bei «World Building» äusserte sich dieser Zeitdruck besonders stark: Während Aspekte wie die Kreation der digitalen Inhalte von Zweitjahrstudierenden übernommen wurde, lag die Verantwortung für den physischen Setbau bei den zwei führenden Studentinnen – laut Kottmann eine ziemlich aufwendige Aufgabe für nur zwei Studierende.
Erfolg für die filmische Zukunft
Mit technischen Schwierigkeiten zu kämpfen gibt es ebenfalls: «Die LED-Wand muss immer synchron zum Sensor der Kamera ein Bild darstellen. Wenn das nicht ganz stimmt, entstehen Linien auf der Wand, die man anschliessend nur mit zusätzlicher Arbeit in der Postproduktion wieder rausbringt – sehr mühsam.» Beim Projekt gestaltete sich zudem die Errichtung des Setups schwierig. Mit drei Rechnern sei die Arbeit recht aufwendig und die Zeit fürs richtige Austesten schlichtweg nicht vorhanden gewesen – an einem Tag hatten sie die LED-Wand erhalten, am nächsten fingen die Dreharbeiten an.
Trotz allen Hürden galt das Projekt am Ende der Dreharbeiten im Januar 2023 als Erfolg: «Es war eine gute Übung. Es ging nicht um die Produktion eines fertigen Filmes während der Projektzeit, sondern darum, mal alles ausprobieren und Studierende in das Gebiet einführen zu können. So gesehen hat alles recht gut geklappt», erklärt Kottmann. Die ZHdK wird die Technik entsprechend weiterverfolgen – unter anderem ab 2025 in Form der neuen Minors «Virtual Production» sowie «Filmische Erzählung im virtuellen Raum».