Fallstudie: 3D-Scansystem erweckt digitale Charaktere zum Leben
Fortschritte bei visuellen Effekten (VFX) haben zu einer digitalen Transformation in der Unterhaltungsbranche geführt und die Art und Weise, wie wir Medien konsumieren, verändert. Um diese digitalen Charaktere, Objekte und Umgebungen in Filmen, Fernsehsendungen und Videospielen zum Leben zu erwecken, beginnt man heute mit der Bereitstellung eines digitalen Hochgeschwindigkeits-3D-Erfassungssystems.
Bei der Verwendung von 3D-Kopfscansystemen für die VFX-Pipeline können jedoch mehrere Herausforderungen auftreten. Techniken wie Laserscannen oder strukturiertes Licht erfordern, dass das Motiv stillsteht – was die gesamte Filmproduktion verlangsamen kann – und erfordern möglicherweise die nachträgliche Entfernung spiegelnder Komponenten aus einem aufgenommenen Bild. Darüber hinaus erfordern komplexe Systeme für die Einrichtung professionelle Elektro- und Maschinenbauingenieure. Um diese Probleme anzugehen, nutzt Pixel Light Effects, ein Unternehmen für schlüsselfertige Photogrammetrie-Scans, Hochgeschwindigkeit und hohe Auflösung GigE Vision-Kameras in seinem digitalen 3D-Erfassungssystem, um die Erstellung lebensechter und präziser Bilder zu ermöglichen volumetrische Scans für die VFX-Pipeline.
Vermeiden Sie das Uncanny Valley
Vor 2 Jahren stellte James Camerons „Terminator 1991“ einen Wendepunkt in der VFX-Branche dar und stellte Berichten zufolge das erste Mal dar, dass eine Hauptfigur in einem Spielfilm teilweise mithilfe von Computergrafiken erstellt wurde. Während die Wirkung vor allem für die damalige Zeit immer noch anhält, hat die Technologie die der Fortsetzung von 2022 bei weitem übertroffen. (Siehe Camerons XNUMX Avatar: Der Weg des Wassers, (zum Beispiel.) Trotz all der gut umgesetzten Beispiele für qualitativ hochwertige VFX, die es gibt, tun dies auch viele am anderen Ende des Spektrums. Denken Sie an die digitale Entfernung von Henry Cavills Schnurrbart im Jahr 2017 Gerechtigkeitsliga oder der unglückliche Uncanny-Valley-Effekt der 2004er Jahre Polar Express vielen Zuschauern vermittelt.
Schlechte VFX können einen Film ruinieren, während großartige Effekte den Realismus liefern, der nötig ist, um die Zuschauer in das Filmerlebnis zu fesseln. Für Pixel-Lichteffekte – zu deren jüngsten Projekten gehören Prey, Deadpool 2, Krieg um den Planet der Affen, Altered Carbon, The Chilling Adventures of Sabrina, und Es war einmal – Dies bedeutet den Einsatz sogenannter volumetrischer Erfassungstechniken des 4D-Scannens (oder „3D mit Zeit“). Mit 4D-Scanning, das für 3D-Charakteranimationsunternehmen verwendet wird ReallusionBei jedem erfassten Frame handelt es sich um ein 3D-Modell mit einer Texturkarte. Sobald das 12 x 12 Fuß große Kopfscangerät installiert und eingerichtet ist (Abbildung 1), werden die Kameras kalibriert und die Aufnahmeparameter in der proprietären Software des Unternehmens gespeichert und bei jeder Startsequenz synchronisiert. Integrierte Parameter ermöglichen auch die Änderung von Aufnahmeparametern wie Kameraeinstellungen, Bildrate, LED-Helligkeit, Beleuchtungssequenz und mehr.
Abbildung 1: Ein nachgebildeter Dinosaurierschädel wird zum Scannen in das digitale 3D-Erfassungssystem gelegt.
Verschlüsse und LED-Blitze werden per Hardware präzise mit den Kameraeinstellungen synchronisiert. Das System verwendet 142 linear polarisierte LED-Blitze mit 60 Bildern pro Sekunde, um die Lichtintensität sicherzustellen, ohne übermäßig viel Strom zu verbrauchen oder zu hell für das Talent zu sein. Diese Lichter erzeugen eine diffuse Lichtumgebung zur Texturerfassung und zur Darstellung von Falten im Gesicht. Rahmen ab 32 Bildverarbeitungskameras werden auf einen individuell konfigurierten Datenserver mit entweder einem Hochgeschwindigkeits-Solid-State-Laufwerk (SSD) oder großen Mengen RAM gestreamt, wobei die Daten dann zur Kodierung an eine Grafikverarbeitungseinheit (GPU) weitergeleitet werden.
Verzicht auf digitale Doubles
Jeder Frame besteht aus 32 Bildern, sodass das System die Mesh-Sequenz in Wrap4D verfolgen kann, um eine konsistente Topologie zu gewährleisten. Laut Jingyi Zhang, CEO von Pixel Light Effects, wird die endgültige Ausgabe des Systems normalerweise auf zwei verschiedene Arten für Animationen verwendet.
„Erstens können die Daten als Rigging-Referenzen verwendet werden, um zu untersuchen, wie sich Gesichter zwischen Gesichtsausdrücken verformen. So können CGI-Künstler „Zwischentöne“ aus einem kontinuierlichen Netz extrahieren, um ihrem Gesichts-Rig zusätzliche Mischformen hinzuzufügen“, sagt er. „Darüber hinaus bietet das System die Möglichkeit, die Leistung in 4D zu erfassen, wobei die erfasste Sequenz mit manipulierten Animationen überlagert werden kann, um die Leistung zu überprüfen.“
Wenn es darum geht, die Fehler früherer Filme zu vermeiden und die Zuschauer aus dem Erlebnis herauszuholen, erfasst Pixel Light Effects die Leistung des menschlichen Schauspielers, erstellt mithilfe der 4D-Technologie digitale Doubles und erweitert dann die Leistung des Schauspielers in den digitalen 3D-Raum.
Abbildung 2: Das 3D-Scansystem von Pixel Light Effect nutzt Hochgeschwindigkeitskameras mit hoher Auflösung und ohne Datenverlust, um digitale Doubles in höherer Qualität zu liefern.
„Eine große Schwierigkeit bei der Gesichtsanimation besteht darin, das richtige Gefühl oder die richtige Stimmung einzufangen, da Feinheiten bei der Bewegungserfassung und dem Animationsprozess verloren gehen können“, sagt Zhang. „Wir helfen dabei, die Talente in die richtige Stimmung zu versetzen und dieses Schauspiel in einer 3D-Umgebung nachzubilden.
„Wir haben viele Leute sagen hören, dass digitale Doubles so real werden, dass wir keine Schauspieler mehr brauchen, und wir stimmen dem überhaupt nicht zu“, fährt er fort. „Wir verlassen uns auf das Talent und die Leistung der Schauspieler und bringen diese in CGI ein, damit das Publikum in die Geschichte eintauchen und ein besseres Erlebnis haben kann.“
Ein Hochgeschwindigkeits-Upgrade mit hoher Auflösung
In einem früheren Design verwendete das System 32x 5MP 10GigE-Kameras, aber das Ergebnis der 3D/4D-Rekonstruktion war laut Zhang nicht ideal.
„Bei der vorherigen Iteration hatte das System Schwierigkeiten, Geometriedetails zu extrahieren, und die geringe Texturqualität beeinträchtigte die Tracking-Ergebnisse“, sagt er. „Andere Hochgeschwindigkeitskameras mit hoher Auflösung, die damals auf dem Markt waren, waren für unsere Anwendung nicht wirtschaftlich. Als wir also auf die Kamera von Emergent Vision Technologies stießen, war sie ein Wendepunkt, da sie es uns ermöglichte, eine überlegene und leichter zugängliche Lösung für den Content-Erstellungsprozess unseres Kunden zu liefern.“
Pixel Light Effects hat sich zuerst für das entschieden HR-12000-SC-Kamera, eine 10GigE-Farbkamera basierend auf dem 12MP Sony IMX253, die Bildraten von bis zu 80 fps erreichen kann. Zu den Kameravorteilen gehören geringes Rauschen, Synchronisierung mehrerer Kameras und Glasfaserkabellängen von 1 m bis 10 km, ohne dass Glasfaserkonverter oder Repeater erforderlich sind. Diese Kameras wurden aufgrund der Leistung und des Kundensupports ausgewählt, sagt Zhang.
Abbildung 3: Nach der ersten Bereitstellung von 10GigE-Kameras von Emergent wird Pixel Light Effects 32x 25GigE-Kameras mit einer Auflösung von 24.47 MP installieren, die 98 fps erreichen können.
„Auflösung und Bildrate sind in unseren Systemen gleichermaßen wichtig, aber Emergent verfügte nicht nur über die Kameras, die wir brauchten, sondern auch über das etablierte Software Development Kit und Netzwerkschnittstellenkarten, um eine schnelle und zuverlässige Datenübertragung zu ermöglichen“, sagt er und fügt hinzu, dass Emergent bot ein kompetentes technisches Support-Team, das alle Fragen sehr schnell beantwortete.
In der neuen Version des Systems wird Pixel Light Effects 25GigE integrieren HB-25000-SB-C-Kameras, die auf dem 24.47 MP Sony IMX530 basieren und über die Hochgeschwindigkeits-98GigE-QSFP25-Schnittstelle Bildraten von 28 fps erreichen können.
„Frühere Designs nutzten die 10GigE-Schnittstelle, aber mit diesen neuen 25GigE-Kameras können wir Daten zuverlässig mit ähnlichen Bildraten, aber einer viel höheren Auflösung erfassen, was unser System auf dem freien Markt deutlich wettbewerbsfähiger macht“, sagt Zhang.
FÜR WEITERE INFORMATIONEN:
Hochgeschwindigkeitskameras von Emergent Vision Technologies:
https://emergentvisiontec.com/area-scan-cameras/
