Fallstudie: 100GigE-Kameras helfen Sportfans, in immersive Virtual-Reality-Erlebnisse einzutauchen
Der technologische Fortschritt verändert seit mehr als 100 Jahren die Art und Weise, wie Fans Sport konsumieren. 1921 wurde das erste Baseballspiel im Radio übertragen. Achtzehn Jahre später wurde das erste Spiel in körnigem Schwarzweiß auf einer aufkommenden Technologie namens Fernsehen ausgestrahlt. XNUMX Jahre später können Fans Baseball und jede andere Live-Sportart in atemberaubender HD-Qualität auf ihren Fernsehern, Tablets und Smartphones verfolgen.
Jüngste technologische Fortschritte haben es Fans sogar ermöglicht, in der virtuellen Realität (VR) in das Spielgeschehen einzutauchen, doch es gibt Herausforderungen, wenn es darum geht, fesselnde, qualitativ hochwertige VR-Erlebnisse zu schaffen. Dazu gehören die Aufnahme von Bildern mit hoher Auflösung und hoher Geschwindigkeit ohne Bildausfälle sowie das Verschieben, Analysieren, Verarbeiten und Speichern großer Datenmengen. Doch durch den Einsatz innovativer Hochgeschwindigkeitskameras und neuartiger KI-Techniken hat das Sport-VR-Unternehmen Sport Vision Technology (SVT) eine immersive VR-Welt geschaffen, in der Fans das Spiel aus mehreren Perspektiven erleben können – sogar aus der Perspektive des Balls!
Abbildung 1: Das Erfassungssystem von Sport Vision Technology kann für eine Reihe verschiedener Sportveranstaltungen eingesetzt werden.
Sehen Sie Sport aus Ihrer bevorzugten Perspektive
Mit einer Gruppe von KI-Enthusiasten möchte SVT durch immersive VR-Erlebnisse ein neues Maß an Sport- und Unterhaltungszuschauern bieten. Fans können Events hautnah und persönlich erleben, mit einer nach Angaben des Unternehmens beispiellosen Beteiligung. Zusätzlich zur Bereitstellung des Fan-Erlebnisses können SVT-Aufnahmen zur Analyse von Spielerbewegungen für mechanische Verbesserungen und Trainingszwecke verwendet werden. Die Erfassungstechnologie von SVT reicht auch über den Sportbereich hinaus, sagt Sebastian Konkol, CTO von SVT.
„Wenn der Kunde beispielsweise bei der Brandbekämpfung analysieren möchte, wo sich seine Mitarbeiter befinden und wie sie sich in einem bestimmten Szenario bewegen und verhalten oder wie sie Geräte nutzen, kann unser System auch hier eingesetzt werden“, sagte er.
Letztendlich ermöglicht die Aufnahmetechnologie von SVT den Fans jedoch, ihre Lieblingsspiele aus ihrer bevorzugten Perspektive zu sehen, was einen Paradigmenwechsel bei der Übertragung von Sportereignissen im Fernsehen bedeuten könnte. Natürlich muss noch viel Arbeit geleistet werden, bevor ein Fan sein Meta Quest 3- oder Apple Vision Pro VR-Headset aufsetzen und das Spiel seiner Lieblingsfußballmannschaft verfolgen kann.
Nutzung von KI und schnelle Fortschritte
Abbildung 2: 100GigE-Kameras von Emergent Vision Technologies ermöglichten es SVT, frühere Herausforderungen in Bezug auf Geschwindigkeit und Auflösung zu meistern.
Die SVT-Software nutzt KI-Techniken – einschließlich neuronaler Faltungsnetze –, um Personen zu finden, Körperhaltungen zu identifizieren und Figuren für die digitale Nachbildung aus dem Bild auszuschneiden. Dieser Prozess beginnt mit der Einrichtung eines Datenfeeds von den Kameras – die über IEEE 1588 PTP synchronisiert und mithilfe der Emergent eCapture Pro-Software in die SVT-Software integriert werden – und der Durchführung einer 2D-Haltungsanalyse. Von dort aus trianguliert die Software die 3D-Darstellung der 2D-Haltung. Anschließend werden Glättungs- und Stabilisierungsalgorithmen angewendet, um einen verwackelten Videostream zu vermeiden, so Gennadii Semenyshyn, Produktdirektor bei SVT.
„Von hier aus wendet die Software inverse Kinematik-Algorithmen innerhalb der Unreal Engine an, um die Ganzkörperhaltung abzuschätzen, und Benutzer können die Daten dann visualisieren und für die spätere Verwendung speichern“, sagte er.
Abbildung 3: Ein Blick auf die SVT-Software, während das System a erfasst Teqball Spiel.
Das System nutzt eine NVIDIA A100-GPU in einem Server, die CPU, die mit Daten beauftragt ist Erwerb von die Kamera welche - zusammen mit anderen Hintergrund- und Systemprozessen - nimmt während der Bildverarbeitung nur etwa 5 % des gesamten Verarbeitungsaufwands in Anspruch die GPU schöpft ihr maximales Potenzial aus, nach Semenyshyn. SVT genutzt Aufsteiger eSDK zu nutzende Software GPUDirect Technologie, die die Übertragung von Bildern von der Kamera direkt an die GPU ermöglicht, wodurch der Systemspeicher und die CPU umgangen werden und Bildfunktionen ohne Kopien und ohne Verlust möglich sind.
Diese kurze Animation veranschaulicht den Zero-Transfer-Prozess mit GPUDirect, das den Speicher vollständig umgeht und nur die PCIe-Endpunkte der CPU für 0 % Speicherbandbreite und 0 % CPU-Auslastung nutzt.
GigE-Vision-Kameras liefern
Frühere Versuche mit anderen Industriekameras führten zu einem Ergebnis, das die Fans aus mehreren Gründen von dem Erlebnis abhielt, sagt Konkol.
„Bei früheren Designs mit anderen Kameras schickten Kunden Geräte zurück, weil die Kameras Hotpixel erzeugten und insgesamt für die Anwendung einfach nicht ausreichten“, sagte er. „Auch die Auflösung wurde zum Problem, da wir irgendwann rund 80 Kameras mit niedriger Auflösung verwendeten. Mit Emergent-Kameras wird jedoch die Anzahl der benötigten Kameras und die Gesamtgröße des Systems drastisch reduziert.“
Er fuhr fort: „Außerdem verfügen viele andere Systeme über eine Auflösung im Zentimeterbereich, aber aus physikalischen Gründen ist dies nicht möglich.“ Neue Kameras liefern eine beispiellose Auflösung von etwa 1 Zentimeter pro Pixel auf 100 Metern, und bei anderen Systemen könnten dafür etwa 100 Kameras erforderlich sein.“
„Eine der treibenden Kräfte hinter Emergent ist die Unterstützung unserer Kunden bei der Lösung ihrer schwierigen Herausforderungen im Bereich der Hochgeschwindigkeits- und hochauflösenden Bildgebung“, sagte John Ilett, Präsident und CTO von Emergent Vision Technologies. „Mit SVT war es äußerst bereichernd, ihnen dabei zu helfen, ihre Vision zum Leben zu erwecken, und ich freue mich darauf, zu sehen, wie ihre Technologie wächst und die Art und Weise verändert, wie Menschen Sport treiben.“
Abbildung 4: Ein Teqball Das Spiel wird mithilfe des SVT-Systems digital nachgebildet.
Da das System von SVT auch mobil ist, wollte das Team eine robuste Ausrüstung, die nicht viele andere Komponenten wie Kupferkabel, Repeater und Framegrabber erfordert, die ebenfalls zusätzliche Kosten verursachen. Aus diesem Grund verzichtete SVT auf CoaXPress-Kameras und setzte auf GigE Vision, was es dem Unternehmen ermöglicht, ein paar Kilometer Glasfaser rund um einen Fußballplatz zu verlegen.
„Insgesamt erwies sich die Verwendung der hochauflösenden Hochgeschwindigkeitskameras von Emergent für uns als eine viel bessere Erfahrung“, sagte Konkol. „Um ehrlich zu sein, ist [der Vergleich] bei weitem nicht annähernd.“
FÜR WEITERE INFORMATIONEN:
Hochgeschwindigkeitskameras von Emergent Vision Technologies:
https://emergentvisiontec.com/area-scan-cameras/
