Estudio de caso: Las cámaras 100GigE ayudan a transportar a los fanáticos de los deportes a experiencias inmersivas de realidad virtual
Los avances tecnológicos han ido cambiando la forma en que los aficionados consumen deportes durante más de 100 años. En 1921 se transmitió por radio el primer partido de béisbol. Dieciocho años después, el primer juego se transmitió en blanco y negro granulado a través de una tecnología incipiente llamada televisión. Ochenta y cinco años después, los fanáticos pueden ver béisbol y cualquier otro deporte en vivo en una impresionante alta definición en sus televisores, tabletas y teléfonos inteligentes.
Los avances tecnológicos recientes incluso han hecho posible que los fanáticos se inserten en la acción del juego en realidad virtual (VR), pero existen desafíos cuando se trata de crear experiencias de realidad virtual cautivadoras y de alta calidad. Estas incluyen capturar imágenes a altas resoluciones y altas velocidades sin perder fotogramas, y mover, analizar, procesar y almacenar grandes cantidades de datos. Pero al aprovechar cámaras innovadoras de alta velocidad y novedosas técnicas de inteligencia artificial, la empresa de realidad virtual deportiva Sport Vision Technology (SVT) ha creado un mundo de realidad virtual inmersivo en el que los fanáticos pueden experimentar el juego desde múltiples perspectivas, ¡incluso desde la perspectiva del balón!
Figura 1: El sistema de captura de Sport Vision Technology se puede implementar para una variedad de eventos deportivos diferentes.
Vea los deportes desde su perspectiva preferida
Integrado por un grupo de entusiastas de la IA, SVT tiene como objetivo ofrecer un nuevo nivel de espectadores de deportes y entretenimiento a través de experiencias inmersivas de realidad virtual. Los fanáticos pueden vivir los eventos de cerca y en persona, con niveles de participación sin precedentes según la compañía. Además de brindar la experiencia de los fanáticos, las imágenes SVT se pueden utilizar para analizar los movimientos de los jugadores con fines de mejora mecánica y entrenamiento. La tecnología de captura de SVT también se extiende más allá del ámbito deportivo, afirma Sebastian Konkol, CTO de SVT.
"En la extinción de incendios, por ejemplo, si el cliente quiere analizar dónde están sus empleados y cómo se mueven y se comportan en un escenario determinado o cómo utilizan el equipo, nuestro sistema también se puede aprovechar aquí", dijo.
Sin embargo, en última instancia, la tecnología de captura de SVT permite a los fanáticos ver sus juegos favoritos desde su perspectiva preferida, lo que podría representar un cambio de paradigma cuando se trata de ver deportes en televisión. Por supuesto, se debe trabajar mucho antes de que un fanático pueda ponerse sus auriculares Meta Quest 3 o Apple Vision Pro VR para ver jugar a su equipo de fútbol favorito.
Aprovechando la IA y los avances de alta velocidad
Figura 2: Las cámaras 100GigE de Emergent Vision Technologies permitieron a SVT superar los desafíos anteriores relacionados con la velocidad y la resolución.
El software SVT aprovecha técnicas de inteligencia artificial (incluidas redes neuronales convolucionales) para encontrar personas, identificar posturas y recortar figuras de la imagen para su recreación digital. Este proceso comienza con la configuración de una fuente de datos desde las cámaras, que se sincronizan a través de IEEE 1588 PTP y se integran con el software SVT mediante el software Emergent eCapture Pro, y se realiza un análisis de postura 2D. A partir de ahí, el software triangula la representación 3D de la postura 2D. Luego se aplican algoritmos de suavizado y estabilización para evitar una transmisión de video inestable, según Gennadii Semenyshyn, director de producto de SVT.
"A partir de aquí, el software aplica algoritmos cinemáticos inversos dentro de Unreal Engine para estimar la postura de todo el cuerpo, y los usuarios pueden luego visualizar y guardar los datos para su uso posterior", dijo.
Figura 3: Una mirada al software SVT mientras el sistema captura una bola de teq juego.
El sistema aprovecha una NVIDIA GPU A100 dentro de un servidor, las CPU cuya tarea es la de datos adquisición en las cámara que - junto con otros procesos en segundo plano y del sistema - toma sólo alrededor del 5% de la carga de trabajo total de procesamiento, mientras que el procesamiento de imágenes en las La GPU utiliza su máximo potencial, según Semenyshyn. SVT apalancado emergentes eSDK software para utilizar GPUDirect tecnología, que permite la transferencia de imágenes desde la cámara directamente a la GPU, que pasa por alto la memoria del sistema y la CPU, brindando capacidades de imágenes sin copia ni pérdida.
Esta breve animación ilustra el proceso de transferencia cero utilizando GPUDirect, que omite completamente la memoria y utiliza solo los puntos finales PCIe de la CPU para un 0 % de ancho de banda de memoria y un 0 % de utilización de la CPU.
Las cámaras GigE Vision cumplen
Los intentos anteriores con otras cámaras industriales produjeron un resultado que distrajo a los fanáticos de la experiencia por varias razones, dice Konkol.
"En diseños anteriores con otras cámaras, los clientes devolvían el equipo porque las cámaras producían píxeles calientes y, en general, simplemente no eran suficientes para la aplicación", dijo. “La resolución también se convirtió en un problema porque en algún momento usábamos alrededor de 80 cámaras de baja resolución. Sin embargo, con las cámaras Emergent, se reduce drásticamente la cantidad de cámaras necesarias y el tamaño general del sistema”.
Y continuó: “Además, muchos otros sistemas cuentan con una resolución centimétrica, pero según la física, esto no es posible. Las cámaras emergentes ofrecen una resolución incomparable de aproximadamente 1 centímetro por píxel a 100 metros, y con otros sistemas esto podría requerir unas 100 cámaras”.
"Una de las fuerzas impulsoras detrás de Emergent es ayudar a nuestros clientes a resolver sus difíciles desafíos de imágenes de alta resolución y alta velocidad", dijo John Ilett, presidente y director de tecnología de Emergent Vision Technologies. "Con SVT, ha sido extremadamente gratificante ayudarlos a hacer realidad su visión y espero ver crecer su tecnología y transformar la forma en que las personas disfrutan de los deportes".
Figura 4: Un bola de teq El juego se recrea digitalmente utilizando el sistema de SVT.
El sistema de SVT también es móvil, por lo que el equipo quería equipos resistentes que no requieran muchos otros componentes, como cables de cobre, repetidores y captadores de cuadros, que también añaden costos. Como resultado, SVT se mantuvo alejado de las cámaras CoaXPress en favor de GigE Vision, que permite a la empresa colocar unos pocos kilómetros de fibra alrededor de un campo de fútbol.
"En general, utilizar las cámaras Emergent de alta resolución y alta velocidad resultó ser una experiencia mucho mejor para nosotros", dijo Konkol. "De hecho, [la comparación] no se acerca en nada, para ser honesto".
PARA MAYOR INFORMACIÓN:
Cámaras de alta velocidad de Emergent Vision Technologies:
https://emergentvisiontec.com/area-scan-cameras/
