사례 연구: 100GigE 카메라는 스포츠 팬을 몰입형 가상 현실 경험으로 안내합니다.
기술 발전은 100년 넘게 팬들이 스포츠를 소비하는 방식을 변화시켜 왔습니다. 1921년에는 최초의 야구 경기가 라디오를 통해 방송되었습니다. XNUMX년 후, 첫 번째 게임은 텔레비전이라는 초기 기술을 통해 거친 흑백으로 방송되었습니다. XNUMX년이 지난 지금, 팬들은 TV, 태블릿, 스마트폰을 통해 놀라운 고화질로 야구와 기타 모든 스포츠 생중계를 시청할 수 있습니다.
최근의 기술 발전으로 인해 팬들은 가상 현실(VR)의 게임 액션에 자신을 몰입시킬 수도 있게 되었습니다. 하지만 매혹적인 고품질 VR 경험을 만드는 데에는 어려움이 있습니다. 여기에는 프레임 손실 없이 고해상도, 고속으로 이미지를 캡처하는 것, 방대한 양의 데이터를 이동, 분석, 처리 및 저장하는 것이 포함됩니다. 그러나 스포츠 VR 회사인 Sport Vision Technology(SVT)는 혁신적인 고속 카메라와 새로운 AI 기술을 활용하여 팬들이 다양한 관점, 심지어 공의 관점에서도 게임을 경험할 수 있는 몰입형 VR 세계를 만들었습니다!
그림 1 : Sport Vision Technology의 캡처 시스템은 다양한 스포츠 이벤트에 배포할 수 있습니다.
선호하는 관점에서 스포츠를 감상하세요
AI 애호가 그룹으로 구성된 SVT는 몰입형 VR 경험을 통해 새로운 수준의 스포츠 및 엔터테인먼트 관중을 제공하는 것을 목표로 합니다. 팬들은 전례 없는 수준의 참여로 이벤트를 가까이서 개인적으로 경험할 수 있다고 회사측은 전했다. 팬 경험을 제공하는 것 외에도 SVT 영상을 사용하여 기계적 개선 및 훈련 목적으로 선수의 움직임을 분석할 수 있습니다. SVT의 캡처 기술은 스포츠 경기장을 넘어 확장된다고 SVT의 CTO인 Sebastian Konkol은 말합니다.
"예를 들어, 소방에서 고객이 직원의 위치, 특정 시나리오에서 이동 및 행동 방식, 장비 사용 방법을 분석하려는 경우 여기에서도 우리 시스템을 활용할 수 있습니다."라고 그는 말했습니다.
그러나 궁극적으로 SVT의 캡처 기술을 통해 팬들은 자신이 좋아하는 게임을 자신이 선호하는 관점에서 볼 수 있게 되었으며, 이는 TV에서 스포츠를 시청하는 데 있어서 패러다임의 전환이 될 수 있습니다. 물론 팬이 Meta Quest 3 또는 Apple Vision Pro VR 헤드셋을 착용하여 좋아하는 축구팀 경기를 시청하려면 먼저 많은 작업을 수행해야 합니다.
AI를 활용한 고속 발전
그림 2 : Emergent Vision Technologies의 100GigE 카메라를 통해 SVT는 이전의 속도 및 해상도 관련 문제를 극복할 수 있었습니다.
SVT 소프트웨어는 컨볼루션 신경망을 포함한 AI 기술을 활용하여 사람을 찾고, 자세를 식별하고, 디지털 재생성을 위해 이미지에서 인물을 잘라냅니다. 이 프로세스는 IEEE 1588 PTP를 통해 동기화되고 Emergent eCapture Pro 소프트웨어를 사용하여 SVT 소프트웨어와 통합되는 카메라의 데이터 피드를 설정하고 2D 자세 분석을 수행하는 것으로 시작됩니다. 거기에서 소프트웨어는 3D 자세의 2D 표현을 삼각 측량합니다. SVT의 제품 디렉터인 Gennadii Semenyshyn에 따르면 비디오 스트림이 흔들리는 것을 방지하기 위해 평활화 및 안정화 알고리즘이 적용됩니다.
"여기서 소프트웨어는 Unreal Engine 내에서 역운동학 알고리즘을 적용하여 전신 자세를 추정하며, 사용자는 나중에 사용할 수 있도록 데이터를 시각화하고 저장할 수 있습니다."라고 그는 말했습니다.
그림 3 : 시스템이 캡처하는 동안 SVT 소프트웨어 살펴보기 테크볼 게임.
이 시스템은 NVIDIA를 활용합니다. 서버 내부의 A100 GPU, 전에, 데이터를 담당하는 CPU 취득 에 전에, 어느 카메라 - 다른 배경 및 시스템 프로세스와 함께 - 전체 처리 작업량의 약 5%만 차지하는 반면, 이미지 처리는 전에, GPU는 잠재력을 최대한 활용합니다., 에 따라 세메니신. SVT 활용 응급의 eSDK 활용하는 소프트웨어 GPU다이렉트 카메라에서 시스템 메모리와 CPU를 우회하여 GPU로 직접 이미지를 전송할 수 있는 기술을 통해 복사 및 손실 없는 이미징 기능을 제공합니다.
이 짧은 애니메이션은 다음을 사용하여 제로 전송 프로세스를 보여줍니다. GPU다이렉트이는 메모리를 완전히 우회하고 CPU의 PCIe 엔드포인트만 활용하여 메모리 대역폭 0% 및 CPU 사용률 0%를 달성합니다.
GigE Vision 카메라 제공
다른 산업용 카메라를 사용한 이전 시도는 여러 가지 이유로 팬들을 경험에서 벗어나게 하는 결과를 낳았다고 Konkol은 말합니다.
“다른 카메라를 사용한 이전 설계에서는 카메라가 핫 픽셀을 생성하고 전체적으로 애플리케이션에 충분하지 않았기 때문에 고객이 장비를 돌려보내고 있었습니다.”라고 그는 말했습니다. “한때는 약 80대의 저해상도 카메라를 사용하고 있었기 때문에 해상도도 문제가 되었습니다. 그러나 Emergent 카메라를 사용하면 필요한 카메라 수와 시스템의 전체 크기가 크게 줄어듭니다.”
이어 “이외에도 많은 시스템이 센티미터 해상도를 자랑했지만 물리학적으로는 불가능하다. 신흥 카메라는 1미터에서 픽셀 해상도당 약 100센티미터의 탁월한 해상도를 제공하며, 다른 시스템을 사용하려면 100여 대의 카메라가 필요할 수 있습니다.”
Emergent Vision Technologies의 사장 겸 CTO인 John Ilett은 “Emergent의 원동력 중 하나는 고객이 어려운 고속, 고해상도 이미징 문제를 해결할 수 있도록 돕는 것입니다. "SVT를 통해 이들의 비전을 실현하도록 돕는 것은 매우 보람있는 일이며, 이들의 기술이 성장하고 사람들이 스포츠를 즐기는 방식을 변화시키는 것을 볼 수 있기를 기대합니다."
그림 4: 테크볼 게임은 SVT 시스템을 사용하여 디지털 방식으로 재현됩니다.
SVT의 시스템은 이동식이기도 하므로 팀은 비용을 추가하는 구리선, 중계기, 프레임 그래버와 같은 다른 구성 요소가 많이 필요하지 않은 탄력적인 장비를 원했습니다. 결과적으로 SVT는 CoaXPress 카메라 대신 GigE Vision을 선택했습니다. 이를 통해 회사는 축구장 주변에 몇 킬로미터의 광섬유를 설치할 수 있습니다.
"전반적으로 고해상도, 고속 Emergent 카메라를 사용하는 것이 우리에게 훨씬 더 나은 경험이라는 것이 입증되었습니다."라고 Konkol은 말했습니다. "사실 [비교]는 솔직히 말해서 전혀 가깝지 않습니다."
추가 정보 :
Emergent Vision Technologies의 고속 카메라:
https://emergentvisiontec.com/area-scan-cameras/
