案例研究：100GigE 摄像机帮助体育迷进入沉浸式虚拟现实体验
一百多年来，技术进步一直在改变球迷消费体育的方式。 100年，第一场棒球比赛通过广播转播。十八年后，第一场比赛在一种称为电视的新兴技术上以颗粒状的黑白形式播出。八十五年后，球迷们可以在电视、平板电脑和智能手机上以令人惊叹的高清质量观看棒球和任何其他现场体育比赛。
最近的技术进步甚至使粉丝能够将自己融入虚拟现实 (VR) 中的游戏动作中，但在创造引人入胜的高质量 VR 体验方面存在挑战。其中包括以高分辨率和高速捕获图像而不丢帧，以及移动、分析、处理和存储大量数据。但通过利用创新的高速摄像头和新颖的人工智能技术，体育 VR 公司 Sport Vision Technology (SVT) 创造了一个身临其境的 VR 世界，球迷可以从多个角度——甚至从球的角度——体验比赛！
图1： Sport Vision Technology 的捕捉系统可部署用于一系列不同的体育赛事。
从您喜欢的角度观看体育运动
SVT 由一群人工智能爱好者组成，旨在通过沉浸式 VR 体验将体育和娱乐观众提升到新的水平。据该公司称，粉丝们可以近距离亲身体验活动，参与程度前所未有。除了提供球迷体验之外，SVT 镜头还可用于分析球员动作，以实现机械改进和训练目的。 SVT 首席技术官 Sebastian Konkol 表示，SVT 的捕捉技术还延伸到了体育领域之外。
“例如，在消防中，如果客户想要分析其员工在哪里以及他们在给定场景中的移动和行为方式或他们如何使用设备，我们的系统也可以在这里发挥作用，”他说。
然而，最终，SVT 的捕捉技术可以让球迷从他们喜欢的角度观看他们最喜欢的比赛，这可能是在电视上观看体育比赛的范式转变。当然，在球迷戴上 Meta Quest 3 或 Apple Vision Pro VR 耳机观看他们最喜欢的足球队比赛之前，还需要做很多工作。
利用人工智能的高速进步
图2： Emergent Vision Technologies 的 100GigE 相机帮助 SVT 克服了之前与速度和分辨率相关的挑战。
SVT 软件利用人工智能技术（包括卷积神经网络）来寻找人物、识别姿势并从图像中剪切出人物以进行数字重建。此过程首先设置来自摄像机的数据馈送（通过 IEEE 1588 PTP 同步并使用 Emergent eCapture Pro 软件与 SVT 软件集成）并执行 2D 姿态分析。从那里，软件对 3D 姿势的 2D 表示进行三角测量。 SVT 产品总监 Gennadii Semenyshyn 表示，然后应用平滑和稳定算法来避免视频流抖动。
“从这里开始，该软件应用虚幻引擎中的逆运动学算法来估计全身姿势，然后用户可以可视化并保存数据以供以后使用，”他说。
图3： 系统捕获时 SVT 软件的外观 台球 游戏。
该系统利用 NVIDIA 服务器内的 A100 GPU， 此 负责处理数据的CPU 获得 止 此 相机哪个 - 以及其他后台和系统进程 - 图像处理只占总处理工作量的5%左右 此 GPU 发挥其最大潜力, 根据 塞梅内辛. SVT杠杆 紧急的 eSDK 使用的软件 GPU直连 技术，可将图像从相机直接传输到 GPU，绕过系统内存和 CPU，提供零复制和零丢失成像功能。
这个简短的动画演示了使用的零传输过程 GPU直连，它完全绕过内存，仅利用 CPU 的 PCIe 端点，实现 0% 内存带宽和 0% CPU 利用率。
GigE 视觉相机交付
Konkol 表示，之前尝试使用其他工业相机的结果导致粉丝因多种原因而放弃了体验。
“在以前使用其他相机的设计中，客户将设备退回，因为相机会产生热像素，并且总体而言不足以满足应用需求，”他说。 “分辨率也成为一个问题，因为在某些时候我们使用了大约 80 个低分辨率摄像机。然而，使用 Emergent 摄像机，可以大大减少所需摄像机的数量和系统的整体尺寸。”
他继续说道：“此外，许多其他系统都拥有厘米级分辨率，但从物理学角度来看，这是不可能的。新兴相机在 1 米处提供无与伦比的分辨率，每像素分辨率约为 100 厘米，而对于其他系统，这可能需要 100 多个奇怪的相机。”
Emergent Vision Technologies 总裁兼首席技术官 John Ilett 表示：“Emergent 背后的驱动力之一是帮助我们的客户解决高速、高分辨率成像难题。” “通过 SVT，帮助他们将愿景变为现实是非常有意义的，我期待看到他们的技术不断发展并改变人们享受运动的方式。”
数字 4：一个 台球 游戏是使用 SVT 系统以数字方式重新创建的。
SVT 的系统也是移动的，因此团队需要弹性设备，不需要大量其他组件，例如铜线、中继器和图像采集卡，这些也会增加成本。因此，SVT 放弃了 CoaXPress 相机，转而采用 GigE Vision，这使得该公司能够在足球场周围铺设几公里长的光纤。
“总的来说，事实证明，使用高分辨率、高速 Emergent 摄像机对我们来说是一种更好的体验，”Konkol 说。 “事实上，说实话，[比较]相差甚远。”
了解更多信息：
Emergent Vision Technologies 的高速相机：
https://emergentvisiontec.com/area-scan-cameras/
