技术门户

技术门户

性能技术:零复制 UDP 与 RDMA/RoCEv2

性能系统可以由许多组成 25GigE 相机经验 通过低成本利用多路复用和 PTP 功能与一些服务器进行通信 开关.

性能系统还可以由较少数量的 100GigE 摄像机组成,这些摄像机与一些服务器通信,具有与低成本交换机所使用的相同的多路复用和 PTP 功能。

性能系统也可以由大量的 5GigE 甚至 GigE 相机与单个服务器通信,具有复用和 PTP 功能(由成本更低的交换机使用)。我们发现这是低速摄像机制造商的一个痛点,因此我们利用我们在高性能系统方面的专业知识,通过引入 Emergent 来提供一流的系统密度以及最低的系统成本。 Eros 5GigE 相机.

支持的网卡

另外,强大的处理引擎 网络接口卡 (NIC)像 AMD 阿尔维 为了获得标准 NIC 之外的附加功能,我们率先使用 Mellanox NIC 来与 性能相机系统。我们现在支持同等的 Broadcom NIC 用于解决成本敏感的市场。均支持 100GigE、25GigE、10GigE,同时还支持 5GigE 及更低版本,通过使用低成本交换机为中到高摄像机数量系统提供相同的性能优势。借助 GPU 和 FPGA 卡中提供的高性能处理选项,人们可以创建业界成本最低、密度最高的系统。
支持的网卡

GigE 愿景实施

现在我们将更深入地了解人们应该在表演中寻找什么 GigE视觉 执行。这个简短的动画演示了将 GigE Vision 网络数据包分割成图像的过程。标头、前导部分和尾部分由控制进程使用,而图像部分最终位于连续的内存缓冲区中。当软件用于此过程时,整个数据包被写入内存,然后需要从内存中读出图像部分并以非碎片(或连续)方式写回另一个内存位置。此过程可以在软件中完成,其成本是内存带宽的 3 倍,也可以通过卡头分割功能来完成以获得最佳性能。传统的 GigE Vision 和 TCP 都是低性能流程的示例。并且不要被某些 TCP 实现者的保证传输机制声明所愚弄,这只是说,如果您收到一个帧,则该帧将是完整的,没有任何损坏。这并不能保证您不会丢帧。从所有意义上来说,TCP 对于性能应用程序来说都是不可能的,并且只不过是营销噪音。

这个简短的动画演示了不使用零复制(或标头分割)技术的系统的三重内存带宽使用情况。当内存带宽耗尽时,这样的系统可能会导致数据丢失。当CPU和内存不允许进一步传输时,网卡中的缓冲区溢出,就会发生数据丢失。顺便说一句,这就是 RDMA 支持者在讨论传统 GigE Vision 和 RDMA 的优缺点时所进行的比较,这是非常具有误导性的,因为这是最坏的情况示例。

这个简短的动画演示了使用零拷贝的优化的基于 GVSP 的系统的零拷贝内存带宽使用情况。我们在这个动画中看到,由于零拷贝和系统优化,数据可以自由可靠地流动。
同样的方法也适用于面向海量媒体和娱乐市场的 ST2110 流媒体协议,其中零丢失也至关重要。 RDMA/RoCEv2 还支持零拷贝传输,这是其主要优点。有些人会继续声称这是现在有保证的转移机制,但这又是错误的。在高速条件下,正确的系统设计和裕量对于为任何协议创建零丢失系统都很重要,但我们注意到零复制是关键的第一步。

这个简短的动画演示了使用 GPU Direct 的零传输过程,该过程完全绕过内存,仅利用 CPU 的 PCIe 端点,实现 0% 内存带宽和 0% CPU 利用率。

这个简短的动画演示了 FPGA 卡的流程,它完全绕过内存和 CPU,实现 0% 内存带宽和 0% CPU 利用率,因为所有处理都是在 FPGA 卡上完成的。

这张幻灯片强调了有关多播技术的要点。 GigE Vision+GVSP 是目前唯一支持这一基本网络功能的协议。在需要高效冗余和分布式处理的应用中,其他标准将很快被忽视。

多播

下面的这个简短的动画演示了如何将一台摄像机的数据发送到多个设备进行并行处理。一个简单的用例甚至可以是使用单独的系统进行显示,而一个系统执行密集的计算。

接口的融合

这张幻灯片说明了拟议或批准的变更如何融合接口标准。 USB 基本保持不变,但它是一种点对点技术。 CXP 采用了向 GigE Vision 聚合的以太网物理层。 GigE Vision+RDMA 和 GigE Vision+TCP(如果获得批准)正在汇聚到 CXP 和 USB 作为点对点技术。 (也许 2 年后)。 GigE Vision+GVSP 将保持其完整性和功能集,并且不会与其他协议融合。

接口的融合

协议碎片

随着 GigE Vision 图像传输中 TCP 和 RDMA 的使用的引入,我们看到对于一些相机提供商来说,这些不同协议的使用正在创造一个碎片化的环境,其中不同的 NIC 和驱动程序需要在整个行业中得到不同第三方的支持。派对。凭借顶级性能,Emergent 能够在所有接口速度下维持当前协议,而无需使用不同的协议和 NIC 来满足您的需求。

udp gvsp 与 udp tcp rdma 3 udp gvsp 与 udp tcp rdma 2

重发技术

为什么数据包重新发送与 TCP 和 RoCEv2 一起使用以及对抖动和延迟的影响是什么。如果系统设计和调整不当,那么无论重新发送多少次,系统都无法稳定运行,并且确实会丢失数据包和帧。此外,当图像传输带宽由于不良的系统设计而减慢时,缓冲区就会被填满。缓冲区的充满度是系统延迟的衡量标准。缓冲区的填充和耗尽是系统抖动的衡量标准。抖动和延迟在机器视觉系统中都很重要,尤其是那些需要及时做出决策的系统,两者都是安全裕度较差或没有安全裕度的不稳定系统的标志。

FPGA 选项 RDMA/RoCEv2 与 GVSP

我们看到RoCEv2需要更多的FPGA资源来实现,因此FPGA的成本将高于轻量级标准和成熟的GigE Vision GVSP协议。如果实现了重发缓冲区,则更是如此。

我们发现,为了打造最小且成本最低的相机,各个制造商的这些相机均不支持 2GigE 以下的 RoCEv10。这是 Emergent 的新 Eros 的一种方式 5GigE 相机经验 将继续提供真正的零复制性能,而其他方法则依赖 TCP 和传统的 GVSP 处理,从而产生 3 倍的内存带宽和 Emergent 零复制方法的 33% 效率。在 多摄像头系统,Emergent 在系统密度和性价比指标方面将保持无与伦比的优势。

请记住,虽然许多人声称 CPU 利用率较低,但实际上是隐藏在后台的内存带宽利用率,阻碍了系统性能的最大化。

rocev2 与 gvsp 3 rocev2 与 gvsp 2

RoCE 与 GVSP

此摘要捕获了 Emergent RDMA/RoCEv2 和 GVSP 性能实施的当前情况

rdma摘要.pptx

Q&A

1. 如果 ROCEv2 成为标准的一部分,Emergent 会做什么?RoCE 比 GVSP/Emergent 更灵活吗?

RoCEv2 并不是一个灌篮。权衡所有数据后唯一的好处是零拷贝组件。

然而,由于其点对点连接性质(如 CXP/USB),它剥夺了多播等基本功能。没有适用于 Windows/NVidia 的 GPU Direct 没有 NDSPI/Windows 客户端 Intel/Marvell。应该带来的好处是支持该协议的 NIC 提供商的完整列表……。

FPGA 资源限制为 10G 及更高
重发/流量控制的抖动/延迟
不标准化
不成熟
采用缓慢
不向后兼容现有的 1G/2.5/5G
无 POE 卡
专为大文件传输而设计,而非流媒体视频

我们将会看到这会走向何方;所有产品紧急供应均已做好 RDMA/RoCEv2 准备,如果 CXP 急于介入,可以快速采用这一点,现在必须采用 Eth 物理层

2. 在一台服务器上安装多个摄像头是否合理?服务器如何满足处理需求?

请参阅我们的其他演示,其中我们在单个服务器中展示了多达 48 个 25Gige 摄像机,并配有 2 个 GPU,通过我们的 eCapture Pro 插件功能执行 H.265 编码。我们将展示如何借助 GPU Direct 和 NVidia 的高性能 GPU 来运行其他插件(例如模式匹配、偏振和推理)。

3. 支持哪些 Broadcom 网卡?

我们支持基于 Broadcom Thor 的卡,例如 P425G(Quad 10/25)和 P2100G(双 100G),它们具有最佳资源

4. 组播技术在机器视觉应用中重要吗?

绝对地。任何可以从冗余、快速故障转移和分布式处理中受益的系统都将受益,并且对于更高性能的相机系统来说,这一点只会变得更加重要。

5. 我们测试了每个工作站配备 5 个 1GigE 相机的系统,但从未使其达到稳定水平。看了你的演讲,你的方法和其他人有什么不同?

无论接口速度如何,我们的重点始终是性能系统。这可能是单个服务器中的几个 100GigE 摄像头,也可能是许多速度较低的摄像头
同一台服务器中的摄像机。无论哪种情况,我们始终为此类性能应用程序提供零复制解决方案,并拥有十多年的系统性能调整经验。

6. 你们宣传的48口25G交换机价格是多少?

我不会为此提供绝对数字,但会说我们的竞争对手曾说过这些交换机比实际价格贵 3 倍。
一般来说,这些交换机的成本只需几个摄像机,这在系统中使用 8 个或更多摄像机时具有令人难以置信的价值。

Emergent 是 NVidia 的合作伙伴,自 2015 年以来一直与 NVidia 和 Mellanox 技术合作

关于Emergent Vision Technologies

徽标紧急视觉技术 300x110

以下是对 Emergent 的概述……

  • 因高速 GigE Vision 成像运动的创新和开拓而荣获 10 多项奖项
  • 10 年以上销售 10GigE 超过 140 种型号的相机
  • 5 年以上销售 25GigE 超过 55 种型号的相机
  • 2 年以上销售 100GigE 超过 16 种型号的相机
  • 相机技术性能领先
  • 专注于高速以太网/GigE Vision
  • 专注于实现高速图像数据的处理
  • 区域扫描线扫描 模型
  • 用于多光谱应用的 UV、NIR、偏振、彩色、单色模型
  • Emergent eSDK 实现全面的应用灵活性
  • 应急 eCapture Pro 高度综合的软件解决方案
  • 最全面的产品范围和对高速成像应用的支持
  • 任何速度、任何分辨率、任何电缆长度
  • 现在有空!

我们是一家屡获殊荣的公司,专注于高速 GigE Vision 产品。

我们有多年的产品运输速度,从 10GigE 高达 100GigE.

我们非常注重为客户的应用程序提供端到端技术和支持。

我们可以满足大多数应用需求。

最后,展示的产品现已上市。

采用 10GigE Vision 及更高版本

以下是 GigE Vision 产品采用的快速快照,速度范围为 10GigE 高达 100GigE. Emergent 展示了如何实现顶级性能,并开辟了许多市场,包括使用此类技术的机器视觉。 一些公司刚刚开始利用我们的努力来发布 25G 和更高速度的产品,但距离发布经批准的高性能产品还有很长的路要走。

采用 10GigEVision 及更高版本

图:Emergent Vision Technologies 是第一家基于 10GigE、25GigE、50GigE 和 100GigE 接口的相机供应商。