Traditional GigEVision vs CXP vs Zero Copy vs RDMA vs GPU Direct vs FPGA cards

• 15+ години широко разпространена употреба
• Напълно ратифициран и зрял стандарт
• Масово приемане
• Протокол, базиран на UDP
• Истински протокол за стрийминг
• Поддръжка на мултикаст
• Има всичко необходимо
• Необходим е правилно проектиран приемник при висока скорост

Фигура: GVSP рамка и структура на пакета.

We will take a moment to understand the technology behind GigEVision. GVSP is the Ethernet streaming protocol used in the current standard. A stream is made up of multiple frames (or images). Each frame is made up of a leader packet, multiple image (or payload) packets, and a trailer packet. All packets follow the UDP ethernet protocol which is an unconnected protocol. This simply means the camera sends the packets and leaves the receiver to its job of placing the data in the destination buffer. Being an unconnected protocol, this means it has 0 network overhead which leads to maximum network performance. It also means fundamentals like multicasting are supported. We must properly design our receiver to avoid data loss. CXP also follows this same protocol and leaves the receiver to its job of placing the data in the destination buffer. This leads to top performance and the lowest latency and jitter with a quality receiver. We will note that the inability of some companies to design a quality receiver has led them down alternate paths.

This short animation illustrates the process of splitting GigEVision network packets into images. Headers, Leaders, and Trailers get consumed by a control process while the image portions end up in a contiguous memory buffer. When software is used for this process, the whole packet is written to memory and then the image portions need to be read out of memory and written back into another memory location in a non-fragmented (or contiguous) manner. This process can be done in software which costs 3x the memory bandwidth or it can be done by the card’s header splitting features for optimal performance.

• Необходимо е копие на паметта (разделяне на заглавката в софтуера)
• По-висок процент на процесора
• 3 пъти по-голяма пропускателна способност на системната памет
• 3 пъти по-мощен компютър
• 3x Количество за компютър
• 1/3 плътност на системата
• Необходим е добре проектиран приемник с висока скорост

Конвенционалният GVSP използва разделяне на заглавките в софтуера да се премахнат заглавките от GVSP пакетите и да се поставят данни за изображения от пакетите с полезен товар в съседен буфер на паметта. Този процес увеличава натоварването на процесора, но по-важното е, че консумира много енергия. 3 пъти по-голяма употреба на системната памет при имплементация с 0 копия. Това води до 33% ефективност на системата, което отчита фактори в цената на системата по няколко начина. Това е пример за лошо проектиран приемник, а на пазара има много такива. все още правят това дори при 10GigE, но все още виждаме случаи, при които някои Компаниите имат проблеми с работата на множество 1GigE камери на един сървър всичко е свързано с лош дизайн на приемника.

This short animation illustrates the triple memory bandwidth usage of a system that does not utilize a zero-copy (or header splitting) technology. A system like this can result in data loss as memory bandwidth is exhausted. Data loss occurs when the buffer in the network card overflows when the CPU and memory do not permit further transfers. This, incidentally, is what RDMA proponents compare with when discussing pros and cons of traditional GigEVision and RDMA which is very misleading as this is the worst-case example.

Фигура: Път на данните в конвенционална GigEVision + GVSP имплементация.

• Истинско нулево копие
• Използва разделяне на заглавките (HS) в OTS NICs
• Пълно заобикаляне на ядрото
• HS се използва за SMPTE 2110 на пазара на M&E
• Поддържа се от карти за обработка в индустрията
• Най-ниска латентност и трептене
• Не се изисква (нито е необходимо) повторно изпращане или контрол на потока с качествено внедряване
• Остава съвместим с GigEVision

ZERO copy with header splitting is indeed possible with modern NICs by Nvidia/Mellanox, Broadcom, Intel, and Marvell. Emergent has implementations deployed with Nvidia/Mellanox and Broadcom which are the primary NICs explored by those experimenting with RDMA / RoCE which eliminates any concerns surrounding interoperability. In fact, Emergent has been using this same method for over 15 years and have the maximum design-in densities of any interface standard with reliability to match. The same approach is also used for ST2110 for the massive media and entertainment market.

Фигура (горе): Път на данните в оптимизирана имплементация на GigEVsion.
Фигура (долу): Партньори на Emergent Vision Technologies.

ZERO copy does not guarantee zero data loss in ANY interface or protocol implementation. Any performance system still needs proper design and margining to achieve desired results. This goes for CXP, RDMA / RoCE, and even optimized GVSP implementations. But we can guarantee that the optimal GVSP implementation will equal or better RDMA / RoCE without turning GigEVision into a point-to-point protocol and eliminating what has made GigEVision the most flexible and popular interface over the years. It is important to remind that when the retransmission feature of RDMA is engaged that this is a sign of a back up in the system which is also a sign of often undesired latency and jitter. It is also important to remind that CXP doesn’t use resends or flow control yet is able to sustain high data transfer rates with optimal receiver performance, low latency and jitter. Much of this can be attributed to zero-copy technology and adequate buffering on the purpose-built frame grabbers required for CXP. Low-cost NICs often lack sufficient buffering capability however modern NICs are readily available at cost-effective price points with ample physical buffering.

It is worth noting at 25Gbps and higher that the familiar PoE (power over ethernet) is dead. Thus, new deployments should be focussed on SFP technologies and distributed power systems. It is also noteworthy even at 10GigE speeds that the big NIC providers do not support PoE which forces camera vendors to sell their proprietary card solutions.

This short animation illustrates the zero-copy memory bandwidth usage of an optimized GVSP based system using zero-copy. We see in the first part of this animation the system is not optimized and thus even the appropriately sized buffer in the network card over-flows. In the second part of the animation, data flows freely and reliably thanks to zero-copy and system optimization.

• 0 честотна лента на процесора и 0 честотна лента на системната памет
• NVidia product requires Rivermax for Windows
• NVidia requires partnership – select few
• Linux is open for GPU direct on std GPUs
• 80% MV приложение на Windows
• Някои приложения включват AOI, дрон, VR, спорт
• Намалява изискванията към компютъра
• Взаимна подкрепа
• Наличен СЕГА!

ZERO copy minimizes the CPU and memory bandwidth utilization by writing to memory only once, but we can avoid that transfer altogether by writing directly to the GPU – this is called GPU Direct. And it makes sense in many performance applications to send data directly to the GPU for processing and then taking the lower bandwidth results to the CPU and memory for user or system interaction.

Emergent has been supporting GPU Direct with Nvidia GPUs on Windows and Linux for over 4 years in a variety of applications. Nvidia RTXA6000/5000/4000, Orin, and Xavier are used in many applications using Emergent cameras.

Unfortunately for RDMA users, Nvidia / Mellanox only allow GPU Direct on Windows to select partners such as Emergent and this OS is where 80% of machine vision applications continue to be deployed. Linux, however, does remain an option for RDMA with GPU Direct for all.

This short animation illustrates the zero-TRANSFER process using GPU Direct which completely bypasses the memory and utilizes only the PCIe endpoints of the CPU for 0% memory and 0% CPU utilization.

• 0 честотна лента на процесора и 0 честотна лента на системната памет
• Процесорът изобщо не е зает
• OTS FPGA карти с вградена Emergent-при условие поддръжка на GVSP ядра или с OTS GVSP ядра от Xilinx и др.
• MV алгоритми в изобилие
• Поддръжка на Windows и Linux
• Намалява изискванията към компютъра
• Взаимна подкрепа
• Наличен СЕГА!

ZERO copy is great. GPU Direct improves on this a lot. But it would be the ultimate achievement if we received and processed the data from the cameras all on one card. In this case, CPU, memory and all server resources are not used at all. Emergent is supporting AMD/Xilinx Alveo cards for this very purpose and have multiple performance applications leveraging this technology. Emergent is also working closely with Nvidia to bring Bluefield NIC support. Think of Bluefield as the merging of Nvidia NICs with Nvidia GPUs. In both cases, the computer can be a very low-end PC which primarily supplies power to the chosen card.

This short animation illustrates the FPGA card process which completely bypasses the memory and CPU for 0% memory and 0% CPU utilization.

Ето едно резюме на това какво представлява Emergent…

• 10+ награди за иновации и пионерство в движението за високоскоростно изображение GigEVision
• 10+ години доставка 10GigE камери с повече от 140 модела
• 5+ години доставка 25GigE камери с повече от 55 модела
• 2+ години доставка 100GigE камери с повече от 16 модела
• Лидер в производителността на технологиите за камери
• Фокус върху високоскоростен Ethernet/GigEVision
• Фокусиран върху обработката на високоскоростни данни за изображения
• Област на сканиране намлява Линейно сканиране модели
• UV, NIR, поляризирани, цветни, моно модели за мултиспектрални приложения
• Emergent eSDK за пълна гъвкавост на приложенията
• неочакван eCapture Pro за висококачествено софтуерно решение
• Най-пълната гама от продукти и поддръжка за приложения за високоскоростна обработка на изображения
• Всякаква скорост, всякаква резолюция, всякаква дължина на кабела
• Наличен СЕГА!

Ние сме многократно награждавана компания, фокусирана върху високоскоростни GigEVision продукти.

Имаме дългогодишен опит в доставката на продукти със скорости от 10GigE до 100GigE.

Ние сме силно фокусирани върху предоставянето на цялостни технологии и поддръжка за приложенията на нашите клиенти.

Можем да изпълним повечето изисквания на приложението.

И накрая, представените продукти са вече налични.

Ето един бърз преглед на приемането на продуктите на GigEVision, вариращи по скорости от 10GigE до 100GigEEmergent показа как може да се постигне максимална производителност и отвори много пазари, включително машинното зрение, за използването на такива технологии. Някои компании едва сега използват нашите усилия за пускане на продукти с 25G и по-висока скорост, но все още има път до пускането на сертифицирани и високопроизводителни продукти.

Фигура: Emergent Vision Technologies е първият доставчик на камери, базирани на 10GigE, 25GigE, 50GigE и 100GigE интерфейси.