Tech-Portal
Tech-Portal
Leistungstechnologien: Zero Copy UDP vs. RDMA/RoCEv2
Leistungssysteme können aus vielen Elementen bestehen 25GigE-Kameras Kommunikation mit mehreren Servern mit Multiplexing- und PTP-Funktionen, die zu geringen Kosten genutzt werden Switches.
Leistungssysteme können auch aus einer geringeren Anzahl von 100-GigE-Kameras bestehen, die mit einigen Servern kommunizieren, wobei die gleichen Multiplex- und PTP-Funktionen verwendet werden, die von kostengünstigen Switches verwendet werden.
Unterstützte Netzwerkkarten
GigE Vision-Implementierung
Wir werden nun einen tieferen Einblick nehmen, um zu verstehen, worauf man bei einer Aufführung achten sollte GigE-Vision Implementierung. Diese kurze Animation veranschaulicht den Prozess der Aufteilung von GigE Vision-Netzwerkpaketen in Bilder. Header, Leader und Trailer werden von einem Steuerungsprozess verbraucht, während die Bildteile in einem zusammenhängenden Speicherpuffer landen. Wenn für diesen Prozess Software verwendet wird, wird das gesamte Paket in den Speicher geschrieben. Anschließend müssen die Bildteile aus dem Speicher gelesen und nicht fragmentiert (oder zusammenhängend) an einen anderen Speicherort zurückgeschrieben werden. Dieser Vorgang kann in Software durchgeführt werden, die das Dreifache der Speicherbandbreite kostet, oder er kann durch die Header-Splitting-Funktionen der Karte für optimale Leistung erfolgen. Herkömmliches GigE Vision und TCP sind Beispiele für Prozesse mit geringer Leistung. Und lassen Sie sich nicht von den Behauptungen einiger TCP-Implementierer über einen garantierten Übertragungsmechanismus täuschen, die lediglich sagen sollen, dass, wenn Sie einen Frame erhalten, dieser Frame ohne jegliche Beschädigung vollständig ist. Dies ist keine Garantie dafür, dass keine Frames verloren gehen. TCP ist in jeder Hinsicht ein Nichtstarter für Leistungsanwendungen und stellt kaum mehr als Marketinglärm dar.
Diese kurze Animation veranschaulicht die dreifache Speicherbandbreitennutzung eines Systems, das keine Zero-Copy-Technologie (oder Header-Splitting-Technologie) verwendet. Ein System wie dieses kann zu Datenverlusten führen, da die Speicherbandbreite erschöpft ist. Datenverlust tritt auf, wenn der Puffer in der Netzwerkkarte überläuft, wenn CPU und Speicher keine weiteren Übertragungen zulassen. Dies ist übrigens das, womit RDMA-Befürworter vergleichen, wenn sie die Vor- und Nachteile von traditionellem GigE Vision und RDMA diskutieren, was sehr irreführend ist, da es sich um das Worst-Case-Beispiel handelt.
Diese kurze Animation veranschaulicht die Zero-Copy-Speicherbandbreitennutzung eines optimierten GVSP-basierten Systems mit Zero-Copy. In dieser Animation sehen wir, dass Daten dank Zero-Copy und Systemoptimierung frei und zuverlässig fließen.
Der gleiche Ansatz wird auch für das ST2110-Streaming-Protokoll für den großen Medien- und Unterhaltungsmarkt verwendet, wo Nullverlust ebenfalls von entscheidender Bedeutung ist. RDMA/RoCEv2 unterstützt auch die kopierfreie Übertragung, was seinen Hauptvorteil darstellt. Einige werden weiterhin behaupten, DAS sei nun der garantierte Übertragungsmechanismus, was wiederum falsch ist. Bei hoher Geschwindigkeit ist das richtige Systemdesign und Margining wichtig, um für jedes Protokoll ein verlustfreies System zu schaffen. Wir weisen jedoch darauf hin, dass Zero-Copy der entscheidende erste Schritt ist.
Diese kurze Animation veranschaulicht den Zero-TRANSFER-Prozess mit GPU Direct, der den Speicher vollständig umgeht und nur die PCIe-Endpunkte der CPU für 0 % Speicherbandbreite und 0 % CPU-Auslastung nutzt.
Diese kurze Animation veranschaulicht den FPGA-Kartenprozess, der den Speicher und die CPU für 0 % Speicherbandbreite und 0 % CPU-Auslastung vollständig umgeht, da die gesamte Verarbeitung auf der FPGA-Karte erfolgt.
Diese Folie hebt den Punkt über Multicast-Technologien hervor. GigE Vision+GVSP ist derzeit das EINZIGE Protokoll, das diese grundlegende Netzwerkfunktion unterstützt. Andere Standards werden bei Anwendungen, die effiziente Redundanz und verteilte Verarbeitung erfordern, schnell verworfen.
Diese kurze Animation unten zeigt, wie die Daten einer Kamera zur parallelen Verarbeitung an mehrere Geräte gesendet werden können. Ein einfacher Anwendungsfall könnte sogar sein, dass ein separates System für die Anzeige verwendet wird, während ein System intensive Berechnungen durchführt.
Konvergenz der Schnittstellen
Diese Folie veranschaulicht, wie die vorgeschlagenen oder ratifizierten Änderungen zu einer Konvergenz der Schnittstellenstandards führen. USB bleibt größtenteils gleich, ist jedoch eine Punkt-zu-Punkt-Technologie. CXP hat die physikalische Ethernet-Schicht übernommen und in Richtung GigE Vision konvergiert. GigE Vision+RDMA und GigE Vision+TCP (sofern ratifiziert) konvergieren zu CXP und USB als Punkt-zu-Punkt-Technologie. (vielleicht 2 Jahre später). GigE Vision+GVSP behält seine Integrität und seinen Funktionsumfang bei und konvergiert nicht mit den anderen Protokollen.
Protokollfragmentierung
Mit der Einführung der Verwendung von TCP und RDMA für die GigE Vision-Bildübertragung sehen wir, dass die Verwendung dieser verschiedenen Protokolle bei einigen Kameraanbietern zu einer fragmentierten Landschaft führt, in der branchenweit verschiedene Netzwerkkarten und Treiber von verschiedenen Dritten unterstützt werden müssen Parteien. Mit Spitzenleistung ist Emergent in der Lage, das aktuelle Protokoll über alle Schnittstellengeschwindigkeiten hinweg beizubehalten und nicht mit verschiedenen Protokollen und NICs herumzuspringen, um Ihre Anforderungen zu erfüllen.
Technologie erneut senden
Warum wird bei TCP und RoCEv2 das erneute Senden von Paketen verwendet und welche Auswirkungen hat dies auf Jitter und Latenz? Wenn ein System nicht gut konzipiert und abgestimmt ist, können keine erneuten Sendungen dazu führen, dass das System stabil läuft, und Pakete und Frames werden tatsächlich verworfen. Wenn außerdem die Bildübertragungsbandbreite aufgrund eines schlechten Systemdesigns langsamer wird, füllen sich die Puffer. Die Fülle des Puffers ist ein Maß für die Systemlatenz. Das Auffüllen und Entleeren des Puffers ist ein Maß für den Systemjitter. Sowohl Jitter als auch Latenz sind in Bildverarbeitungssystemen wichtig – insbesondere bei solchen, bei denen zeitnahe Entscheidungen getroffen werden müssen, und beide sind ein Zeichen für ein instabiles System mit geringem oder keinem Sicherheitsspielraum.
FPGA-Optionen RDMA/RoCEv2 vs. GVSP
Was wir sehen ist, dass RoCEv2 mehr FPGA-Ressourcen für die Implementierung erfordert und daher die Kosten des FPGA höher sein werden als die des leichtgewichtigen Standards und des ausgereiften GigE Vision GVSP-Protokolls. Dies gilt umso mehr, wenn ein Resend-Puffer implementiert ist.
Wir sehen, dass diese Kameras verschiedener Hersteller RoCEv2 unter 10GigE nicht unterstützen, um die kleinste und kostengünstigste Kamera zu entwickeln. Dies ist eine Art und Weise, wie Emergents neuer Eros 5GigE-Kameras bietet weiterhin echte ZERO-Kopierleistung, während die anderen auf TCP und herkömmliche GVSP-Verarbeitung angewiesen sind, was eine dreifache Speicherbandbreite und eine Effizienz von 3 % im Vergleich zu den Emergent ZERO-Kopiermethoden bietet. In Mehrkamerasysteme, Emergent wird in Bezug auf Systemdichte und Preis-Leistungs-Kennzahlen weiterhin unübertroffen sein.
Und denken Sie daran: Während viele von einer niedrigen CPU-Auslastung sprechen, ist es tatsächlich die Auslastung der Speicherbandbreite, die sich im Hintergrund verbirgt und die maximale Systemleistung verhindert.
RoCE vs. GVSP
Diese Zusammenfassung erfasst die aktuelle Landschaft der RDMA/RoCEv2- und GVSP-Leistungsimplementierungen mit Emergent
F&A
1. Was wird Emergent tun, wenn ROCEv2 Teil des Standards wird und RoCE flexibler ist als GVSP/Emergent?
RoCEv2 ist kein Volltreffer. Der einzige Vorteil nach dem Abwägen aller Daten ist die Null-Kopier-Komponente.
Aufgrund der Punkt-zu-Punkt-Verbindung wie CXP/USB geht jedoch eine grundlegende Funktion wie Multicasting verloren. Kein GPU Direct für Windows/NVidia, kein NDSPI/Windows-Client Intel/Marvell. Was ein Vorteil sein sollte, ist die umfassende Liste der NIC-Anbieter, die das Protokoll unterstützen….
FPGA-Ressourcen sollen auf 10G und höher begrenzt werden
Jitter/Latenz mit erneuten Sendungen/Flusskontrolle
Nicht standardisiert
Nicht ausgereift
Langsame Akzeptanz
Nicht abwärtskompatibel mit vorhandenem 1G/2.5/5G
Keine POE-Karten
Konzipiert für die Übertragung großer Dateien – nicht für das Streamen von Videos
Wir werden sehen, wohin das führt; Alle Produkte von Emergent sind RDMA/RoCEv2-fähig und könnten dies schnell übernehmen, wenn CXP in die Sache einsteigt, und muss nun die physische Schicht von Eth übernehmen
2. Ist es sinnvoll, viele Kameras auf einem einzigen Server zu haben und wie kann der Server mit den Verarbeitungsanforderungen Schritt halten?
Bitte sehen Sie sich unsere andere Präsentation an, in der wir bis zu 48 25Gige-Kameras auf einem einzigen Server mit 2 GPUs zeigen, die H.265-Kodierung mit unserer eCapture Pro-Plug-in-Funktion durchführen. Wir zeigen, wie dank GPU Direct und Hochleistungs-GPUs von NVidia auch andere Plugins wie Pattern Matching, Polarization und Inference performant ausgeführt werden können.
3. Welche Broadcom-NICs unterstützen Sie?
Wir unterstützen Broadcom Thor-basierte Karten wie P425G (Quad 10/25) und P2100G (Dual 100G), die über optimale Ressourcen verfügen
4. Ist die Multicast-Technologie für Bildverarbeitungsanwendungen wichtig?
Absolut. Jedes System, das von Redundanz, schnellem Failover und verteilter Verarbeitung profitieren kann, wird davon profitieren, und das wird mit Kamerasystemen mit höherer Leistung nur noch wichtiger.
5. Wir hatten ein System mit 5 1GigE-Kameras pro Workstation getestet und es nie auf ein stabiles Niveau gebracht. Was ist angesichts Ihrer Präsentation der Unterschied zwischen Ihrem Ansatz und dem anderer?
Unser Fokus lag schon immer auf leistungsstarken Systemen unabhängig von der Schnittstellengeschwindigkeit. Dies können einige 100-GigE-Kameras in einem einzelnen Server oder viele Kameras mit niedrigerer Geschwindigkeit sein
Kameras auf demselben einzelnen Server. In jedem Fall bieten wir immer eine Zero-Copy-Lösung für solche Leistungsanwendungen und verfügen über mehr als ein Jahrzehnt Erfahrung in der Systemleistungsoptimierung, die wir nutzen.
6. Wie hoch ist der Preis eines 48-Port-25G-Switches, wie Sie ihn bewerben?
Ich werde dazu keine absoluten Zahlen nennen, möchte aber sagen, dass unsere Konkurrenten mit der Aussage zitiert wurden, dass diese Schalter dreimal teurer sind als die Realität.
Im Allgemeinen können die Schalter nur ein paar Kameras kosten, was bei der Arbeit mit 8 oder mehr Kameras in einem System einen unglaublichen Mehrwert bietet.
Über Emergent Vision Technologies
Hier ist eine Zusammenfassung dessen, worum es bei Emergent geht…
- Mehr als 10 Auszeichnungen für Innovation und Pionierarbeit im Bereich der Hochgeschwindigkeits-GigE-Vision-Bildgebung
- 10+ Jahre Versand 10GigE Kameras mit mehr als 140 Modellen
- 5+ Jahre Versand 25GigE Kameras mit mehr als 55 Modellen
- 2+ Jahre Versand 100GigE Kameras mit mehr als 16 Modellen
- Leistungsführer in der Kameratechnologie
- Konzentriert sich auf Hochgeschwindigkeits-Ethernet/GigE Vision
- Konzentriert sich darauf, die Verarbeitung von Hochgeschwindigkeits-Bilddaten zu ermöglichen
- Bereichsscan und Zeilenscan für
- UV-, NIR-, polarisierte, Farb-, Mono-Modelle für multispektrale Anwendungen
- Emergentes eSDK für volle Anwendungsflexibilität
- Emergent eCapture Pro für eine sehr umfassende Softwarelösung
- Umfassendste Produktpalette und Unterstützung für Hochgeschwindigkeits-Imaging-Anwendungen
- Jede Geschwindigkeit, jede Auflösung, jede Kabellänge
- Jetzt verfügbar!
Wir sind ein mehrfach preisgekröntes Unternehmen mit Schwerpunkt auf Hochgeschwindigkeits-GigE-Vision-Produkten.
Wir haben viele Jahre Produktversand in verschiedenen Geschwindigkeiten von 10GigE bis zu 100GigE.
Wir konzentrieren uns stark auf die Bereitstellung von End-to-End-Technologien und Support für die Anwendungen unserer Kunden.
Wir können die meisten Anwendungsanforderungen erfüllen.
Schließlich sind die vorgestellten Produkte jetzt verfügbar.
Einführung von 10GigE Vision und höher
Hier ist ein kurzer Überblick über die Einführung von GigE Vision-Produkten mit unterschiedlichen Geschwindigkeiten von 10GigE bis zu 100GigE. Emergent hat gezeigt, wie Spitzenleistungen erzielt werden können, und viele Märkte einschließlich der Bildverarbeitung für den Einsatz solcher Technologien geöffnet. Einige Unternehmen nutzen gerade jetzt unsere Bemühungen zur Veröffentlichung von 25G- und schnelleren Produkten, aber es ist noch ein weiter Weg, um ratifizierte und leistungsstarke Produkte herauszubringen.
Abbildung: Emergent Vision Technologies ist der erste Anbieter von Kameras, die auf 10GigE-, 25GigE-, 50GigE- und 100GigE-Schnittstellen basieren.