テックポータル

テックポータル

パフォーマンス テクノロジー: ゼロ コピー UDP と RDMA/RoCEv2

パフォーマンス システムはさまざまな要素で構成されます。 25GigE カメラ 低コストで利用できる多重化および PTP 機能を備えたいくつかのサーバーとの通信 スイッチ.

パフォーマンス システムは、低コストのスイッチで利用されるのと同じ多重化および PTP 機能を備えた少数のサーバーと通信する、より少数の 100GigE カメラで構成することもできます。

パフォーマンス システムは、多数の要素で構成することもできます。 5GigE あるいは、さらに低コストのスイッチで利用される多重化および PTP 機能を備えた単一サーバーと通信する GigE カメラさえも可能です。これは低速カメラのメーカーにとって課題であると当社は認識しており、高性能システムの専門知識を活用して、Emergent の導入により、クラス最高のシステム密度と最低のシステムコストを提供します。 エロス 5GigE カメラ.

サポートされているNIC

さらに強力な処理エンジンに ネットワークインターフェースカード (NIC) のような AMD アルベオ 標準の NIC を超える追加機能を実現するために、Emergent 独自の FPGA ベースの NIC とカードを組み合わせて使用​​するための Mellanox NIC の使用を先駆けて開発しました。 パフォーマンスカメラシステム。同等のサポートが提供されるようになりました ブロードコム NIC コスト重視の市場に対応するため。 100GigE、25GigE、10GigE はすべてサポートされていますが、5GigE 以下もサポートされており、低コストのスイッチを使用することで中から高カメラ数のシステムに同じパフォーマンスの利点を提供します。 GPU および FPGA カードで利用可能な高性能処理オプションを使用すると、業界で最も低コストで最高密度のシステムを構築できます。
サポートされているNIC

GigE ビジョンの実装

ここからは、パフォーマンスで何を求めるべきかを理解するためにさらに深く掘り下げていきます。 GigEビジョン 実装。この短いアニメーションは、GigE Vision ネットワーク パケットを画像に分割するプロセスを示しています。ヘッダー、リーダー、およびトレーラーは制御プロセスによって消費されますが、画像部分は連続したメモリ バッファーに残ります。このプロセスにソフトウェアを使用する場合、パケット全体がメモリに書き込まれ、その後、画像部分がメモリから読み出され、非フラグメント (または連続) 方法で別のメモリ位置に書き戻される必要があります。このプロセスは、メモリ帯域幅の 3 倍のコストがかかるソフトウェアで実行することも、最適なパフォーマンスを実現するカード ヘッダー分割機能によって実行することもできます。従来の GigE Vision と TCP はどちらも低パフォーマンスのプロセスの例です。また、一部の TCP 実装者の保証された転送メカニズムの主張に騙されないでください。これは、単にフレームを受信した場合、そのフレームは破損することなく完全であると言うだけです。フレーム落ちしないことを保証するものではありません。あらゆる意味で、TCP はパフォーマンス アプリケーションにとってスターターではなく、マーケティングのノイズにすぎません。

この短いアニメーションは、ゼロコピー (またはヘッダー分割) テクノロジを利用していないシステムの 3 倍のメモリ帯域幅の使用状況を示しています。このようなシステムでは、メモリ帯域幅が使い果たされるため、データ損失が発生する可能性があります。データ損失は、CPU とメモリがそれ以上の転送を許可しないときにネットワーク カード内のバッファがオーバーフローすると発生します。ちなみに、これは RDMA 支持者が従来の GigE Vision と RDMA の長所と短所を議論する際に比較するものですが、これは最悪の例であるため非常に誤解を招きます。

この短いアニメーションは、ゼロ コピーを使用した、最適化された GVSP ベースのシステムのゼロ コピー メモリ帯域幅の使用状況を示しています。このアニメーションでは、ゼロコピーとシステム最適化のおかげで、データが自由かつ確実に流れることがわかります。
同じアプローチは、ゼロ損失も重要な大規模なメディアおよびエンターテイメント市場向けの ST2110 ストリーミング プロトコルにも使用されます。 RDMA/RoCEv2 は、その主な利点であるゼロコピー転送もサポートしています。これが保証された転送メカニズムであると主張し続ける人もいますが、これもまた誤りです。高速では、適切なシステム設計とマージンは、あらゆるプロトコルでゼロ損失システムを作成するために重要ですが、ゼロコピーが重要な最初のステップであることに注意してください。

この短いアニメーションは、メモリを完全にバイパスし、CPU の PCIe エンドポイントのみを使用して 0% のメモリ帯域幅と 0% の CPU 使用率を実現する、GPU Direct を使用したゼロ転送プロセスを示しています。

この短いアニメーションは、すべての処理が FPGA カード上で実行されるため、メモリと CPU を完全にバイパスしてメモリ帯域幅と CPU 使用率を 0% にする FPGA カード プロセスを示しています。

このスライドでは、マルチキャスト テクノロジーに関する要点を強調しています。 GigE Vision+GVSP は現在、この基本的なネットワーク機能をサポートする唯一のプロトコルです。他の標準は、効率的な冗長性と分散処理を必要とするアプリケーションではすぐに無視されるでしょう。

マルチキャスト

以下の短いアニメーションは、1 台のカメラからのデータを複数のデバイスに送信して並列処理する方法を示しています。単純な使用例としては、1 つのシステムが高度な計算を実行している間に、表示に別のシステムが使用される場合もあります。

インターフェイスの収斂

このスライドは、提案または承認された変更がどのようにインターフェイス標準に収束しているかを示しています。 USB はほとんど同じですが、ポイントツーポイントのテクノロジーです。 CXP は、GigE Vision に向けて収束するイーサネット物理層を採用しています。 GigE Vision+RDMA および GigE Vision+TCP (承認された場合) は、ポイントツーポイント テクノロジとして CXP および USB に統合されています。 (おそらく2年後)。 GigE Vision+GVSP は、その整合性と機能セットを維持し、他のプロトコルと統合しません。

インターフェースの収束

プロトコルの断片化

GigE Vision 画像伝送に TCP および RDMA を使用することにより、一部のカメラ プロバイダーでは、これらの異なるプロトコルの使用により状況が断片化され、さまざまなサードパーティによって業界全体で異なる NIC とドライバーをサポートする必要があることがわかります。パーティー。最高のパフォーマンスを備えた Emergent は、インターフェイスのすべての速度にわたって現在のプロトコルを維持し、ニーズをサポートするためにさまざまなプロトコルや NIC を飛び回ることはありません。

udp gvsp と udp tcp rdma 3 の比較 udp gvsp と udp tcp rdma 2 の比較

再送信テクノロジー

TCP および RoCEv2 でパケット再送信が使用される理由と、ジッターと遅延への影響は何ですか。システムが適切に設計および調整されていない場合、いくら再送信してもシステムは安定して実行できず、実際にパケットやフレームがドロップされます。さらに、システム設計が不十分なために画像転送帯域幅が遅くなると、バッファがいっぱいになります。バッファーの空き状況は、システムの遅延の尺度になります。バッファの充填と排出は、システム ジッターの尺度になります。マシン ビジョン システムでは、ジッターとレイテンシーの両方が重要です。特にタイムリーな意思決定が必要なシステムでは、どちらも安全マージンが不十分またはまったくない不安定なシステムの兆候です。

FPGA オプション RDMA/RoCEv2 と GVSP

RoCEv2 の実装にはより多くの FPGA リソースが必要であるため、FPGA のコストは軽量の標準で成熟した GigE Vision GVSP プロトコルよりも高くなることがわかります。再送バッファが実装されている場合、これはさらに当てはまります。

最小かつ低コストのカメラを作成するために、さまざまなメーカーのカメラは 2GigE 未満の RoCEv10 をサポートしていないことがわかります。これもエマージェントの新たなエロスの一つの形です 5GigE カメラ は真の ZERO コピー パフォーマンスを提供し続けますが、他のものは TCP および従来の GVSP 処理に依存しており、3 倍のメモリ帯域幅と Emergent ZERO コピー方式の 33% の効率を実現します。で マルチカメラシステム, Emergent は、システム密度と価格パフォーマンスの指標において比類のない存在であり続けます。

また、CPU 使用率が低いと多くの人が述べていますが、実際にはバックグラウンドに隠れて最大のシステム パフォーマンスを妨げているのはメモリ帯域幅の使用率であることを覚えておいてください。

rocev2 対 gvsp 3 rocev2 対 gvsp 2

RoCE 対 GVSP

この概要は、Emergent を使用した RDMA/RoCEv2 および GVSP パフォーマンス実装の現在の状況を捉えています。

rdma 概要.pptx

質問と回答

1. ROCEv2 が標準の一部となり、RoCE が GVSP/Emergent よりも柔軟である場合、Emergent は何をしますか?

RoCEv2 はスラムダンクではありません。すべてのデータを比較検討した後の唯一のメリットは、コピー コンポーネントがゼロになることです。

それでも、CXP/USB のようなポイントツーポイント接続の性質により、マルチキャストなどの基本的な機能が失われます。 Windows/NVidia には GPU ダイレクトはありません。NDSPI/Windows クライアント Intel/Marvell はありません。利点であると考えられていたのは、プロトコルをサポートする NIC プロバイダーの包括的なリストです。

FPGA リソースを 10G 以上に制限
再送信/フロー制御によるジッター/レイテンシー
標準化されていません
成熟していない
導入が遅い
既存の 1G/2.5/5G との下位互換性はありません
POEカードなし
ストリーミングビデオではなく、大容量ファイルの転送用に設計されています

これがどうなるかはこれからわか​​ります。すべての製品の緊急供給は RDMA/RoCEv2 に対応しており、CXP が急いで物事に取り組んだ場合にこれをすぐに採用できる可能性があり、現在は Eth の物理層を採用する必要があります

2. 単一サーバーに多数のカメラを搭載するのは合理的ですか? また、サーバーはどのように処理ニーズに対応できるでしょうか?

他のプレゼンテーションを参照してください。そこでは、48 つの GPU を備えた 25 台のサーバーに 2 台もの 265Gige カメラがあり、eCapture Pro プラグイン機能を使用して H.XNUMX エンコードを実行している様子が示されています。パターン マッチング、偏光、推論などの他のプラグインも、GPU ダイレクトと NVidia の高性能 GPU のおかげでどのようにパフォーマンスを発揮して実行できるかを示します。

3. どの Broadcom NIC をサポートしていますか?

最適なリソースを備えた P425G (Quad 10/25) や P2100G (Dual 100G) などの Broadcom Thor ベースのカードをサポートしています。

4. マルチキャスト テクノロジはマシン ビジョン アプリケーションにおいて重要ですか?

絶対に。冗長性、迅速なフェイルオーバー、分散処理のメリットを享受できるシステムはどれもメリットがあり、より高性能のカメラ システムではその重要性がさらに高まります。

5. ワークステーションごとに 5 台の 1GigE カメラを備えたシステムをテストしましたが、安定したレベルには至りませんでした。あなたのプレゼンテーションを見て、あなたのアプローチと他のアプローチの違いは何ですか?

私たちは、インターフェイスの速度に関係なく、常にパフォーマンス システムに焦点を当ててきました。これは、単一サーバー内の数台の 100GigE カメラ、または多数の低速カメラである可能性があります。
同じ単一サーバー内の複数のカメラ。いずれの場合でも、当社はそのようなパフォーマンス アプリケーションに対して常にゼロ コピー ソリューションを提供しており、10 年以上にわたるシステム パフォーマンスのチューニングを活用しています。

6. あなたが宣伝しているような 48 ポート 25G スイッチの価格はいくらですか?

これについて絶対的な数字は示しませんが、競合他社はこれらのスイッチは現実の 3 倍高価であると言っていると伝えておきます。
一般に、スイッチのコストはカメラ数台程度で済むため、システム内で 8 台以上のカメラを使用する場合には信じられないほどの価値があります。

Emergent は NVidia のパートナーであり、2015 年から NVidia および Mellanox テクノロジーと協力してきました。

Emergent Vision Technologies について

ロゴ エマージェント ビジョン テクノロジー 300x110

Emergent の概要は次のとおりです。

  • イノベーションと高速 GigE Vision イメージング運動の先駆者に対して 10 件以上の賞を受賞
  • 10年以上の出荷 10GigE 140以上のモデルを持つカメラ
  • 5年以上の出荷 25GigE 55以上のモデルを持つカメラ
  • 2年以上の出荷 100GigE 16以上のモデルを持つカメラ
  • カメラ テクノロジー パフォーマンス リーダー
  • 高速イーサネット/GigE ビジョンに重点を置く
  • 高速な画像データの処理を可能にすることに注力
  • エリアスキャン および ラインスキャン モデル
  • マルチスペクトル アプリケーション用の UV、NIR、偏光、カラー、モノクロ モデル
  • アプリケーションの柔軟性を完璧にする Emergent eSDK
  • 非常に包括的なソフトウェア ソリューションのための Emergent eCapturePro
  • 高速イメージング アプリケーション向けの最も包括的な製品群とサポート
  • あらゆる速度、あらゆる解像度、あらゆるケーブル長
  • 今すぐご利用いただけます!

当社は高速 GigE Vision 製品に重点を置いており、複数の賞を受賞した企業です。

私たちは何年にもわたって、さまざまな速度で製品を出荷してきました。 10GigE 以下 100GigE.

私たちは、お客様のアプリケーションにエンドツーエンドのテクノロジーとサポートを提供することに重点を置いています。

ほとんどのアプリケーションのニーズを満たすことができます。

最後に、ここであげた製品は現在入手可能です。

10GigE Vision以上の採用

ここでは、GigE Vision 製品の導入の概要を示します。 10GigE 以下 100GigE. Emergent は、どのようにして最高のパフォーマンスを達成できるかを示し、そのような技術を使用するマシン ビジョンを含む多くの市場を開拓しました。 一部の企業は、25G 以上の高速製品のリリースに向けて私たちの取り組みを活用していますが、承認された高性能製品のリリースにはまだ道のりがあります。

10G 及びより高速な GigEVision の採用

図: Emergent Vision Technologies は、10GigE、25GigE、50GigE、および 100GigE インターフェイスに基づくカメラの最初のプロバイダーです。