マシン ビジョン システムの構造

すべてのマシン ビジョン システムの主要コンポーネントはカメラですが、次のコンポーネントがすべてなければマシン ビジョン システムは完成しません。

• 照明
• レンズ
• カメラ
• ケーブル接続
• インターフェイス周辺機器
• コンピューティングプラットフォーム
• ソフトウェア

マシン ビジョン システムの各コンポーネントは、システムの全体的な目的を達成する上で重要な役割を果たします。これは、マシンが外界を見てより良い決定を下すのを助けるというものです。 この目的を達成するには、光の取り込みからデジタル画像の配信および処理に至るまでの情報の流れを促進できるように、コンポーネントを整然と配置する必要があります。

次の図は、各コンポーネントの配置を示しています。 画像に示されている各コンポーネントについて、以下で詳しく説明します。

照明

カメラがオブジェクトの画像をキャプチャするとき、カメラが実際に行っているのは、オブジェクトが反射した光をキャプチャすることです。 光が吸収または反射される程度は、オブジェクトの表面が透明、半透明、または不透明であるかによって異なります。

カメラが分析に必要なすべての詳細をキャプチャできることを確認するには、マシン ビジョン システムに適切な照明を装備する必要があります。 光源の位置、角度、反射特性、および色スペクトルに基づいて、マシン ビジョン システムの照明をエンジニアリングするためのさまざまな手法を利用できます。 これらは：

• 位置ベースのライティング技術
  
  
  • フロント照明 – カメラと光源の両方が同じ側からターゲット シーンに面している。
    
  • バックライト – カメラと光源を向かい合わせに配置し、ターゲット シーンを中央に配置します。

• 角度ベースのライティング技術

• • 指向性照明 – 非常に狭い角度で広がる単一の光線または光線のグループが、ターゲット シーンのすべてのポイントを照らします。 指向性照明は強い影を落とし、画像のテクスチャを際立たせます。
    
  • 拡散照明 – 広角に広がる光線が、ターゲット シーンのすべてのポイントを照らします。 拡散照明は影をほとんどまたはまったくキャストしないため、陰影がなくなり、テクスチャがより明確になります。

• • • 軸方向拡散照明 – ビーム スプリッターが拡散光を反射してターゲットを照らし、均一な照明を実現します。

• • • 拡散ドーム照明 – 半球の形をした鏡が、拡散光を反射してターゲットを照らします。

• 反射する性質に基づく照明技術

• • 暗視野照明 – 光がミラーに反射したり、カメラの視野に直接透過したりしないように光源を配置します。

• • 明視野照明 – 光がミラーから反射されるか、カメラの視野に直接透過することが予想されるように光源を配置します。

• パターンベースの照明技術
  
  
  • ストラクチャードライト – ストラクチャードライトの場合、ドット、グリッド、またはより複雑な形状などの光パターンが、ある角度でオブジェクトに投影されます。

• カラースペクトルベースの照明技術

• • RGBライティング – モノクロ画像の場合、光は通常、赤、緑、または青の狭帯域の波長です。

• • 白い照明 – カラー イメージングの場合、白色光が必要です。

• 光スペクトルベースの照明技術

• • UV照明 – 紫外線 (UV) は、可視光 (200nm から 400nm) よりも短い波長 (400nm から 780nm) のスペクトルです。 UV照明の場合、UV光を放出する光源を使用してオブジェクトを照らします。

• • SWIR照明 – 短波赤外線 (SWIR) スペクトル (900 nm ～ 2,500 nm) は、可視光に最も近い赤外線 (780 nm および 1 mm) の領域です。 SWIR照明の場合、SWIR光を放射する光源を使用して対象物を照明します。

• • NIR照明 – 近赤外線 (NIR) の波長は 780 ～ 1400 nm の範囲です。 NIR照明の場合、NIR光を放射する光源を使用してオブジェクトを照明します。

レンズ

レンズは、レンズを通って入ってくる光を集束させることによってシーンを拡大するデバイスです。 簡単に言えば、レンズによってカメラは外の世界をはっきりと見ることができます。 カメラで見たシーンは、エッジがシャープに見える場合は焦点が合っていると見なされ、エッジがぼやけて見える場合は焦点が合っていないと見なされます。 ここで、マシン ビジョン カメラで使用されるレンズは多くの場合固定焦点または調整可能焦点を備えているのに対し、DSLR やコンパクトカメラなどの民生用カメラで使用されるレンズはオート フォーカスを備えていることに注意することが重要です。 画角 (AoV)、視野 (FoV)、物体距離、焦点距離、絞り、および F ストップは、レンズを分類する際によく使用される用語の一部です。 以下は、これらの用語の簡単な説明です。

• 画角 (AoV)
  視野角 (AoV) は、レンズを通して見ることができる領域の角度範囲 (度単位) を指します。 AoVは、互換性のあるセンサーサイズを使用しながらレンズを無限遠に焦点を合わせることによって導き出されるすべてのレンズの仕様です。 特定のレンズとセンサー サイズの場合、AoV は一定です。

• 視野（FoV）
  視野 (FoV) は、レンズを通して見ることができる領域の長方形の範囲を指しますが、FoV は焦点距離と物体距離に依存します。 FoV は、AoV の場合にレンズを無限に焦点を合わせるのとは対照的に、特定の焦点距離でキャプチャされるものを表します。

• 物体距離
  物体距離は、レンズと対象物体の間の作動距離です。

• 焦点距離
  焦点距離は、レンズと焦点の間の距離です。 焦点がセンサー上にあるとき、画像はピントが合っています。

• 絞りと F ストップ
  絞りは、センサーに到達する光の量を制御するレンズの開口部です。 絞りのサイズは、F ストップ値によって測定されます。 F ストップ値が大きいと、開口部が小さいことを意味し、逆もまた同様です。

レンズの種類

1. Entocentric / Endocentric レンズ –これらのレンズには固定焦点距離を持ち、マシン ビジョン カメラで使用される最も一般的なレンズです。

2. マクロレンズ – マクロ レンズは高倍率を実現するように設計されており、一般的に 05 倍から 10 倍の倍率範囲で機能します。

3.テレセントリックレンズ –テレセントリックレンズ – テレセントリック レンズには結像角度がなく、シーンの垂直ビューが作成されます。

カメラ

レンズ マウント、イメージ センサー、プロセッサ、パワー エレクトロニクス、および通信インターフェイスを含む保護ケースは、マシン ビジョンではカメラと呼ばれるものです。

カメラの中核には、入射光 (光子) を電気信号 (電子) に変換するイメージ センサーがあります。 イメージ センサーは、光子からの電磁エネルギーがマイクロ電圧に変換されるポテンシャル井戸として機能する「フォトダイオード」と呼ばれる露光アレイで構成されています。 この電圧は、デジタル値を出力するアナログ デジタル コンバーター (ADC) に渡されます。 市場で入手可能なイメージ センサーは、物理構造 (CCD/CMOS)、ピクセル寸法 (エリア スキャン/ライン スキャン)、クロマ タイプ (カラー/モノ)、シャッター タイプ (グローバル/ローリング)、光スペクトル ( UV/SWIR/NIR) および光の偏光で分類されます。

センサー上の各フォトダイオードは、デジタル画像のピクセルに対応します。 フォトダイオードがアナログ値に関連付けられているのに対し、画像ピクセルはデジタル値に関連付けられています。 ピクセルとは、デジタル画像の最小要素であり、「picture element」の略です。 解像度、Intensity、露出、ゲイン、およびフレーム レートは、以下で説明するデジタル イメージングに関連する基本的な概念の一部です。

デジタル画像の概念

• 解像度 - デジタル画像はピクセルで構成されています。 画像の解像度は、画像内のピクセルの列と行の数の測定値です。 1280 x 1024 の画像解像度は、画像が幅 1280 ピクセル、高さ 1024 ピクセルであることを示しています。

• Intensity - 画像ピクセルの明るさは強度と呼ばれます。 ADC のビット深度が大きいほど、強度を表現する範囲が大きくなります。 たとえば、ADC のビット深度が 8 ビットの場合、強度を表すために使用できる値は 2⁸ または 256 (0 ～ 255) しかありません。 ただし、ADC のビット深度が 12 ビットの場合、強度を表すために 2¹² または 4096 の値を使用できるようになります。

• 曝露 - 露出とは、フォトダイオードが光にさらされている時間を指します。 露出時間は通常、マイクロ秒 (µs) とミリ秒 (ms) で測定されます。

• ゲイン - ゲインは、ピクセルの強度値の増幅です。 センサ内でフォトダイオードの電荷の強さを大きくすることをアナログゲインと呼び、電荷をデジタル値に変換した後の画素値を大きくすることをデジタルゲインと呼びます。

• フレームレート - XNUMX 秒あたりのフレーム数または FPS で測定されるフレーム レートは、 センサーが XNUMX 秒間に出力できる画像の数です。

ケーブル接続

イーサネット

イーサネットは、電気電子技術者協会 (IEEE) によって XNUMX 標準として XNUMX 年に導入されたローカル エリア ネットワーク (LAN) テクノロジです。 IEEE XNUMX は、物理層とデータ リンク層のメディア アクセス制御 (MAC) の仕様を定義します。 イーサネットは、ツイストペア銅線 (BASE-T) と光ファイバー配線 (BASE-R) をサポートする有線テクノロジです。 次の表では、速度とケーブル/トランシーバーの種類に基づいたさまざまなイーサネット ネットワーク テクノロジについて説明します。

ユニバーサルシリアルバス（USB）

ユニバーサル シリアル バス (USB) 規格は、1996 年に最初にリリースされ、USB インプリメンターズ フォーラム (USB-IF) によって維持されています。 USB は、パソコンへの周辺機器の接続を標準化するために設計されました。 USB は、次のような周辺機器との通信と電力供給の両方を行うことができます。 キーボード、マウス、ビデオ カメラ、およびプリンター. 次の表に、さまざまな USB 規格とその速度を示します。

CoaXPress

ＣｏａＸＰｒｅｓｓ（ＣＸＰ）は、同軸ケーブル上でデータを伝送するためのポイントツーポイント通信規格である。 CoaXPress 規格は、2008 年にシュトゥットガルトで開催された Vision Show で最初に発表され、現在は JIIA (日本産業用画像処理協会) によって管理されています。 以下の表では、さまざまな CXP 規格について説明しています。

Camera Link

Camera Link は、パラレル通信用に構築された高帯域幅プロトコルです。 カメラとフレームグラバー間の接続を標準化します。 Camera Link High-Speed (CLHS) は、Camera Link から発展し、2012 年に初めて導入されました。カメラとフレーム グラバー間で低遅延、低ジッターのリアルタイム信号を配信し、銅線とファイバーケーブルのどちらを使用する場合でも画像と構成データの両方を運ぶことができます。

インターフェイス周辺機器

イーサネット

• ネットワーク インターフェイス カード (NIC) – イーサネット ネットワーク インターフェースカード (NIC) は、PCIe スロットを介してコンピュータのマザーボードに接続し、Open Systems Interconnection モデル (OSI モデル) の物理層とデータ リンク層の電子回路を実装する拡張カードです。

• スイッチ - ネットワークスイッチ は、同じローカル エリア ネットワーク (LAN) 内のイーサネット デバイスを接続します。 スイッチが物理ポートに接続されたデバイスの XNUMX つからパケットを受信すると、スイッチはそのヘッダーを読み取り、宛先アドレスを照合して、適切なポートを介して宛先デバイスにパケットを送信します。 以下は、スイッチを必要とするマシン ビジョン カメラの機能です。

• • 多重化 – 各カメラが大量のピクセル データを出力する高速マルチカメラ システム (たとえば、64 台のカメラ システム) では、複数のイーサネット ポートからのピクセル データを統合し、シングルポートのサーバーまたはホスト PC に出力するためにスイッチが必要です。

• • マルチキャスト – マルチキャストを使用するマシン ビジョン アプリケーションでは、カメラ データを複数のホスト PC に送信するためにスイッチが必要です。

• • Precision Time Protocol (PTP) – 複数のカメラのタイムスタンプを単一のデバイスのクロックに同期する必要がある場合、スイッチが必要です。
    

• イーサネット ハブ – ハブもまた、リソースを共有する目的で複数のデバイスを接続することができます。ハブに接続されたデバイスの集まりは、LAN セグメントと呼ばれます。 ハブは、接続されたデバイスの XNUMX つから送信されたパケットが、ハブに接続されているすべてのデバイスにブロードキャストされるという点で、スイッチとは異なります。 スイッチを使用すると、パケットはアドレス指定されたデバイスにつながるポートにのみ送信されます。

• オンボードイーサネットポート – 最近では、すべてのマザーボードにイーサネット ポートが搭載されており、主に 1Gbps の速度をサポートし、場合によっては 5Gbps および 10Gbps の速度もサポートしています。 マザーボード搭載のイーサネット ポートは、内部バッファ サイズとパフォーマンスが限られているため、高速アプリケーションにはお勧めできません。

ユニバーサルシリアルバス（USB）

• USB PCIe カード – USB カードは、PC の USB ポートの数を増やすために使用される PCIe ベースの拡張カードです。 USB 2.0 や USB 3.0 などのさまざまな USB 規格をサポートし、USB-A、USB-B、USB-C、Micro-USB などのさまざまな USB コネクタをサポートするさまざまな USB カードが市場で入手できます。

• USB ポート ハブ – USB ハブは、オスの USB コネクタを使用してコンピュータに接続し、メスの USB ポートを使用できる外部デバイスです。 USB ハブは、追加の USB ポートをコンピューターに追加するため、追加の USB デバイスを接続できます。

• オンボードUSBポート – 最近のほとんどのマザーボードには USB 3.0 ポートが搭載されており、一部のマザーボードはまだ USB 2.0 と USB 3.0 の両方をサポートしています。

CoaXPress

• フレームグラバー – CoaXPress フレーム グラバーは、カメラから個々のフレームを「グラブ」し、リアルタイム圧縮などのさまざまなハイエンドの取得および画像処理機能を有効にし、追加の帯域幅利用のために関心領域 (ROI) をオフロードする機能を有効にします。

カメラリンク & CLHS

• フレームグラバー – CoaXPress フレーム グラバーと同様に、Camera Link フレーム グラバーは、カメラから個々のフレームを「グラブ」し、プログラム可能な関心領域、ピクセル デシメーション、画像スケーリング、ルックアップ テーブルなどのさまざまなオンボード処理機能を備えています。

コンピューティングプラットフォーム

マシン ビジョン カメラ内のプロセッサは通常、モデル固有のファームウェアを実行する組み込みプロセッサまたはフィールド プログラマブル ゲート アレイ (FPGA) です。 このファームウェアは、イメージ センサーからピクセル値を読み取り、イメージ センサー機能を実装し、ピクセル データを処理して完全な画像を作成し、画像強調アルゴリズムを適用し、外部デバイスと通信して完全な画像を出力します。

カメラ内のプロセッサは、消費電力を最小限に抑え、発熱を抑えるように制約を受けています。 その結果、非常に高いフレームレートを処理し、同時に後処理された画像を出力する場合、処理能力が制限されます。 非常に高いフレーム レートのセンサーからの大量の画像データを後処理するには、カメラ プロセッサのリソースを使用する代わりに、このデータを外部システムに送信して処理することが好まれます。 画像の後処理で使用されるさまざまなシステムは次のとおりです。

• コンシューマ PC – コンシューマ PC ベースのシステムは、システムの設計に既製のコンポーネントを使用できるため、最も柔軟で安価なオプションです。 マシン ビジョン カメラは、イーサネット、USB、CoaXpress、Camera Link などのインターフェイスを使用して PC ベースのシステムに接続できます。

• 産業用 PC – 産業用PCは、 ほこりや破片に対する保護を提供するために、頑丈なケーシングで構築されています。 これらのPCは、産業環境での衝撃、振動、極端な温度に耐えることができます。 コンシューマPCと同様に、カメラは、イーサネット、USB、Coaxpress、カメラリンクなどのインターフェイスを使用して、産業用PCに接続することもできます。

• ビジョンコントローラ – ビジョン コントローラも PC ベースのシステムですが、PC 機能に加えて、シリアルおよび I/O デバイスのサポートも提供します。 ビジョンコントローラには、RS232/RS485 ポート、アナログ I/O、デジタル I/O などのシリアルおよび I/O インターフェイスが組み込まれています。 シリアルおよび I/O インターフェイスにより、プログラマブル ロジック コントローラ (PLC) および産業用通信 C シリーズ モジュールとの統合が容易になり、Modbus シリアルなどの通信プロトコルの実装が可能になります。 一部のビジョン コントローラには、照明を制御するための PWM 機能もあります。 ほとんどのビジョン コントローラには、マシン ビジョン カメラを接続するためのイーサネット ポートと USB ポートがあります。

• 組み込みシステム - 組み込みシステムは、自動運転車、ドローン、医療機器などの他の大規模システムに組み込むことができるように設計された、高度に構成可能なコンピューターです。 これらの組み込みシステムは、イーサネットや USB などの同じ標準インターフェースもサポートしているため、マシン ビジョン カメラと簡単にインターフェースできます。 組み込みシステムの例としては、NVIDIA Jetson Orin と NVIDIA Jetson Xavier があります。

• ワークステーション PC – AMD Threadripper PRO や Intel i9 などのプロセッサを使用するワークステーション PC は、パフォーマンスとコストのバランスを取るマルチカメラ システムの構築に適しています。

• エンタープライズ サーバー – AMD EPYC や Intel Xeon などのプロセッサを使用するエンタープライズ サーバーは、高速マルチカメラ システムのピクセル データを各処理ノードへ分散管理できるだけでなく、画像処理ワークロードに対して優れたパフォーマンスを提供します。

• クラウドベースのシステム – クラウドベースのシステム – 人工知能の使用などにより、マシン ビジョン アプリケーションの複雑さが増しているため、PC ベースのシステムでさえ処理要件を満たすことができない場合があります。 AWS、Azure、Google Cloud など、スケーラブルな処理を可能とする十分なリソースを持つプラットフォームが、そのギャップを埋めます。

ソフトウェア

マシン ビジョン カメラは、画像をキャプチャしてホスト PC に送信する役割を担いますが、ホスト PC で実行されるイメージング ソフトウェアは、次の役割を果たします。

• • カメラハードウェアとのインターフェース
  • カメラ機能の制御
  • 画像の受信、処理、分析
  • 画像結果を使用した意思決定の実行
  • カメラ入力を必要とする他の接続されたデバイスまたはマシンとの通信

マシン ビジョンのイメージング ソフトウェアには、次の 3つのカテゴリがあります。

• カメラビューア – カメラビューア は、イメージング ソフトウェアの中で最もユーザー フレンドリーでインタラクティブな部分であり、カメラをすばやく簡単に使い始めることができます。 ネットワーク構成、カメラ構成、画像キャプチャ、強調、表示、および記録機能に加えて、一部の画像ソフトウェアは、ヒストグラムやライン プロットなどの画像を分析するための高度なツールも提供します。

• 包括的なソフトウェア – カメラ ビューアーのすべての機能に加えて、 包括的なソフトウェア プロジェクト管理、マルチカメラ構成、マルチサーバー構成、GPU サポート、3D 画像再構成、3D オブジェクト ビューアなどの高度な機能を提供します。

• ソフトウェア開発キット (SDK) – SDK は、コード サンプル、コード ライブラリ、アプリケーション プログラミング インターフェイス (API)、ドキュメント、およびコンパイラ/デバッガなどのコレクションです。ほとんどのマシン ビジョン SDK は、C/C++/C#/Python プログラミング言語をサポートしており、 Windows、Linux、および ARM プラットフォーム用のカスタム アプリケーションを開発に使用できます。