ケーススタディ: マークされていない動物の大規模な集団の追跡

idtracker.ai は、動物の種類やサイズに関係なく、集団内のすべての個体の位置を特定して追跡するように設計されたツールです

動物は、医学研究のためであろうと、動物の行動をより深く理解するためであろうと、さまざまな理由で研究されています。 特にゼブラフィッシュは、その入手しやすさだけでなく、遺伝子の 70% を人間と共有しており、人間と似た遺伝子構造を持っているため、よく研究されています。 人間の病気に関連することが知られている遺伝子の 84% には、ゼブラフィッシュの対応物があります。

しかし、小動物の大規模なコミュニティをどのように追跡または調査するのでしょうか?

マシン ビジョン ベースの idtracker.ai

ポルトガルのリスボンにある Champalimaud Research の Collective Behavior Lab のチームによって作成された idtracker.aiは、動物の種やサイズに関係なく、集団内のすべての個体の位置を特定して追跡するように設計されたツールです。 この場合、idtracker.ai は 99.9% の精度で最大 100 匹のゼブラフィッシュの幼体からなる大規模な動物集団を追跡できます。 このシステムは、個体を追跡することもできます。 そのために、システムは 2 つのディープ ネットワークを使用します。 1 つは動物の接触や交差を検出するもので、もう 1 つは個々の個体を識別するものです。

セットアップ

このシステムは、水再循環システムを備えた直径 70 cm の特注タンクで構成されています。 タンクは、簡単にアクセスできるドア付きのつや消しの白いアクリル壁で構築されたボックスの中に配置されます。

モノクロ HT-20000 カメラ 28mm ZEISS Distagon レンズを使用した Emergent Vision Technologies 製の画像は、タンクの表面から 70 cm 上に配置されています。 HT-20000 は、AMS の CMV20 CMOS センサーを搭載した 20000 メガピクセルのカメラです。 その高速 RJ45 10GBaseT インターフェイスは、多くのアプリケーションと 100 メートルまでのケーブル長に対してコスト効率の高いソリューションを提供します。

赤外線および RBG LED ストリップと、カメラの周囲に配置された円筒形の格納式ライト ディフューザーが、均一な照明を提供します。

ビデオは、 NorPix StreamPixソフトウェアを使用して、Windows10 64ビット上で動作する 2TB RAID 0 を備えたデスクトップ コンピューターで録画されます。

個体の検出と識別

Idtracker.ai は、XNUMXつの深い畳み込みニューラル ネットワーク (CNN) を使用します。 XNUMXつは動物の接触または交差を検出するためのもの (ディープ クロッシング検出器) で、もう XNUMXつは動物を識別するためのもの (識別ネットワーク) です。

システムは、毎秒 25 ～ 50 フレームの範囲内で画像データをキャプチャすることによってプロセスを開始します。 これにより、システムは同じ個人に属する画像を収集し、フラグメントにまとめることで、 冗長な画像データでシステムを過負荷にすることなく、正確な追跡と識別を可能とします。

単一または複数の触れている動物を表す画像がビデオから抽出されます。 各画像は、単一の個体または交差のいずれかとしてラベル付けされています。 同じ個体 (または交差) が表されているビデオの後続のフレーム内の画像のグループは、それぞれ個体フラグメントと交差フラグメントと呼ばれます。 idtracker.ai は、視覚的特徴に基づいて個体を追跡します。

「私たちにとっての主な課題は、各個体を正確に追跡することでした。 グループが異なる範囲の行動を表現できるように、動物の密度が十分に低いゼブラフィッシュ幼体の大規模なグループを記録したかったのです。 したがって、動物の実際のサイズに比例して広い範囲をカバーする必要がありました。 そんな時、高解像度カメラが重宝します。 HT-20-M の 20000 メガピクセルにより、広い範囲をカバーすることができ、idtracker.ai が機能するのに動物 XNUMX 匹あたり十分なピクセルを確保することができました。」と Champalimaud 研究所のCollective Behavior Lab の博士課程の学生、Francisco Romero-Ferrero 氏は言います。

すべての個体がビデオの同じ部分に表示されている個々のフラグメントのコレクションのサブセットを使用して、対応する ID でラベル付けされた個々の画像のデータセットを生成します。 次に、このデータセットを使用して XNUMX番目の CNN をトレーニングし、ID に従って画像を分類します (識別ネットワーク)。

ラベル付けされた画像の最初のデータセットから得られた情報により、個々のフラグメントのコレクション全体を正確に割り当てるか、安全に識別された個々のフラグメントをビデオ全体に組み込むことで最初のデータセットを増やすことができます。 最後に、些細な識別エラーが一連の後処理ルーチンによって修正され、最後の計算コアで交差フラグメントの識別が推論されます。

詳細については：

AMS CMV20000 を搭載した HT-10 20000GigE カメラ:
https://emergentvisiontec.com/products/ht-10gige-cameras-rdma-area-scan/ht-20000/

idtracker.ai について詳しく調べるには
ウェブサイト： https://idtrackerai.readthedocs.io/en/latest/
研究論文： https://www.nature.com/articles/s41592-018-0295-5