Fallstudie: Verfolgung großer Kollektive unmarkierter Tiere

idtracker.ai ist ein Tool zur Identifizierung und Verfolgung der Position jedes Individuums in einem Kollektiv, unabhängig von der Art oder Größe der Tiere

Tiere werden aus mehreren Gründen untersucht, sei es für die medizinische Forschung oder um ein tieferes Verständnis ihres Verhaltens zu erlangen. Insbesondere Zebrafische werden häufig wegen ihrer Verfügbarkeit untersucht, aber auch, weil sie 70 % der Gene mit Menschen teilen und eine ähnliche genetische Struktur wie wir haben. 84 % der Gene, von denen bekannt ist, dass sie mit einer menschlichen Krankheit in Verbindung gebracht werden, haben ein Zebrafisch-Gegenstück.

Aber wie verfolgt oder untersucht man große Gemeinschaften kleinerer Tiere?

Auf maschinellem Sehen basierendes idtracker.ai

Erstellt vom Team des Collective Behavior Lab bei Champalimaud Research in Lissabon, Portugal, idtracker.ai ist ein Werkzeug, das entwickelt wurde, um die Position jedes Individuums in einem Kollektiv zu identifizieren und zu verfolgen, unabhängig von der Art oder Größe der Tiere. In diesem Fall kann idtracker.ai ein großes Tierkollektiv von bis zu 100 jungen Zebrafischen mit einer Genauigkeit von 99.9 % verfolgen. Das System kann auch einzelne Personen verfolgen. Dazu verwendet das System zwei tiefe Netzwerke. Eines, das erkennt, wenn sich Tiere berühren oder kreuzen, und ein zweites, um jedes Individuum zu identifizieren.

Die Einrichtung

Das System besteht aus einem maßgefertigten Tank mit einem Durchmesser von 70 cm und einem Wasserkreislaufsystem. Der Tank befindet sich in einer Box aus mattweißen Acrylwänden mit einer Tür, die einen einfachen Zugang ermöglicht.

Quelle: Naturmethoden (https://www.nature.com/nmeth/)

Ein Monochrom HT-20000 Kamera von Emergent Vision Technologies mit einem 28 mm ZEISS Distagon Objektiv wird 70 cm über der Oberfläche des Tanks positioniert. Die HT-20000 ist eine 20-Megapixel-Kamera mit dem CMV20000 CMOS-Sensor von AMS. Seine Hochgeschwindigkeits-RJ45-10GBaseT-Schnittstelle bietet eine kostengünstige Lösung für viele Anwendungen und Kabellängen bis zu 100 Metern.

Infrarot- und RBG-LED-Streifen und ein zylindrischer einziehbarer Lichtdiffusor rund um die Kamera sorgen für eine homogene Beleuchtung.

Videos werden mit Desktop-Computern mit 2 TB in RAID 0 mit Windows 10 64-Bit aufgezeichnet NorPix StreamPix Software.

Erkennung und Identifizierung von Personen

Idtracker.ai verwendet zwei Deep Convolutional Neural Networks (CNN). Eines erkennt, wenn sich Tiere berühren oder kreuzen (Deep Crossing Detector) und ein zweites, um Tiere zu identifizieren (Identifikationsnetzwerk).

Das System beginnt den Prozess mit der Aufnahme von Bilddaten in einem Bereich zwischen 25 und 50 Bildern pro Sekunde. Dadurch kann das System Bilder sammeln, die zu derselben Person gehören, und sie zur genauen Verfolgung und Identifizierung in Fragmente organisieren, ohne das System mit redundanten Bilddaten zu überlasten.

Bilder, die entweder einzelne oder mehrere sich berührende Tiere darstellen, werden aus dem Video extrahiert. Jedes Bild ist entweder als einzelnes Individuum oder als Kreuzung gekennzeichnet. Gruppen von Bildern in aufeinanderfolgenden Einzelbildern des Videos, in denen dieselbe Person (oder Kreuzung) dargestellt wird, werden als Einzel- bzw. Kreuzungsfragmente bezeichnet. idtracker.ai verfolgt die Personen, indem es sich auf ihre visuellen Merkmale verlässt.

„Die größte Herausforderung für uns bestand darin, jede einzelne Person genau zu verfolgen. Wir wollten eine große Gruppe junger Zebrafische mit einer ausreichend geringen Tierdichte aufnehmen, damit die Gruppe unterschiedliche Verhaltensweisen ausdrücken kann. Daher mussten wir im Verhältnis zur tatsächlichen Größe der Tiere eine große Fläche abdecken. Dies war der Zeitpunkt, an dem eine hochauflösende Kamera praktisch war. Mit den 20 Megapixeln des HT-20000-M konnten wir einen großen Bereich abdecken und hatten immer noch genug Pixel pro Tier, damit idtracker.ai funktioniert“, sagt Francisco Romero-Ferrero, Doktorand am Collective Behavior Lab, Champalimaud Research .

Aus einer Teilmenge der Sammlung von Einzelfragmenten, in der alle Personen im selben Teil des Videos zu sehen sind, wird dann ein Datensatz von Einzelbildern generiert, die mit den entsprechenden Identitäten gekennzeichnet sind. Dieser Datensatz wird dann verwendet, um ein zweites CNN zu trainieren, Bilder gemäß ihrer Identität zu klassifizieren (Identifikationsnetzwerk).

Die aus dem ersten Datensatz gekennzeichneter Bilder gewonnenen Informationen ermöglichen es, entweder die gesamte Sammlung einzelner Fragmente genau zuzuordnen oder den ersten Datensatz zu erweitern, indem sicher identifizierte einzelne Fragmente im gesamten Video integriert werden. Schließlich werden triviale Erkennungsfehler durch eine Reihe von Nachbearbeitungsroutinen korrigiert, und in einem letzten Rechenkern wird auf die Identität der sich kreuzenden Fragmente geschlossen.