사례 연구: 표시되지 않은 동물의 대규모 집단 추적

idtracker.ai는 동물의 종이나 크기에 관계없이 집단 내 모든 개인의 위치를 ​​식별하고 추적하도록 설계된 도구입니다.

의학 연구를 위한 것이든 그들의 행동에 대한 더 깊은 이해를 얻기 위한 것이든 여러 가지 이유로 동물을 연구합니다. 특히 Zebrafish는 가용성 때문에 일반적으로 연구되지만 인간과 유전자의 70%를 공유하고 우리와 유사한 유전 구조를 가지고 있기 때문입니다. 인간 질병과 관련된 것으로 알려진 유전자의 84%에는 제브라피시 대응 유전자가 있습니다.

그러나 작은 동물의 대규모 커뮤니티를 어떻게 추적하거나 연구합니까?

머신 비전 기반 idtracker.ai

포르투갈 리스본에 있는 Champalimaud Research의 집단 행동 연구소 팀이 만든 idtracker.ai 동물의 종이나 크기에 관계없이 집단 내 모든 개인의 위치를 ​​식별하고 추적하도록 설계된 도구입니다. 이 경우 idtracker.ai는 100%의 정확도로 최대 99.9마리의 어린 제브라피시로 구성된 대규모 동물 집단을 추적할 수 있습니다. 시스템은 또한 개인을 추적할 수 있습니다. 이를 위해 시스템은 두 개의 딥 네트워크를 사용합니다. 동물이 만지거나 건널 때를 감지하는 것과 각 개인을 식별하는 두 번째 것.

설정

이 시스템은 물 재순환 시스템이 있는 직경 70cm의 맞춤형 탱크로 구성됩니다. 탱크는 쉽게 접근할 수 있도록 문이 있는 무광택 흰색 아크릴 벽으로 만들어진 상자 안에 배치됩니다.

출처: 네이처 메소드(https://www.nature.com/nmeth/)

흑백 HT-20000 카메라 Emergent Vision Technologies에서 28mm ZEISS Distagon 렌즈를 사용하여 탱크 표면에서 70cm 위에 위치합니다. HT-20000은 AMS의 CMV20 CMOS 센서를 탑재한 20000메가픽셀 카메라입니다. 고속 RJ45 10GBaseT 인터페이스는 많은 애플리케이션과 최대 100미터의 케이블 길이를 위한 비용 효율적인 솔루션을 제공합니다.

적외선 및 RBG LED 스트립과 카메라 주변에 위치한 원통형 개폐식 광 확산기는 균일한 조명을 제공합니다.

비디오는 Windows 2 0비트를 실행하는 RAID 10에서 64TB의 데스크톱 컴퓨터를 사용하여 녹화됩니다. NorPix 스트림픽스 소프트웨어.

개인의 탐지 및 식별

Idtracker.ai는 두 개의 심층 합성곱 신경망(CNN)을 사용합니다. 하나는 동물이 만지거나 교차할 때 감지하는 것(깊은 교차 감지기)과 동물을 식별하는 것(식별 네트워크)입니다.

시스템은 초당 25~50프레임 범위 내에서 이미지 데이터를 캡처하여 프로세스를 시작합니다. 이를 통해 시스템은 중복 이미지 데이터로 시스템에 과부하를 주지 않고 동일한 개인에 속하는 이미지를 수집하고 정확한 추적 및 식별을 위해 조각으로 구성할 수 있습니다.

하나 또는 여러 개의 감동적인 동물을 나타내는 이미지가 비디오에서 추출됩니다. 각 이미지는 단일 개인 또는 교차점으로 표시됩니다. 동일한 개인(또는 교차)이 표시되는 비디오의 후속 프레임에 있는 이미지 그룹을 각각 개별 및 교차 조각이라고 합니다. idtracker.ai는 시각적 기능에 의존하여 개인을 추적합니다.

“우리의 주요 과제는 각 개인을 정확하게 추적하는 것이었습니다. 우리는 그룹이 다양한 범위의 행동을 표현할 수 있을 만큼 충분히 낮은 동물 밀도를 가진 어린 제브라피시 그룹을 기록하고 싶었습니다. 따라서 동물의 실제 크기에 비례하여 넓은 영역을 커버해야 했습니다. 이것은 고해상도 카메라를 사용하는 것이 편리할 때입니다. HT-20-M의 20000메가픽셀로 우리는 넓은 영역을 커버할 수 있었고 여전히 idtracker.ai가 작동할 수 있는 동물당 충분한 픽셀을 보유하고 있습니다. .

모든 개인이 비디오의 동일한 부분에서 볼 수 있는 개별 조각 컬렉션의 하위 집합은 해당 ID로 레이블이 지정된 개별 이미지의 데이터 세트를 생성하는 데 사용됩니다. 그런 다음 이 데이터 세트를 사용하여 두 번째 CNN을 교육하여 ID(식별 네트워크)에 따라 이미지를 분류합니다.

레이블이 지정된 이미지의 첫 번째 데이터 세트에서 얻은 정보를 통해 개별 조각의 전체 컬렉션을 정확하게 할당하거나 비디오 전체에서 안전하게 식별된 개별 조각을 통합하여 첫 번째 데이터 세트를 늘릴 수 있습니다. 마지막으로 사소한 식별 오류는 일련의 후처리 루틴에 의해 수정되고 교차 조각의 ID는 마지막 계산 코어에서 유추됩니다.

추가 정보 :

AMS CMV20000이 장착된 HT-10 20000GigE 카메라:
https://emergentvisiontec.com/products/ht-10gige-cameras-rdma-area-scan/ht-20000/

전체 idtracker.ai 연구
웹 사이트: https://idtrackerai.readthedocs.io/en/latest/
연구 논문: https://www.nature.com/articles/s41592-018-0295-5