사례 연구: 딥 러닝 및 고속 카메라는 표시되지 않은 동물의 대규모 집단을 추적하는 데 도움이 됩니다.

10MP CMOS 센서가 장착된 20GigE 카메라가 어떻게 딥 러닝 기반 이미징 시스템이 표시되지 않은 동물의 집합적 움직임 패턴을 이해하는 데 도움이 되었는지 알아보십시오. idtracker.ai 도구는 100%의 정확도로 최대 99.9마리의 어린 제브라피시 집단을 추적했습니다.

idtracker.ai는 동물의 종이나 크기에 관계없이 집단 내 모든 개인의 위치를 ​​식별하고 추적하도록 설계된 도구입니다.

의학 연구를 위한 것이든 그들의 행동에 대한 더 깊은 이해를 얻기 위한 것이든 여러 가지 이유로 동물을 연구합니다. 특히 Zebrafish는 가용성 때문에 일반적으로 연구되지만 인간과 유전자의 70%를 공유하고 우리와 유사한 유전 구조를 가지고 있기 때문입니다. 인간 질병과 관련된 것으로 알려진 유전자의 84%에는 제브라피시 대응 유전자가 있습니다.

그러나 작은 동물의 대규모 커뮤니티를 어떻게 추적하거나 연구합니까?

머신 비전 기반 idtracker.ai

포르투갈 리스본에 있는 Champalimaud Research의 Collective Behavior Lab 팀이 만든 idtracker.ai는 동물의 종이나 크기에 관계없이 집단 내 모든 개인의 위치를 ​​식별하고 추적하도록 설계된 도구입니다. 이 경우 idtracker.ai는 100%의 정확도로 최대 99.9마리의 어린 제브라피시로 구성된 대규모 동물 집단을 추적할 수 있습니다. 시스템은 또한 개인을 추적할 수 있습니다. 이를 위해 시스템은 두 개의 딥 네트워크를 사용합니다. 동물이 만지거나 건널 때를 감지하는 것과 각 개인을 식별하는 두 번째 것.

설정

이 시스템은 물 재순환 시스템이 있는 직경 70cm의 맞춤형 탱크로 구성됩니다. 탱크는 쉽게 접근할 수 있도록 문이 있는 무광택 흰색 아크릴 벽으로 만들어진 상자 안에 배치됩니다.

개인의 탐지 및 식별

Idtracker.ai는 두 개의 심층 합성곱 신경망(CNN)을 사용합니다. 하나는 동물이 만지거나 교차할 때를 감지하는 것(깊은 교차 감지기)이고 다른 하나는 동물을 식별하는 것(식별 네트워크)입니다.

시스템은 초당 25~50프레임 범위 내에서 이미지 데이터를 캡처하여 프로세스를 시작합니다. 이를 통해 시스템은 중복 이미지 데이터로 시스템에 과부하를 주지 않고 동일한 개인에 속하는 이미지를 수집하고 정확한 추적 및 식별을 위해 조각으로 구성할 수 있습니다.

하나 또는 여러 개의 감동적인 동물을 나타내는 이미지가 비디오에서 추출됩니다. 각 이미지는 단일 개인 또는 교차점으로 표시됩니다. 동일한 개체(또는 교차)가 표시되는 비디오의 후속 프레임에 있는 이미지 그룹을 각각 개별 및 교차 조각이라고 합니다. idtracker.ai는 시각적 기능에 의존하여 개인을 추적합니다.

“우리의 주요 과제는 각 개인을 정확하게 추적하는 것이었습니다. 우리는 그룹이 다양한 범위의 행동을 표현할 수 있을 만큼 충분히 낮은 동물 밀도를 가진 어린 제브라피시 그룹을 기록하고 싶었습니다. 따라서 동물의 실제 크기에 비례하여 넓은 영역을 커버해야 했습니다. 이것은 고해상도 카메라를 사용하는 것이 편리할 때입니다. HT-20-M의 20000메가픽셀로 우리는 넓은 영역을 커버할 수 있었고 여전히 idtracker.ai가 작동할 수 있는 동물당 충분한 픽셀을 가지고 있습니다.

모든 개인이 비디오의 동일한 부분에서 볼 수 있는 개별 조각 컬렉션의 하위 집합은 해당 ID로 레이블이 지정된 개별 이미지의 데이터 세트를 생성하는 데 사용됩니다. 그런 다음 이 데이터 세트는 이미지의 ID(식별 네트워크)에 따라 이미지를 분류하도록 두 번째 CNN을 훈련하는 데 사용됩니다.

레이블이 지정된 이미지의 첫 번째 데이터 세트에서 얻은 정보를 통해 개별 조각의 전체 컬렉션을 정확하게 할당하거나 비디오 전체에서 안전하게 식별된 개별 조각을 통합하여 첫 번째 데이터 세트를 늘릴 수 있습니다. 마지막으로 사소한 식별 오류는 일련의 후처리 루틴에 의해 수정되고 교차 조각의 ID는 마지막 계산 코어에서 유추됩니다.

추가 정보 :

HT-20000 카메라:

https://emergentvisiontec.com/products/ht-10gige-cameras-rdma-area-scan/ht-20000/

전체 idtracker.ai 연구

웹 사이트: https://idtrackerai.readthedocs.io/en/latest/

연구 논문: https://www.nature.com/articles/s41592-018-0295-5

YouTube 채널 : https://www.youtube.com/watch?v=Imz3xvPsaEw