案例研究：深度学习和高速摄像头帮助追踪大量未标记动物
了解我们带有 10MP CMOS 传感器的 20GigE 相机如何帮助基于深度学习的成像系统了解未标记动物的集体运动模式。 idtracker.ai 工具以 100% 的准确率跟踪了多达 99.9 条幼年斑马鱼的大型集体。
idtracker.ai 是一种工具，旨在识别和跟踪集体中每个个体的位置，无论动物的物种或大小如何
研究动物有多种原因，无论是为了医学研究还是为了更深入地了解它们的行为。 尤其是斑马鱼，通常因其可用性而受到研究，还因为它们与人类共享 70% 的基因，并且具有与我们相似的遗传结构。 84% 已知与人类疾病相关的基因有斑马鱼对应物。
但是你如何追踪或研究大型的小型动物群落？
基于机器视觉的 idtracker.ai
idtracker.ai 由葡萄牙里斯本 Champalimaud Research 集体行为实验室的团队创建，是一种旨在识别和跟踪集体中每个个体位置的工具，无论动物的种类或大小如何。 在这种情况下，idtracker.ai 可以以 100% 的准确率跟踪多达 99.9 条幼年斑马鱼的大型动物群。 该系统还可以跟踪单个个体。 为此，系统使用两个深度网络。 一种用于检测动物何时接触或交叉，另一种用于识别每个个体。
设置
该系统由一个直径为 70 厘米的定制水箱和水循环系统组成。 水箱放置在一个盒子内，盒子由哑光白色亚克力墙制成，带有一扇门，方便取用。
使用 20000mmZEISS Distagon 镜头的 Emergent Vision Technologies 单色 HT-28 相机位于水槽表面上方 70 厘米处。 HT-20000 是一款 20 兆像素的相机，配备 AMS 的 CMV20000 CMOS 传感器。 其高速 RJ45 10GBaseT 接口为许多应用和长达 100 米的电缆长度提供了一种经济高效的解决方案。红外和 RBG LED 灯带以及位于摄像头周围的圆柱形可伸缩光漫射器提供均匀照明。使用 2TB 台式电脑录制视频在 RAID 0 中运行 Windows10 64bit 和 NorPix StreamPix 软件。
检测和识别个人
Idtracker.ai 使用两个深度卷积神经网络 (CNN)。 一种用于检测动物何时接触或交叉（深度交叉检测器），另一种用于识别动物（识别网络）。
系统通过捕获每秒 25 到 50 帧范围内的图像数据来启动该过程。 这允许系统收集属于同一个人的图像并将它们组织成片段以进行准确的跟踪和识别，而不会使系统因冗余图像数据而过载。
从视频中提取代表单个或多个触摸动物的图像。 每个图像都被标记为单个个体或交叉点。 表示相同个体（或交叉）的视频后续帧中的图像组分别称为个体片段和交叉片段。 idtracker.ai 依靠他们的视觉特征来跟踪个人。
“我们面临的主要挑战是准确追踪每个人。 我们想记录一大群幼年斑马鱼，其动物密度足够低，以允许该群体表达不同范围的行为。 因此，我们需要根据动物的实际大小来覆盖较大的区域。 这是高分辨率相机派上用场的时候。 凭借 HT-20-M 的 20000 兆像素，我们能够覆盖广阔的区域，并且每只动物仍然有足够的像素供 idtracker.ai 工作。
然后使用单个片段集合的子集（其中所有个体都在视频的同一部分中可见）生成标有相应身份的个体图像的数据集。 然后利用该数据集训练第二个 CNN 以根据图像的身份（识别网络）对图像进行分类。
从标记图像的第一个数据集中获得的信息将允许准确分配单个片段的整个集合，或者通过在整个视频中合并安全识别的单个片段来增加第一个数据集。 最后，通过一系列后处理例程纠正琐碎的识别错误，并在最后一个计算核心中推断出交叉片段的身份。
了解更多信息：
HT-20000 相机：
https://emergentvisiontec.com/products/ht-10gige-cameras-rdma-area-scan/ht-20000/
完整的 idtracker.ai 研究
网站： https://idtrackerai.readthedocs.io/en/latest/
研究论文： https://www.nature.com/articles/s41592-018-0295-5
YouTube频道： https://www.youtube.com/watch?v=Imz3xvPsaEw
