无人机和卷积神经网络促进了自动化和准确的鲸类物种识别和摄影测量

航空摄影测量在研究鲸目动物方面特别有用，因为它们一生大部分时间都生活在地表下，通常居住在离人类很远的地方。在这一技术之前，对鲸目动物的测量传统上仅限于评估通过捕鲸收集的尸体。航空摄影测量技术后来发展到计算除总长度外的形态测量，如异速生长和背宽测量，以估计营养条件的变化。然而，用于摄影测量的有人飞机可能是昂贵的，可能限制采样天数，并给野生动物学家带来风险。在过去十年中，小型无人飞机系统（UAS，又名无人机）的可负担性和可访问性迅速增加。这些系统越来越多地被用于涵盖海洋科学和保护应用的各个领域的项目中，目前正被用于对极地、温带和热带生物群落中的各种齿鲸和须鲸进行摄影测量研究。无人机系统改进了航空摄影测量，因为它们通常提供与传统方法质量相似（如果不是更好的话）的数据，并且更适合与生活在远离能够提供数据的区域的海洋物种进行短暂的互动。

从持续时间相机陷阱研究到基于无人机系统的调查，提供了对生物多样性的深入了解，并促进了新一轮的生态监测。但分析这些图像所需的专业知识和时间是一个主要瓶颈。幸运的是，这些丰富的图像，以及专家注释，为获取现代机器学习算法的力量提供了基础。大型数据集与不断增长的计算能力和人工智能的进步相结合，使技术专家能够自动进行以前劳动密集型的生态分析。仅在几年前被认为不可能实现自动化的任务：动物探测、物种识别，甚至摄影测量现在都在生态研究界的范围内。

我们试图利用卷积神经网络（CNN）和无人机系统（UAS）不断增长的能力，通过分析航空图像来自动识别鲸鱼的物种和长度估计。通过迁移学习来分析在具有挑战性和多变的条件下收集的中等大小（N=384）的鲸鱼图像数据集，并训练了一个CNN来识别UAS图像中的驼背鲸、小须鲸和蓝鲸。然后从每个动物输出的掩膜中导出长度，如图1所示。

图1 自动摄影测量工作流程

1.进行无人飞机系统（UAS）操作以收集图像。

2.将用于对象检测和实例分割的卷积神经网络（CNN）应用于图像，生成描绘感兴趣的鲸类的掩模和具有预测置信分数的物种预测。

3.将主成分分析（PCA）应用于掩模以找到其主轴。

4.沿该轴测量鲸类，获得从下颌前端到吸虫缺口的长度（以像素为单位）。

5.使用焦距、传感器尺寸、像素分辨率和海拔高度将该测量值转换为米。

6.然后将该导出的长度与物种和置信度分数组合作为最终的工作流程输出。

对于精确和自动化的摄影测量，每个图像中可能有多个动物，CNN必须成功完成实例分割——将图像中的每个像素映射到定类别并分离该类别的每个实例的任务。我们通过Mask R‐CNN摄取图像并输出每个感兴趣对象周围的边界框、每个对象（例如鲸鱼物种）的类别以及每个边界框内对象的完整像素掩码。

图2 Mask R-CNN结构概述

首先，将图像输入到标准卷积神经网络（CNN）中，以便从图像中提取有意义的特征。该CNN由一系列卷积层和最大池化层组成。初始层通常创建要素（如边和曲线）的贴图。在更深的层中创建的特征图更抽象，创建特征的组合（例如，胸鳍、尾鳍）。通过该过程，CNN提取将允许有效分类的区别特征。该过程创建特征图。区域建议网络（RPN）从这些特征图中提出各种边界框，这些边界框可能包含感兴趣的对象和这些边界框被并行地传递到一系列完全连接的层，其细化边界框角并进行类预测，以及掩码分支，其精确地决定边界框中的哪些像素属于感兴趣的对象。这导致对用于逐像素分割的边界框、类和掩码的预测。在这个例子中，橙色代表动物的左鳍，蓝色代表右鳍，绿色代表主体和尾鳍。

在UAS操作之后，在图像上运行训练的掩模R-CNN模型，生成描绘感兴趣的CE-Tacean的掩模（图3）、物种预测和物种预测中从0.0到1.0的置信分数。对该掩模进行主成分分析（PCA）以找到长轴（第一特征向量），从而测量全长。沿着该轴测量掩模，获得从下颌到锚爪凹口的长度（以像素为单位）。

图3 从训练的掩码R‐CNN模型生成的掩码和边界框输出的示例

图4显示了所有三个物种的基于CNN的长度与常规人工测量长度的比较。在所有三个物种中，基于CNN的长度和人工长度之间的平均差异为0.31米。两个比较被确定为该模型的极端异常值，一个是蓝鲸，另一个是座头鲸。

图4 基于CNN的长度与所有三个物种的常规人工测量长度的比较

虽然人工方法目前可以被认为是鲸鱼摄影测量研究中最准确的长度估计方法，但它仍然受到与进行测量的分析人员相关的变化的影响。事实上，由多个个体进行的人工测量可能存在差异，并且已被证明变异系数（CV）<1%。自动化方法，一旦经过训练和设置，在每次运行中的变化可以忽略不计，并且一旦用更多的数据进行训练，可以提供更好的工具来比较个体长度的细微差异。

    源自：DOI: 10.1111/2041-210X.13246