基于深度学习的鱼类识别相关技术研究现状及展望

为促进渔业生产智能化、现代化发展,综述了基于深度学习的鱼类识别相关技术。首先,从数据集构建、数据预处理、神经网络模型设计以及模型训练等4个方面阐述了基于深度学习的鱼类识别工作流程。然后,从图像分类、目标检测、图像分割3个角度总结了近几年鱼类识别相关技术的研究进展及应用成果。其中,图像分类主要用于识别个体鱼的色泽与种类,目标检测侧重于估计鱼群的数量和体型,而图像分割则在推断鱼类的状态和行为方面发挥着重要作用。同时,分析了不同方法所具备的优势,比较了各方法在数据集中的性能指标。最后,对深度学习在鱼类识别领域的下一步发展方向和研究重点进行了展望。综上,深度学习方法效率普遍较高、泛化能力普遍较强,深度学习技术在鱼类识别中的广泛应用能够为渔业科研人员提供有效的技术支撑。     

基于YOLOv5的工厂化养殖虾目标检测方法研究

为解决传统人工计数存在效率低、成本高、对虾有损伤等问题,提出一种基于YOLOv5框架的养殖虾目标检测方法。利用高清摄像机采集高分辨率虾的图像数据样本,并针对高分辨率图像训练集设计自适应图片裁切预处理算法,通过将训练集进行自适应裁切,扩增训练数据量,减少原始图像训练过程中细节特征损失,提升目标检测准确度。结果表明：研究所提方法可以实现少量高分辨率图像下养殖虾的准确识别与计数,采用该算法对图像样本进行预处理,相比于原始数据集训练所得检测模型,在相同运算硬件条件下,具有更高的检测准确率,识别准确率为92.55%,召回率为98.78%,平均精度均值为97.5%。     

基于TensorFlow的水族馆鱼类目标检测APP开发

近年来深度学习在图像识别研究中取得突破进展,带动了目标检测技术的快速发展。利用目标检测技术开发水族馆鱼类目标检测APP,可以增强游客参观体验,提升科普效果。针对水族馆拍摄的80种鱼类,首先,使用LabelImg软件进行目标标记,再利用标记的目标导出成tfrecord数据;其次,选择ssd_mobilenet_v1模型进行数据训练,通过20万次的迭代训练获取到鱼类目标检测模型;最后,利用TensorFlow多目标检测API调用模型,定义2个接口和12个类,开发出Android系统手机APP。经过80种鱼类1620张图片测试,正确率为92.59%,华为MHA-AL00手机目标检测平均时间40 ms。使用鱼类目标检测APP,能实现水族馆鱼类快速识别、多鱼类目标实时检测,可提升游客的参观体验,辅助科普量化评价。     

基于改进K-means聚类算法的金鱼阴影去除及图像分割方法

针对鱼类行为量化过程中运动阴影区域去除难的问题,以金鱼为研究对象,分别从去除噪点及孤立数据点、使用马氏距离作为距离度量方法、明确聚类个数以及初始聚类中心点选择等方面对传统K-means聚类算法进行了优化,提出了一种基于改进K-means聚类算法的金鱼阴影去除及图像分割方法。在室内正常环境下,使用相机采集玻璃鱼缸中金鱼图像,首先等比例压缩10倍,使用中值滤波方法对样本图像进行预处理,然后将其从RGB颜色空间转换到Lab颜色空间,最后提取a、b分量并使用改进的K-means算法进行聚类。试验结果显示:和传统K-means聚类算法及FCM(Fuzzy c-means)聚类算法进行比较,改进算法对于图像阴影去除及分割具有更好的效果,在200幅具有不同阴影的金鱼样本图像中,基于改进K-means聚类算法的平均误分类的像素比率和平均运行时间分别为2.48%和0.87 5s,能够满足离线鱼类行为量化过程中图像预处理的要求。     

基于显著性增强和迁移学习的鱼类识别研究

针对水下鱼类无法快速准确识别的难点,提出一种具有图像主体自动增强功能的鱼类迁移学习方法。该方法将鱼类RGB图像转换至Lab颜色空间后,利用中央周边算子计算得到整个输入图像的显著性值,进而提供鱼类目标的潜在区域,并结合GrabCut算法获取鱼类分割图像,最终将融合分割图的原始图像送入优化后的残差网络中进行训练。通过对23种鱼类进行识别试验,结果显示,固定ImageNet数据集上ResNet-50预训练模型的conv1层和conv2层参数,微调高层参数的方法能够取得最好的识别效果,且在公开的Fish4Knowledge数据集上,该模型取得了最高的识别准确率,平均识别精度达到99.63%。与其他卷积神经网络方法的对比结果显示,本方法在Fish4Knowledge和Fish30Image数据集上的识别精度和时间性能均具有较大优势,其中识别准确率至少提升4.98%。多个数据集上的试验验证了模型的有效性。     

基于LightGBM模型的鱼类异常行为检测

针对传统理化方法分析水质污染情况耗时耗力等问题,提出一种基于鱼类异常行为识别的水质监测方法。以红色斑马鱼(red zebrafish)为研究对象,利用计算机视觉技术,首先对斑马鱼图像进行预处理,利用灰度共生矩阵获取鱼群纹理特征;然后通过Lucas-Kanade光流法计算鱼群的运动信息熵,并对获取的纹理特征和信息熵进行归一化处理;最后采用轻量化梯度促进机(LightGBM)对鱼类异常行为进行检测,与深度神经网络(DNN)和支持向量机(SVM)检测效果对比。结果显示:利用LightGBM对鱼类异常行为进行检测,准确率为98.5%,与其他模型对比分别提高0.5%和25.3%。研究表明,基于LightGBM模型的鱼类异常行为检测方法相比其他模型能更准确地识别鱼类非正常游动。该模型适用于自动水质监测。     

基于计算机视觉的游泳型鱼类摆尾频率提取方法

针对水产养殖实践中鱼类摆尾频率计数困难的问题,提出一种基于计算机视觉的游泳型鱼类摆尾频率测量方法。利用摄像头获取视频,通过背景减法、二值化处理后得到只包含鱼的二值图像,并对二值图像细化得到鱼体脊椎方向的中线,再使用角点检测算法提取头部特征点、尾部特征点和鱼体脊椎曲线上特征点,进而通过特征点计算鱼体曲率。人工选取摆尾曲率无限接近零的图像,使用算法计算曲率数值,统计误差的大小和方差,用以确定统计摆尾次数的曲率阈值;方法的验证以大黄鱼(Larimichthys crocea)为实验对象,比较算法测量与人工计数的结果发现,正确率达到91.7%,能较好地测量摆尾次数;与基于距离的摆尾测量方法相比,该算法在测量曲率较大的图像时波动较小,更适合摆尾频率测量。     

数字化鱼类标本网络信息系统设计

为实现在互联网用户端的网页浏览器(IE)上能进行鱼类标本的360°虚拟展示,观察到鱼类标本的全貌,利用旋转台及数码相机,进行多角度的数字化图像自动采集,设计了数字化鱼类标本网络信息系统。该系统基于2.5维图像技术,集合图像处理及微软银光(Microsoft Silverlight)应用程序技术,实现鱼类数字标本的图像建模和制作,并利用网站发布,在用户端上实现可操控标本的360°自由旋转,图像流畅,无停顿。该系统具有图像自动采集、全景观察等特点。     

基于图像处理的鱼群运动监测方法研究

鱼类运动行为的观察能够为鱼类健康监控提供直观信息,而通过人工标定的方式监测鱼群运动行为耗时长、效率低。文章针对鱼类运动行为的监测问题,提出一种基于图像处理技术的罗非鱼运动监测方法。首先利用计算机、CCD高清摄像机获取鱼群运动视频,再对图像进行滤波去噪、灰度等处理;通过Ostu阈值分割法改进Canny边缘检测算法提取鱼群的边缘轮廓;在建立鱼群运动模型的基础上结合目标关联匹配算法,实现罗非鱼运动行为的跟踪和监测。结果显示鱼群的个体检出率为98.96%,轨迹完整度为97%。提出的算法比卡尔曼滤波的轨迹跟踪监测效果略有提升,能够较好地完成鱼群的运动跟踪和动态监测。     

基于灰度分布信息的鲟鱼声呐图像分析研究

为证实灰度信息在声呐图像中的重要价值,并获得有利于声呐图像目标分割的最佳增益值,研究了不同声呐增益值下,鲟鱼声呐图像灰度分布的形态差异,并基于灰度直方图分布信息的最大熵阈值分割算法对俄罗斯鲟（ Acipenser gueldenstaedti Brandt ）目标进行了分割,根据分割结果得到了最佳声呐增益值,即Gain＝15 dB。充分说明了在较优的声呐增益值下获取的声呐图像,即使目标形状发生严重变形时,利用其灰度直方图分布信息也能进行很好的目标分割,从而为解决鲟鱼声呐图像目标识别以及跟踪提供参考依据。     

基于卷积神经网络的养殖鱼类品种识别模型

随着机器学习、计算机视觉等技术的发展,卷积神经网络(CNN)越来越多地应用于图像识别领域,但现有的鱼类图像公共数据集资源较匮乏,难以满足深度CNN模型优化及性能提升的需要。实验以大黄鱼、鲤、鲢、秋刀鱼和鳙为对象,采用网络爬虫以及实验室人工拍照采集相结合的方式,构建了供鱼种分类的基础图片数据集,针对网络爬虫手段获取到的鱼类图像存在尺度不一、格式不定等问题,采用图像批处理的方式对所有获取到的图像进行了统一的数据预处理,并通过内容变换以及尺度变换对基础数据集做了数据增强处理,完成了7 993个样本的图像采集与归纳;在权值共享和局部连接的基础上,构建了一个用于鱼类识别的CNN模型,采用ReLU函数作为激活函数,通过dropout和正则化等方法避免过度拟合。结果显示,所构建的CNN鱼种识别模型具有良好的识别精度和泛化能力。随着迭代次数的增加,CNN模型的性能也逐步提高,迭代1 000次达到最佳,模型的准确率为96.56%。该模型采用监督学习的机器学习方式,基于CNN模型,实现了5种常见鱼类的鱼种分类,具有较高的识别精度和良好的稳定性,为养殖鱼类的品种识别提供了一种新的理论计算模型。     

基于计算机视觉的卵形鲳鲹眼部特征检测方法研究

鱼形态特征检测作为渔业信息化的一个重要课题,有着广泛地应用前景。现有的鱼眼特征检测主要依靠人工,操作复杂、效率低下、结果主观性强。因此提出一种基于图像处理及最小二乘椭圆拟合的鱼眼检测方法,首先在养殖场采集实验鱼例图像,再对鱼眼瞳孔和虹膜区域进行图像预处理,最后分别对鱼眼的瞳孔/虹膜轮廓进行椭圆拟合。实验结果显示,鱼眼瞳孔检测平均耗时325.96 ms,虹膜检测平均耗时364.57 ms,两者检测误差分别为7.247(1±11.82%)mm和12.179(1±14.05%)mm。研究表明,采用该方法不仅可以解决人工测量操作繁琐、主观性强等问题,而且能够避免测量过程耗时过长,为鱼眼的大批量非接触式测量提供了新途径。     

基于鱼体背部弯曲潜能算法的四种主养鱼类识别

以四种主养淡水鱼鲫(Carassius auratus)、草鱼(Ctenopharyngodon idellus)、团头鲂(Megalobrama amblycephala)、鲤(Cyprinus carpio)为例,提出一种基于图像处理技术的鱼种类自动识别方法。首先通过鱼体信息采集系统获取待识别鱼体图像,并对其进行灰度化与二值化,得到鱼体轮廓信息;然后采用邻域边界算法对鱼体的轮廓进行提取,根据轮廓曲线建立鱼体背部轮廓数学模型;最后根据轮廓模型,采用鱼体背部弯曲潜能算法对不同种类鱼体样本的背部弯曲潜能值进行计算和聚类统计,得到不同鱼类样本的背部弯曲潜能值分布区间,从而通过比对待识别鱼体背部弯曲潜能值的区间实现对不同鱼类的自动识别。对四种主养鱼类的实验测试结果表明,对团头鲂的识别精度可以达到100%,对鲫、鲤和草鱼的识别精度达到96%,基本上能准确实现四种鱼体的分类识别,具有较好的实际应用价值。     

基于计算机视觉的3种金枪鱼属鱼类表型纹理特征分析

金枪鱼属(Thunnus)鱼类是我国远洋渔业极为重要的渔获资源, 其表型纹理信息不仅具有鱼种的特异性, 而且可作为分类的科学依据。传统鱼类纹理特征分析主要是定性描述分析, 而计算机视觉技术可为鱼类纹理特征提供定量分析数据。因此, 本研究通过计算机视觉对 3 种金枪鱼图像进行预先定位基准点, 通过移动基准点确定纹理特征区域并自动截取。对纹理图像进行灰度转换和灰度量化处理, 量化的灰度图像进行灰度共生矩阵计算, 并对灰度共生矩阵进行归一化处理。通过归一化的灰度共生矩阵计算出 6 个纹理指标, 并分析纹理指标的距离和方向的变化趋势, 通过因子分析研究金枪鱼纹理指标。研究结果表明, 通过计算机视觉的纹理分析, 3 种金枪鱼纹理指标提取效果较好, 其纹理指标在距离值为 4 时, 变化趋势趋于稳定, 而 3 种金枪鱼的纹理指标方向变化, 其均值方向具有代表性。3 种金枪鱼的因子分析, 第 1 主成分贡献率为 81.10%, 表明提取的 6 个纹理指标意义较大且效果较好。 以期为金枪鱼智能识别奠定前期基础, 也为其他鱼类表型纹理研究提供借鉴和参考。     

基于Bytetrack的多目标跟踪算法在斑马鱼毒性行为识别中的应用

利用计算机视觉技术识别斑马鱼(Danio rerio)在不同污染物暴露下的行为变化是水质毒性评价的常用方法之一,但传统方法存在效率低、面对遮挡和复杂环境时性能差等缺陷。针对这些问题,本研究使用基于Bytetrack的多目标跟踪算法追踪斑马鱼在4种污染物(Zn、Pb、Cr和苯酚)暴露2 h后的行为变化,对斑马鱼在4种浓度梯度中的平均速度、最大速度、最低速度、平均碰撞次数和行为轨迹等指标进行分析。结果显示,算法的追踪精度、漏检率和检测时间(每300帧)分别能达到90.26%、16.33%和0.19 min,检测时间和精度相比于传统目标检测方法有较大提升。同时,根据污染物不同,该方法能准确识别特定污染物环境中斑马鱼相应的运动状态及轨迹变化,可实现精确识别和实时响应,在鱼类毒性行为识别领域具有重要参考意义。     

基于荧光效应和调色板均衡化的小球藻自动计数方法研究

为实现藻类的自动计数,以小球藻为对象,提出一种基于荧光效应和调色板均衡化的小球藻自动计数方法。首先对小球藻荧光显微图像进行预处理,将真彩色小球藻荧光图像转换为256色图像,再采用调色板均衡化算法增强小球藻荧光图像对比度,并利用基于调色板的阈值分割算法将目标藻类与背景进行分割,同时进行计数。结果表明,该计数方法能够避免杂质影响,直接对藻类彩色图像进行图像增强和阈值分割,可以增强图像对比度,避免彩色图像灰度化过程中图像信息损失;采用连通区域标记方法结合连通区域的大小识别低重叠度藻类,可降低重叠藻类对计数结果的影响,从而提高小球藻的计算准确度。研究表明,该方法实现了针对藻类彩色图像的自动计数,且对小球藻的计数精度准确率达到95%以上,高于只使用灰度图像计数的方法。     

基于特征点筛选的渔船轨迹压缩方法及优化

针对Douglas-Peucker(DP)算法在渔船轨迹压缩过程中存在船只转向和停泊特征信息缺失的问题，提出了一种基于特征点分离的多阈值渔船轨迹压缩方法(Feature point separation Multi-threshold DP algorithm, FMDP)。其主要思路是将原始轨迹中的特征点筛选后再进行数据整合，最大程度保留渔船原始轨迹中的特征信息。首先，将原始轨迹中停留点进行筛选；其次，提出了加入角度阈值的DP算法求取轨迹的特征点集；再次，为了确保压缩轨迹能够反映出渔船不同作业任务特征，设计了数据压缩权重机制处理渔船的停留点；然后，根据停留点集与特征点集构建渔船压缩轨迹图像，实现了对渔船不同作业的轨迹有效压缩，最后，通过与DP算法的压缩率比较，以及权重机制对于复杂与简单轨迹压缩率的影响，来对轨迹压缩效果进行验证。结果显示，该算法的压缩率均高于95%,并且与DP算法相比，在保持高压缩率基础上，较好地保留了渔船轨迹特征点；同时，加入权重使得复杂渔船轨迹在压缩过程中可以保留更多的特征信息，证明了FMDP渔船轨迹压缩算法正确性和有效性。     

基于计算机视觉技术的水产养殖中鱼类行为识别与量化研究进展

鱼类行为与水体环境密切相关,是鱼类生活状况的直接体现,可以通过分析鱼类行为进行更为精准的养殖管理和操作。计算机视觉技术为鱼类行为识别和量化提供了一种非入侵式且稳定性较好的方法,已逐渐广泛用于鱼类行为研究。本文介绍了计算机视觉技术的技术流程,包括图像采集、预处理、运动目标检测与跟踪,并对各个流程进行分类;综述了计算机视觉技术在鱼类游泳、摄食和体色变化等行为识别、量化研究的现状;分析了计算机视觉技术在鱼类行为识别、量化方面的难点及存在的问题,以期为计算机视觉技术在水产养殖监测领域的发展提供参考依据。     

基于计算机视觉的大黄鱼体尺、体重性状表型测量装置开发和应用

鱼类的体重、体长等表型性状是水产养殖和遗传育种中非常重要的经济性状，为了避免人工测量的不确定性、误差随机性和效率低下的问题，本研究开发出一种基于Mask Region Convolutional Neural Network (Mask R-CNN) 的自动化、无侵入式鱼类图像分割和表型性状测量的装置。该装置包括图像采集装置和控制软件两部分，其中图像采集装置可以测量不同规格鱼类 (体长1~40 cm)。基于Mask R-CNN的控制软件，可以对图片进行目标性状的训练和预测，实现目标数据的测量、存储和管理。本研究利用该装置对477尾3月龄大黄鱼进行了图像采集和基于大黄鱼图像的体长、体高、体重性状预测。研究表明，利用该装置测量的大黄鱼体长和体高的平均相对误差均小于4%。基于体长、体高、体表面积的多元回归模型对体重进行拟合，测量值与真实体重的相关系数为0.99，平均相对误差为4%，对每张图片的平均处理时间为3 s，测量速率是人工的8倍。该系统可以实现自动化、高效、准确地获取大黄鱼体型与体重性状，为大黄鱼种质资源评价、良种选育和种质创新提供更加便捷高效的表型测评工具。     

基于轻量型 S3D 算法的鱼类摄食强度识别系统设计与试验

实际生产中，对鱼类的投喂控制仍是以人工经验判断和时序控制为主，易造成饲料浪费和环境污染。实时检测鱼群摄食强度，可用于指导投喂，进而提高饲料利用率，并降低残饲污染。基于此，本研究提出一种基于机器视觉和轻量型S3D算法的鱼群摄食强度实时识别算法，可精确定位视频流中“强、中、弱、无” 4种鱼群摄食强度状态。首先将I3D网络作为基准，使用Inception模块和深度可分离卷积构建3D时空Sep-Inc模块；其次，利用3D时空Sep-Inc模块、池化层和3D卷积层交替搭建轻量型S3D网络；最后，开发了基于PyQt5的金鳟鱼摄食强度识别系统。结果显示：S3D算法对4类摄食强度的识别准确率可达92.68%,比C3D和R2+1D算法分别提高9.75%和14.15%,同时Parameters参数和GFLOPs参数也大幅下降，识别摄食强度标签的速率达到17 f/s。研究表明，本算法不仅适用于金鳟，也有望适用于其他游泳型鱼类，并可提供投喂决策建议。