基于水质-声音-视觉融合的循环水养殖鱼类摄食强度识别

在工厂化循环水养殖中，准确识别鱼类摄食强度是实现精准投喂的前提和关键。水质、视觉、声音等单模态数据均可用于评估摄食强度，但单一模态往往具有片面性，难以完全反映全局特征，存在识别精度低、可移植性差等问题。多模态方法通过融合不同模态的特征，可为摄食强度量化提供新的手段。基于此，为融合鱼类摄食中的“水质-声音-视觉”信息，实现高精度的鱼类摄食强度量化，该研究在多模态Transformer（multimodal transformer，MulT）的基础上，提出一种多模态融合的鱼类摄食强度识别算法Fish-MulT。首先，从输入的水质、声音和视觉数据中提取特征向量；其次，利用多模态转移模块（multimodal transfer module，MMTM）对输入的特征向量进行融合，得到3种融合向量；然后对融合向量添加自适应权重并相加，得到融合模态；最后，利用融合模态将MulT算法中各模态分支的跨模态Transformer（cross-modal transformer）从2个优化为1个。试验结果表明，与MulT算法相比，本文算法的鱼类摄食强度识别准确率由93.30%提高到95.36%，参数量减少38%。与水质、声音和视觉单模态相比，准确率分别提高68.56%、21.65%和3.61%。可用于制定精准投喂策略，并为开发智能投喂系统提供技术支持。     

基于轻量型 S3D 算法的鱼类摄食强度识别系统设计与试验

实际生产中,对鱼类的投喂控制仍是以人工经验判断和时序控制为主,易造成饲料浪费和环境污染。实时检测鱼群摄食强度,可用于指导投喂,进而提高饲料利用率,并降低残饲污染。基于此,本研究提出一种基于机器视觉和轻量型S3D算法的鱼群摄食强度实时识别算法,可精确定位视频流中“强、中、弱、无” 4种鱼群摄食强度状态。首先将I3D网络作为基准,使用Inception模块和深度可分离卷积构建3D时空Sep-Inc模块;其次,利用3D时空Sep-Inc模块、池化层和3D卷积层交替搭建轻量型S3D网络;最后,开发了基于PyQt5的金鳟鱼摄食强度识别系统。结果显示：S3D算法对4类摄食强度的识别准确率可达92.68%,比C3D和R2+1D算法分别提高9.75%和14.15%,同时Parameters参数和GFLOPs参数也大幅下降,识别摄食强度标签的速率达到17 f/s。研究表明,本算法不仅适用于金鳟,也有望适用于其他游泳型鱼类,并可提供投喂决策建议。