基于时序时空双流卷积的异常行为识别 |
| |
引用本文: | 张仁路,高丙朋.基于时序时空双流卷积的异常行为识别[J].现代电子技术,2023(3):81-87. |
| |
作者姓名: | 张仁路 高丙朋 |
| |
作者单位: | 新疆大学电气工程学院 |
| |
基金项目: | 新疆维吾尔自治区自然科学基金项目(2019D01C079); |
| |
摘 要: | 针对地铁站特定场合下,人体异常行为识别无法有效利用帧间运动时间维度信息,导致人体异常行为识别准确率不高的问题,提出一种深层次残差长短期双流网络结构。将RGB帧和连续光流帧作为双流网络的输入,分别利用ResNet34提取低层特征信息,空间流网络提取运动外观特征信息,时间流网络提取光流运动信息,然后将特征信息输入长短期记忆(LSTM)网络,有效学习空间外观和光流运动的帧间关联时间信息,并且通过多种加权融合策略加强模型识别效果。最后在地铁站异常行为数据集上验证提出的网络结构,并与原双流网络进行对比,改进后的网络识别准确率提高了4.7%,融合后的模型准确率提高了12.9%。实验结果表明,所提方法能够充分利用时间维度信息,可有效提高异常行为识别准确率,在昏暗环境下仍有较好的识别效果。
|
关 键 词: | 异常行为识别 双流卷积 长短期记忆网络 特征提取 特征融合 深度学习 |
|