| 基于视觉Transformer时空自注意力的工人行为识别 |
| |
| 引用本文： | 陆昱翔,徐冠华,唐波.基于视觉Transformer时空自注意力的工人行为识别[J].浙江大学学报(自然科学版 ),2023(3):446-454. |
| |
| 作者姓名： | 陆昱翔 徐冠华 唐波 |
| |
| 作者单位： | 1. 中国计量大学计量测试工程学院;2. 浙江大学浙江省三维打印工艺与装备重点实验室流体动力与机电系统国家重点实验室;3. 宁波水表(集团)股份有限公司 |
| |
| 基金项目： | 国家自然科学基金资助项目（51805477）； |
| |
| 摘 要： | 针对人机协作特殊场景中工人行为识别的问题，提出基于Transformer网络的视频人体行为识别模型，利用Transformer网络核心的自注意力机制，减少网络的结构复杂度，提升网络的性能.模型在提取图像空间特征的基础上，增加时间特征的分析，从空间和时间2个维度实现对视频数据的处理.在处理后的数据中提取分类向量传入分类模块，得到最终的识别结果.为了验证模型的有效性，分别在公开数据集UCF101和实验室采集的工人常规行为（自建）数据集上进行人体行为识别实验.实验结果显示，在UCF101上模型平均识别准确率为93.44%，在自建数据集上模型平均识别准确率为98.54%.
|
| 关 键 词： | 人机协作 Transformer 时空自注意力 工人行为 行为识别 |
|
