基于NPU的实时深度学习跟踪算法实现北大核心CSCD

深度学习在检测领域高速发展,但受限于训练数据和计算效率,在基于嵌入式平台的边缘计算领域,尤其是实时跟踪应用中深度学习的智能化算法应用并不广泛。针对这一现象,同时为满足现阶段国产化、智能化的技术需求,提出了一种改进的孪生网络深度学习跟踪算法。在特征网络加入微调网络,解决了网络模型无法在线更新的问题,提升了跟踪的准确性;在IoUNet损失函数中加入中心距离惩罚项,解决了IoUNet当IoU相同时位置跳跃,存在收敛盲区和收敛速度慢的问题;将训练后的网络通过通道剪枝,缩减网络模型尺寸,提升了模型加载和运行的速度。在华为Atlas200NPU平台上实现了实时运行,算法准确率高达0.90(IoU>0.7),帧率达到66 Hz。     

一种基于嵌入式全景视频流影像数据实时拼接方法

针对机载全景视频流影响,提出了一种基于嵌入式的全景实时拼接方法。提取图像中的SURF(speeded up robust features)特征点,生成特征描述子。通过计算2个特征点之间的欧式距离来确定匹配度,经过仿射变换后,利用泊松变换实现图像间的融合平滑处理。将上述流程在目标设备上进行并发执行,根据每个流程自身的特点进行定制化优化,实现全景实时拼接。试验测试表明,本方法实现了拼接接缝处基本无缝的效果,拼接速度达到30 Hz,能够满足实时显示的要求。