视觉情境感知驱动的虚拟机器人交互系统

虚拟机器人是能与人交互的智能软件，通常具有实时性、交互性等特点。文中以视觉情境感知驱动的虚拟机器人为主题，从轻量级目标检测模型及压缩、实时关键帧提取、系统优化和交互策略4个方面展开探究，在边缘的资源受限平台上构建强实时性、高交互性、高度可扩展的虚拟机器人系统。具体而言，在轻量级目标检测模型及压缩方面，首先探究不同主干网络下SSD模型的性能与精度，随后对基于VGG16网络的SSD模型进行int8量化与剪枝，在精度损失不超过0.1%的前提下，帧率比原模型提高187%。在实时关键帧提取方面，使用边缘特征强度和HOG特征进行视频流预筛选，降低系统压力，等效减少90%的推理时延。在系统优化方面，采用微服务化降低冷启动时延约98%。在交互策略方面，使用含计时器的状态机对情境进行建模以实现情境驱动，并采用语音形式完成人机交互的输出。