Learning a discriminative mid-level feature for action recognition

In this paper,we address the problem of recognizing human actions from videos.Most of the existing approaches employ low-level features(e.g.,local features and global features)to represent an action video.However,algorithms based on low-level features are not robust to complex environments such as cluttered background,camera movement and illumination change.Therefore,we propose a novel random forest learning framework to construct a discriminative and informative mid-level feature from low-level features of densely sampled 3D cuboids.Each cuboid is classified by the corresponding random forests with a novel fusion scheme,and the cuboid’s posterior probabilities of all categories are normalized to generate a histogram.After that,we obtain our mid-level feature by concatenating histograms of all the cuboids.Since a single low-level feature is not enough to capture the variations of human actions,multiple complementary low-level features(i.e.,optical flow and histogram of gradient 3D features)are employed to describe 3D cuboids.Moreover,temporal context between local cuboids is exploited as another type of low-level feature.The above three low-level features(i.e.,optical flow,histogram of gradient 3D features and temporal context)are effectively fused in the proposed learning framework.Finally,the mid-level feature is employed by a random forest classifier for robust action recognition.Experiments on the Weizmann,UCF sports,Ballet,and multi-view IXMAS datasets demonstrate that out mid-level feature learned from multiple low-level features can achieve a superior performance over state-of-the-art methods.     

面向交通流量预测的多头注意力时空卷积图网络模型

为了充分获取交通流量数据中隐藏的复杂动态时空相关性,提高交通流量预测精度,提出一种多头注意力时空卷积图网络模型MASCGN。首先,采用多头注意力机制为路网中的交通传感器节点自动分配注意力权重,实现对不同邻居节点的权值自适应匹配,充分获取空间相关性;其次,采用带有门控和注意力机制的时空卷积网络充分提取时间序列相关性,并使用残差块结构实现时空卷积层之间的连接,使得模型更具有泛化能力;最后,分别提取周相关、日相关、邻近时间的序列数据,输入三个并行的时空组件以挖掘周、日、邻近三个时间窗口间的时间周期相关性,并通过全连接层获取最终的交通流量预测结果。利用高速公路交通数据集PEMSO4、PEMSO8进行了15 min、30 min、45 min和60 min的交通流量预测实验。实验结果表明MASCGN模型与现有基线模型相比,在未来短期和长期的交通流量预测任务上都具有更优的建模能力。     

融入时序和速度信息的自适应更新目标跟踪

目的 针对目标跟踪算法在现实场景的遮挡、光照变化和尺度变化等问题,提出一种融入时序信息和速度信息的多特征融合自适应模型更新目标跟踪算法。方法 通过提取目标的分级深度特征和手工设计方向梯度直方图（histogram of oriented gradients,HOG）特征,以全深度特征组合和深层深度特征与手工设计特征组合的方式构造两个融合特征器,提高在复杂场景下跟踪的稳健性;对融合特征进行可信度计算,选择最可靠融合特征对当前帧目标进行跟踪;在跟踪质量不可靠时,对目标表征模型进行更新,加入时间上下文信息和当前鲁棒表征信息,通过多峰值判定和运动速度判定选择最优目标预测位置作为最终结果。结果 在OTB（object tracking benchmark）2013和OTB2015数据库上进行大量测试,与其他7个算法相比,本文算法总体效果取得最优,且在不同复杂环境下也取得了优秀的跟踪效果,在OTB13和OTB15数据库中,跟踪精度分别为89.3%和83.3%,成功率分别为87%和78.3%。结论 本文算法利用深度特征与手工设计特征进行融合,对跟踪结果进行多峰值分析和运动速度判定,跟踪结果不佳时自适应更新特征进行重跟踪。实验结果表明,本文算法可以有效处理光照变化、背景杂波和遮挡等复杂因素的干扰,有效提升了跟踪质量。     

融合上下文和多尺度特征的胸部多器官分割

目的 肿瘤周围高危器官的准确分割是图像引导放射治疗中的关键步骤,也是对抗肺癌和食道癌,规划有效治疗策略的重要组成部分。为了解决不同患者之间器官形状和位置的复杂变化情况以及计算机断层扫描（computed tomography,CT）图像中相邻器官之间软组织对比度低等问题,本文提出了一种深度学习算法对胸部CT图像中的高危器官进行细分。方法 以U-Net神经网络结构为基础,将冠状面下的3个连续切片序列即2.5D （2.5 dimention）数据作为网络输入来获取切片联系,同时利用高效全局上下文实现不降维的跨通道交互、捕获单视图下切片序列间的长距离依赖关系、加强通道联系和融合空间全局上下文信息。在编码部分使用金字塔卷积和密集连接的集成提取多尺度信息,扩大卷积层的感受野,并将解码器与编码器每层进行连接来充分利用多尺度特征,增强特征图的辨识度。考虑到CT图像中多器官形状不规则且紧密相连问题,加入深度监督来学习不同层的特征表示,从而精准定位器官和细化器官边界。结果 在ISBI （International Symposium on Biomedical Imaging）2019 SegTHOR （segmentation of thoracic organs at risk in CT images）挑战赛中,对40个胸部多器官训练样本进行分割,以Dice系数和HD （Hausdorff distance）距离作为主要评判标准,该方法在测试样本中食道、心脏、气管和主动脉的Dice系数分别达到0.855 1、0.945 7、0.923 0和0.938 3,HD距离分别为0.302 3、0.180 5、0.212 2和0.191 8。结论 融合全局上下文和多尺度特征的算法在胸部多器官分割效果上更具竞争力,有助于临床医师实现高效的诊断与治疗。     

3D多尺度深度卷积神经网络肺结节检测

目的 肺结节是肺癌的早期存在形式。低剂量CT（computed tomogragphy）扫描作为肺癌筛查的重要检查手段,已经大规模应用于健康体检,但巨大的CT数据带来了大量工作,随着人工智能技术的快速发展,基于深度学习的计算机辅助肺结节检测引起了关注。由于肺结节尺寸差别较大,在多个尺度上表示特征对结节检测任务至关重要。针对结节尺寸差别较大导致的结节检测困难问题,提出一种基于深度卷积神经网络的胸部CT序列图像3D多尺度肺结节检测方法。方法 包括两阶段：1）尽可能提高敏感度的结节初检网络;2）尽可能减少假阳性结节数量的假阳性降低网络。在结节初检网络中,以组合了压缩激励单元的Res2Net网络为骨干结构,使同一层卷积具有多种感受野,提取肺结节的多尺度特征信息,并使用引入了上下文增强模块和空间注意力模块的区域推荐网络结构,确定候选区域;在由Res2Net网络模块和压缩激励单元组成的假阳性降低网络中对候选结节进一步分类,以降低假阳性,获得最终结果。结果 在公共数据集LUNA16（lung nodule analysis 16）上进行实验,实验结果表明,对于结节初检网络阶段,当平均每例假阳性个数为22时,敏感度可达到0.983,相比基准ResNet + FPN（feature pyramid network）方法,平均敏感度和最高敏感度分别提高了2.6%和0.8%;对于整个3D多尺度肺结节检测网络,当平均每例假阳性个数为1时,敏感度为0.924。结论 与现有主流方案相比,该检测方法不但提高了肺结节检测的敏感度,还有效地控制了假阳性,取得了更优的性能。     

基于改进eRCNN的局部路网交通流预测

针对误差反馈循环卷积神经网络在运用到短时交通流预测时存在仅仅能接收时序误差序列,忽略交通流误差数据中隐含的空间拓扑特征,且在模型初始化时其采用的通用卷积神经网络初始化方法降低了模型训练效率的问题,本文提出一种优化的误差反馈循环卷积神经网络模型,在误差反馈循环卷积神经网络模型基础上根据预测误差数据的时空特性对误差反馈层进行结构强化,能够处理包含简单空间关系的误差序列。同时通过在模型训练的过程中分离模型产生的历史预测误差和训练误差,使得模型构建过程更加高效,加速了模型收敛速度。通过北京市四环道路交通数据的实验表明,优化的误差反馈循环卷积神经网络预测模型在预测精度、构建效率及鲁棒性上均得到有效提高。     

时空双仿射微分不变量及骨架动作识别

目的 人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响。基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换。方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述。基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性。基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力。结果 实验在两个大型动作识别数据集NTU（Nanyang Technological University）RGB+D（NTU 60）和NTU RGB+D 120（NTU 120）上与若干最新方法及两种基线方法进行比较,在两种实验设置（跨参与者识别与跨视角识别）中均取得了明显的改进结果。相比于使用原始数据的时空图神经卷积网络（spatio-temporal graph convolutional networks,ST-GCN）,在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9%和3.0%;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6%和4.5%。同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力。结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力。     

多时空配送任务驱动的无人车队车辆数优化方法

为解决快递终端配送多时空任务驱动下的最小无人车队车辆数配置问题,提出一种随机优化方法。首先,分析服务时长和等待时长对无人车队行驶路线规划的影响,从而构建最短路径模型;然后,基于二维时空网络构造服务序列网络;其次,通过网络转换将最小无人车队车辆数配置问题转化为网络最大流问题,并建立以车队车辆数最小为目标的最小车队模型;最后,针对模型特征设计一种融合Dijkstra算法和Dinic算法的Dijkstra-Dinic算法来对最小无人车队车辆数配置问题进行求解。在四种不同规模的服务网络中进行仿真实验,实验结果表明：在不同成功服务率下,最小无人车队车辆数与服务网络规模呈正相关,但随等待时长的增加而减少并趋向于稳定;所提算法中所引入的One-stop算子大大提高了搜索效率,所提模型和算法适用于大规模服务网络中的最小车队计算。     

基于多尺度特征融合的行人重识别方法

针对行人重识别任务在特征提取时缺乏对行人特征尺度变化的考虑,导致其易受环境影响而具有低行人重识别准确率的问题,提出了一种基于多尺度特征融合的行人重识别方法。首先,在网络浅层通过混合池化操作来提取多尺度的行人特征,从而帮助网络提升特征提取能力;然后,在残差块内添加条形池化操作以分别提取水平和竖直方向的远程上下文信息,从而避免无关区域的干扰;最后,在残差网络之后利用不同尺度的空洞卷积进一步保留多尺度的特征,从而帮助模型灵活有效地解析场景结构。实验结果表明,在Market-1501数据集上,所提方法的Rank1达到95.9%,平均精度均值（mAP）为88.5%;在DukeMTMC-reID数据集上,该方法的Rank1达到90.1%,mAP为80.3%。可见所提方法能够较好地保留行人特征信息,从而提高行人重识别任务准确率。     

基于检测与跟踪相互迭代的极暗弱目标搜索算法

针对极低信噪比（LSNR）情况下暗弱运动目标和背景噪声的强度难以区分的问题,提出了一种基于检测与跟踪相互迭代的极暗弱目标搜索算法,总体上采用将时域检测与空域跟踪的过程联合、迭代进行的新型策略。首先,在检测过程中计算检测窗口内信号片段与已经提取的背景估计特征的差别;然后,在跟踪过程中运用动态规划算法保留使得轨迹能量累积最大的轨迹;最后,自适应地调整下一检测过程中被保留轨迹的检测器阈值参数,使该轨迹内的像素能以更宽容的策略被保留到下一检测跟踪阶段。实验测试结果表明,所提算法可以在1%~2%的虚警率和约70%的检测率下探测到低至0 dB的暗弱运动目标。可见该算法可有效改善对LSNR暗弱目标的检测能力。