Kinect设备功能探索

本文从Kinect的历史展开论述,分别介绍了Kinect的硬件设备、Kinect获取深度图像的原理及Kinect发展现状,最后发表关于Kinect开发的一些见解.     

移动高光对三维场景重建的影响与消除

针对制造车间光滑地面在阳光或灯光照射下的扫描图像往往存在反射光斑,且随相机位置变化而变化,会严重干扰图像处理和利用的问题,提出了一种识别和去除高光的方法,用于改善图像处理效果和三维重建精度。基于扫描序列图像的三维场景重建流程和SURF特征原理,分析移动的高亮反光斑对图像特征点提取和匹配的影响;对于缺乏表面纹理的灰度图像,提出一种基于逐行多级阈值和动态模板高光识别与去除方法,保留非高光点的特征信息,识别与修复同步完成。实验结果表明,无高反光的前后两帧图像的匹配特征点对比有高光情况下至少高出8%,优化后的余留匹配特征点更多;扫描一段30m长的车间场景序列图像,用提出的方法修复高光后进行三维重建,点云拼接误差减小了10cm。表明移动高光对图像序列三维重建有不可忽视的影响,本文提出的方法能有效地去除高光。     

基于体感识别的辅助倒水机器人控制系统

为了更好的给老年人及残疾人提供服务,基于体感识别技术,设计了辅助倒水机器人控制系统。首先通过Kinect摄像头获取人体景深图像,然后利用体感识别控制算法对人体姿势进行识别,最后将识别结果转换为控制命令传输到辅助倒水机器人使其执行相应动作。实验表明,辅助倒水机器人具有良好的操控及执行性能,能较好地满足老年人及残疾人的需求,对服务型机器人领域的发展研究具有很好的参考价值。     

基于Kinect的动态孤立手势识别研究北大核心CSCD

当前方法对动态孤立手势的识别,过程复杂、成本高,动态手势的移动轨迹易受到外界环境的干扰、识别准确率低.提出了基于Kinect的动态孤立手势识别方法,利用Kinect传感器获取动态手势信息,对人体手部进行实时、准确的定位跟踪,并对手部图像进行平滑去噪处理,提取动态手势轨迹的特征;引入隐马尔可夫模型(HMM)对动态孤立手势及手部运动轨迹的样本集进行有效训练,最终实现动态孤立手势的精确识别.实验证明提出的方法在噪声干扰和光线缺失的环境下,对动态孤立手势仍具有较高的识别率,鲁棒性强.     

自动虚拟试衣系统的设计与实现

目前网络服装类购物快速发展,虚拟试衣应运而生,但现有的虚拟试衣系统试衣效果不够真实,交互操作能力差。针对这些试衣系统的不足之处,利用Kinect的人体识别的功能,结合Unity3D对3D渲染的强大支持,设计了一种基于Unity3D平台实现的虚拟试衣系统,实现了自动虚拟试衣,手势识别,背景切换等功能。此虚拟试衣系统具有真实度高,手势隔空操作,自动化程度高,后期开发和维护方便的优点。     

基于超像素分割的深度图像修复算法

为了提高Kinect相机获取的深度图质量,提出了一种基于超像素分割的图像修复算法。 首先对深度图和彩色图分别 进行双边滤波和超像素分割;其次,结合深度图像和彩色图像相似性,记录彩色分割块的位 置,并对应于 深度图中;最后,在每个分割块对应深度区域中,根据丢失像素点在分割块中所占比例,划 分为无空洞区 域、小空洞区域、大空洞区域和全空洞区域4类。采用快速行进算法对小空洞区域进行 修复,利用中 值填补算法进行大空洞区域修复,对全空洞区域利用邻域区间对应彩色图像相似性进行填充 。4种类型中 的无空洞区域无需修复。实验结果表明,本文方法与FMM、Shen和Scheming的方法相比, 平均均方根误差(RMSE) 分别降低了2.958、0.822和0.078,修复 的主观质量也有所提高。     

基于像素级别的Kinect深度测量误差补偿方法

本文提出了一种基于像素级别的Kinect2.0 深度误差补偿方法。首先,利用Kinect2.0传感器在不同的位置处采集一个 标准平面。第二 ,利用最小二乘 法将采集的三维数据进行平面拟合,作为理论平面数据。第三,逐像素点地计算Kinect2.0 传感器的深度误 差,并建立一个三维查找表。第四,通过建立一个三维查找表,在测量过程中通过插值方法 计算每个像素 点的深度,实现Kinect2.0测量数据深度方向的误差补偿。实验结果表明, 所研究的误差补 偿方法在Kinect2.0 内部参数未知的情况下,能稳定可靠地将Kinect2.0的平均测量误差减小到 0.8mm以内。对于Kinect2.0在较高精度场合的应用,本文算法能够使 测量精度达到更高。     

基于多Kinect的旋转人体扫描系统研究

为解决目前人体扫描系统价格昂贵、操作复杂、占用面积大等问题,基于微软推出的Kinect相机具有快速、安全、经济的特点,提出利用3个Kinect相机和一个旋转台来构建三维人体扫描系统,研究该系统涉及的深度相机成像原理、多相机标定以及点云配准等技术。首先利用KinectFusion技术重建出单个传感器的三维点云,然后采用多相机标定技术,计算各传感器之间的相对位置关系,实现点云的初始拼接,并使用ICP算法实现点云的精确配准,从而重建出完整的三维人体点云模型。实验结果表明,该方法能够重建出高精度点云,并且该人体扫描设备成本低,占地面积小,可行性与实时性强。     

基于Kinect v4的牛体尺测量方法

针对基于机器视觉的牛体尺测量方法中图像背景复杂、特征点提取难度大的问题,提出了一种基于Kinect v4传感器的牛体尺测量方法来采集彩色和深度图像,并结合目标检测、Canny边缘检测、三点圆弧曲率等算法提取体征特征点进而计算体尺数据。首先,制作了牛体尺特征部位图像数据集,并利用深度学习YOLOv5目标检测算法检测牛体尺特征部位信息,以减少牛体其他部位和背景对体尺测点提取的干扰;其次,借助OpenCV图像处理库中的Canny边缘检测、轮廓提取等图像处理算法获取牛体尺测点所在的关键轮廓;然后,对关键轮廓采用多项式拟合和三点圆弧曲率等算法从而在二维图像中提取牛体尺测点;最后,利用深度信息将二维图像中的测点信息转换到三维坐标系下,并结合随机抽样一致（RANSAC）算法在三维坐标系下设计牛体尺测量方法。经过在复杂环境下传感器和牛体侧面成不同偏角时的实验测量结果和人工测量结果的比较得出,牛体尺数据中鬐甲高的平均相对误差为0.76%,体斜长的平均相对误差为1.68%,体直长的平均相对误差为2.14%,臀端高的平均相对误差为0.76%。实验结果表明,所提方法在复杂环境下具有较高的测量精度。     

基于新颖性检测的跌倒风险预测

跌倒是65岁及以上人群因伤害致死的第一位原因. 结合受试者个体信息的个性化特征, 提出一种基于Kinect三维骨架数据的步态特征提取方法, 对老年人的跌倒风险进行评估和预测. 将跌倒风险分为高跌倒风险和低跌倒风险两类, 考虑数据采集的成本问题, 采用新颖性检测模型在不平衡数据集下对特征数据进行训练和评估. 实验结果表明, OC-SVM (one-class SVM)检测准确率达86.96%, F1-score为88.55%, 能够有效地区分低跌倒风险受试者和高跌倒风险受试者. 同时, 证明了基于Kinect三维骨架数据预测老年人跌倒风险的潜力.