Real-time visual odometry estimation based on principal direction detection on ceiling vision

In this paper,we present a novel algorithm for odometry estimation based on ceiling vision.The main contribution of this algorithm is the introduction of principal direction detection that can greatly reduce error accumulation problem in most visual odometry estimation approaches.The principal direction is defned based on the fact that our ceiling is flled with artifcial vertical and horizontal lines which can be used as reference for the current robot s heading direction.The proposed approach can be operated in real-time and it performs well even with camera s disturbance.A moving low-cost RGB-D camera(Kinect),mounted on a robot,is used to continuously acquire point clouds.Iterative closest point(ICP) is the common way to estimate the current camera position by registering the currently captured point cloud to the previous one.However,its performance sufers from data association problem or it requires pre-alignment information.The performance of the proposed principal direction detection approach does not rely on data association knowledge.Using this method,two point clouds are properly pre-aligned.Hence,we can use ICP to fne-tune the transformation parameters and minimize registration error.Experimental results demonstrate the performance and stability of the proposed system under disturbance in real-time.Several indoor tests are carried out to show that the proposed visual odometry estimation method can help to signifcantly improve the accuracy of simultaneous localization and mapping(SLAM).     

基于DSP的人脸检测3D显示器设计与实现

为了提升3D显示的用户体验,提出了一种基于人脸检测式的3D显示器。针对Haar特征Adaboost人脸检测算法在视频处理中实时性差的特点,提出了一种针对视频的改进人脸检测算法,使系统中的人脸检测速度获得大幅提升。同时使用了高效摄像机标定方法,保证了在人脸检测中的坐标转换精确度。此外,研究了投影变换和3D模型绘制的过程,并针对DSP平台进行了性能优化。实验结果表明了系统的整体实时性性能和良好的视觉体验。     

基于ORB-SLAM2的实时网格地图构建

针对目前视觉SLAM（同时定位与地图构建）系统只能输出相机的运动轨迹图而不能生成用于路径规划和导航地图的缺点,提出了一种基于ORB-SLAM2的网格地图实时构建算法。首先,建立了一个适用于视觉SLAM的逆传感器模型（inverse sensor model,ISM）;针对ISM模型重新编排了网格地图算法的构建机制,并对其进行详细推导;最后,介绍了ORB-SLAM2网格地图构建的具体实施方案。通过实验,对ISM模型和网格地图模型进行分析,确保了算法的可行性;用单目相机和RGB-D深度相机进行实时实验,实现了网格地图的实时构建,且能够清晰地显现出障碍物位置,验证了所提算法的有效性。     

基于姿态估计的实时跌倒检测算法

为了快速、准确地检测老年人跌倒事件的发生,给出一种基于姿态估计的实时跌倒检测算法.首先利用基于深度学习的人体姿态估计算法得到人体关节点的坐标;然后,通过计算人体质心点的下降速度、跌倒后颈部关节点的纵坐标值是否大于阈值、以及肩部和腰部关节点的相对位置关系来判断跌倒是否发生.所给出的跌倒检测算法利用单目相机进行检测,便于以嵌入式方式应用于机器人.实验结果表明,所提出算法与当前先进方法相比取得了较好的效果.     

3D head tracking for fall detection using a single calibrated camera

The head trajectory is an interesting source of information for behavior recognition and can be very useful for video surveillance applications, especially for fall detection. Consequently, much work has been done to track the head in the 2D image plane using a single camera or in a 3D world using multiple cameras. Tracking the head in real-time with a single camera could be very useful for fall detection. Thus, in this article, an original method to extract the 3D head trajectory of a person in a room is proposed using only one calibrated camera. The head is represented as a 3D ellipsoid, which is tracked with a hierarchical particle filter based on color histograms and shape information. Experiments demonstrated that this method can run in quasi-real-time, providing reasonable 3D errors for a monocular system. Results on fall detection using the head 3D vertical velocity or height obtained from the 3D trajectory are also presented.     

基于可见光-热红外视觉监控的车间工人跌倒检测算法

为了解决工厂车间视觉监控存在噪声干扰、光线变化、目标遮挡等问题,提出一种基于多模态视觉监控的工人跌倒检测算法.首先,采用热像仪和可见光相机获取车间内全天候监控图像,结合自适应滤波模型对图像进行降噪处理,以抑制环境噪声对监控图像的干扰;然后,构建一种改进的人体姿态特征提取网络,通过融合串联时间帧合并模块和位姿残差模块,以简化目标检测的特征图尺度,实现监控图像中工人区域被部分遮挡时姿态的实时、可靠预测;最后,设计人体轴线倾角、人体外接矩形框长宽比以及双膝盖点移动速度作为工人跌倒判别性特征,进而实现车间内工人的跌倒判别.在自建数据集和公开数据集上对所提出方法进行验证,实验结果表明,所提出算法的跌倒检测精度分别为95.6%和96.3%,与对比算法相比具有更好的准确性和实时性.     

基于DM642的纬斜检测系统设计及实现

目前国内普遍采用的整纬装置为光电整纬,依靠采集透射过织物的光强度来检测纬斜,但这种方式对织物的厚度及纹理程度具有一定制约性;针对这个问题设计了一种基于DM642的摄像式的纬斜检测系统,充分利用DM642的高速运算能力,对织物的纹理进行图像处理,来实现纬斜角度实时的检测;该系统以TMS320DM642处理器为核心,包括视频采集、视频显示、视频存储、视频处理、外部通信5个模块,并在该硬件平台基础上实现了基于投影映射的纬斜检测算法;映射算法的阈值采用20,根据统计的大于阈值的数目来得到纬线偏移的角度;应用结果表明本系统具有良好的实时性并且精度可达到95％,可用于工业现场的实时纬斜检测.     

A low-complexity sensor fusion algorithm based on a fiber-optic gyroscope aided camera pose estimation system

Visual tracking, as a popular computer vision technique, has a wide range of applications, such as camera pose estimation. Conventional methods for it are mostly based on vision only, which are complex for image processing due to the use of only one sensor. This paper proposes a novel sensor fusion algorithm fusing the data from the camera and the fiber-optic gyroscope. In this system, the camera acquires images and detects the object directly at the beginning of each tracking stage; while the relative motion between the camera and the object measured by the fiber-optic gyroscope can track the object coordinate so that it can improve the effectiveness of visual tracking. Therefore, the sensor fusion algorithm presented based on the tracking system can overcome the drawbacks of the two sensors and take advantage of the sensor fusion to track the object accurately. In addition, the computational complexity of our proposed algorithm is obviously lower compared with the existing approaches(86% reducing for a 0.5 min visual tracking). Experiment results show that this visual tracking system reduces the tracking error by 6.15% comparing with the conventional vision-only tracking scheme(edge detection), and our proposed sensor fusion algorithm can achieve a long-term tracking with the help of bias drift suppression calibration.     

基于FPGA的运动目标远程监视系统设计

运动目标检测是智能安防系统的重要组成部分,为了满足安防系统远距离监视目标以及视频传输实时性等需求,设计了一种基于FPGA平台的运动目标远程监视系统;该系统以Xilinx公司的Artix7系列FPGA芯片为核心,通过OV5640摄像头实现视频图像的采集,将采集到的图像进行灰度化处理,并通过DDR3存储器缓存处理后的图像,采用帧间差分法运动目标检测技术实现对多个运动物体的检测与标记,将检测结果通过以太网的UDP协议传输到上位机实时显示;实验结果表明,在图像分辨率为640*480时,以太网UDP传输速度为133Mbit/s,视频图像帧率为26fps,大于人眼的可视帧率24fps,满足视频传输实时性的要求,同时该系统能够远距离、高效地检测与跟踪多个运动目标,相比于其他系统具有可远程实时检测、小型化、低功耗的特点,可进一步应用到智能安防系统中。     

基于FPGA与Sobel算法的实时图像处理

如今,图像处理算法的复杂度越来越高,图像处理的数据量越来越大,图像处理的实时性显得十分重要。为了解 决图像预处理、视频流数据实时性存在的问题,给出了一种基于FPGA和OV5640以Sobel算子进行边缘检测的图像采集与处 理系统设计方法,FPGA将OV5640摄像头采集到的视频流数据传送至SDRAM,由Sobel算子模板处理后通过VGA显示视频 图像。该设计基于Intel公司的Cyclone IV系列FPGA芯片EP4CE10F17C8进行了验证。实验结果表明,基于FPGA和Sobel边 缘检测算法,使用流水线设计和乒乓操作,可实现视频流数据处理的实时性。     

单目式自主机器人视觉导航中的测距研究

针对传统自主式机器人视觉测距方法的缺陷,提出了一种建立在B 对偶空间几何学上的单目摄像机标 定方法,并将其应用到单目式自主机器人的视觉测距中．与OpenCV 标定方法相比,新的标定方法对CCD 摄像机 内参数的计算更为准确,并减小单目视觉测距的总体误差．同时,在引入运动目标自动提取算法的基础上,将目标 车辆的自动检测与实时测距融合为一个完整的系统．通过实际的测量及对比试验,验证了所提出方法的有效性．     

可穿戴式跌倒检测智能系统设计

为提高对老年人跌倒检测的正确率,设计一种可穿戴式跌倒检测系统.研制基于三轴加速度计的跌倒检测设备,给出系统硬件和软件的实现方案;提出基于反向传播(BP)神经网络的跌倒检测算法,将训练好的网络参数植入研制的可穿戴式跌倒检测设备,实现对跌倒的实时检测.实验结果表明:所研制的跌倒检测智能系统能够有效地区分跌倒与非跌倒,正确率达97.37％.     

基于二次判断的无线多传感器跌倒监测系统

通过研究跌倒事件,设计了一种基于多传感器的穿戴式跌倒监测系统.将加速度传感器、磁传感器和压力传感器相结合,采集相互独立的实时数据,并利用阈值和表决算法进行二次判断来提高系统的跌倒识别率.系统实时监测跌倒事件,并根据报警设置提醒误判或者通知家属以得到及时救助.实验结果表明,该系统有较高的识别率和可靠性,适合应用于跌倒监测系统.     

基于LSD检测的无人机视觉着陆定位算法

针对复杂电磁干扰和拒止环境下固定翼无人机自主着陆的应用场景,提出了一种基于LSD的无人机视觉着陆定位算法,通过检测跑道的左右边线以及起始线对无人机进行定位;根据机场跑道的形态学特征,构建机场跑道数据模型,并对实验所用相机进行标定,采用灰度化和高斯滤波对采集到的图像进行预处理,采用LSD直线检测算法以提取跑道的直线特征,设计几何滤波策略从直线特征中提取出跑道的三条边线,采用蒙版技术以提高检测算法的抗干扰能力;根据相机成像原理推导出基于线检测的PNP定位算法,通过检测得到的机场跑道线在像素坐标系下的位置信息求出无人机相对于跑道的三维位置;分别在视景仿真环境和真实机场环境进行检测和定位解算,结果满足无人机着陆定位实时性和准确性的要求,从而验证了视觉着陆定位算法的有效性。     

Improved eye-vergence visual servoing system in longitudinal direction with RM-GA

Visual servoing is a control method to manipulate the motion of the robot using visual information, which aims to realize “working while watching.” However, the visual servoing towards moving target with hand–eye cameras fixed at hand is inevitably affected by hand dynamical oscillation. To overcome this defect of the hand–eye fixed camera system, an eye-vergence system has been put forward, where the pose of the cameras could be rotated to observe the target object. The visual servoing controllers of hand and eye-vergence are installed independently, so that it can observe the target object at the center of camera images through eye-vergence function. In this research, genetic algorithm (GA) is used as a pose tracking method, which is called “Real-Time Multi-step GA(RM-GA),” solves on-line optimization problems for 3D visual servoing. The performances of real-time object tracking using eye-vergence system and “RM-GA” method have been examined, and also the pose tracking accuracy has been verified.     

视频监控下的人脸跟踪与识别系统

针对智能视频监控系统的要求,设计了一个基于视频监控的自动多人脸跟踪识别系统,该系统的功能是实时跟踪视频监控范围内的人脸并鉴别人脸的身份。针对复杂背景及类似人脸区域的影响,提出了一种Adaboost人脸检测算法和主动形状模型相结合的人脸检测算法,实现人脸的准确检测;针对视频监控范围内人脸偏转、交错以及由于人员不断出入而导致人脸数目发生变化的问题,提出了CamShift和Kalman滤波器相结合的多人脸跟踪算法,同时对跟踪到的人脸进行实时身份识别。实验证明,该系统在视频监控范围内对人脸检测和身份识别准确,跟踪实时性好,是一种建立实时视频监控系统的实用方法。     

基于双摄像头的摔倒检测技术

随着人口老龄化趋势的加快, 老人独居现象增多, 为了减少老人摔倒所带来的伤害, 本文对基于双摄像头的摔倒检测技术进行研究. 针对Vibe算法在运动目标检测过程中存在的鬼影问题, 结合了帧间差分法进行鬼影区域的判断, 加快了鬼影的消除, 避免了其干扰. 利用人体外接矩形对检测到的人体进行标记, 求取出人体运动过程中高度、外接矩形高宽比、质心、Hu矩特征, 通过基于阈值分析法和支持向量机(SVM)的摔倒检测算法判断是否摔倒. 为了提高摔倒行为的检测率, 提出采用双摄像头进行联合判断. 实验结果表明, 系统能有效识别摔倒与其他日常行为, 算法准确度高、实时性好.     

动态船舶行驶场景下的实时单目测距算法研究

为了利用单目视觉实时监测船舶行驶过程中与周围船舶之间的距离,首先分析单目视觉测距现状及其成功应用实例,基于小孔成像原理建立单目相机模型,通过几何推导,得到世界坐标系、相机坐标系、图像坐标系及像素坐标系之间三层坐标转换关系.随后通过实验验证pitch俯仰角与yaw水平角对单目视觉测距的影响程度,从而分析出动态船舶行驶场景...     

室内环境下基于平面与线段特征的RGB-D视觉里程计

针对室内环境的结构特点,提出一种使用平面与线段特征的RGB-D视觉里程计算法．首先根据RGB-D扫描点的法向量对3D点云进行聚类,并使用随机抽样一致（RANSAC）算法对每簇3D点集进行平面拟合,抽取出环境中的平面特征;随后利用边缘点检测算法分割出环境中的边缘点集,并提取出环境中的线段特征;然后提出一种基于平面与线段几何约束的特征匹配算法,完成特征之间的匹配．在平面与线段特征匹配结果能提供充足的位姿约束的条件下,利用特征之间的匹配关系直接求解RGB-D相机的位姿;若不能,则利用匹配线段的端点以及线段点集来实现RGB-D相机位姿的估计．在TUM公开数据集中的实验证明了选择平面与线段作为环境特征可以提升视觉里程计估计和环境建图的精度．特别是在fr3/cabinet数据集中,本文算法的旋转、平移的均方根误差分别为2.046°/s、0.034m/s,要显著优于其他经典的视觉里程计算法．最终将本文系统应用到实际的移动机器人室内建图中,系统可以建立准确的环境地图,且系统运行速度可以达到3帧/s,满足实时处理的要求．     

核心网HSS与PCRF拜访地改造模式探讨

拜访地接入是解决省间漫游带宽瓶颈的有效方式。对从归属地接入改造为拜访地接入的关键技术进行探讨,通过特定签约信息综合判断对目标用户进行有效识别,降低漫游上网时延,提升用户感知。