视觉-语言导航的研究进展与发展趋势EI北大核心CSCD

视觉-语言导航是近年来出现并蓬勃发展的新兴研究方向,是视觉-语言交互前沿领域中的代表性研究任务之一,其目标是根据人类给出的语言指令基于环境视觉感知实现自主导航.首先介绍该任务的研究内容,分析其面临的跨模态语义对齐、语义理解与推理和模型泛化能力增强3个方面的问题与挑战,然后列举了常用的数据集和评价指标;再从模仿学习、强化学习、自监督学习以及其他方法4个方面对该任务的研究进展进行归纳与总结,并对代表性方法的效果进行对比分析;从连续环境导航和高级复杂指令理解与常识推理2个方面论述该任务当前研究的热点趋势;最后对三维空间的视觉-语言导航、模糊导航、环境交互导航等未来发展方向进行讨论与展望.     

视觉—语言—行为：视觉语言融合研究综述

通过语言给予智能体指示使其完成通用性的任务是人工智能领域的愿景之一。近年来有越多越多的学者试图通过融合计算机视觉与自然语言处理领域的相关技术以期实现此目标。为了及时跟进相关领域的研究,把握视觉与语言融合方向前沿,对于视觉—语言—行为最新进展进行综述。首先简单介绍了融合视觉与语言的弱耦合尝试,之后重点综述了视觉—语言—行为这一最新方向相关的视觉语言导航、具身问答及其相似研究,最后总结了制约此领域发展的关键问题及可能的解决方案。     

基于路径识别的移动机器人视觉导航

跟随路径导引是自主式移动机器人广泛采用的一种导航方式,其中视觉导航具有其他传感器导航方式所无法比拟的优点,是移动机器人智能导航的主要发展方向。为了提高移动机器人视觉导航的实时性和准确性,提出了一个基于路径识别的视觉导航系统,其基本思想是首先用基于变分辨率的采样二值化和形态学去噪方法从原始场景图像中提取出目标支持点集,然后用一种改进的哈夫变化检测出场景中的路径,最后由路径跟踪模块分直行和转弯两种情况进行导航计算。实验结果表明,该视觉导航系统具有较好的实时性和准确性。     

基于GPU-SIFT算法的飞行器视觉导航姿态估计关键技术

针对传统惯性导航累积误差大的缺陷,研究提出了一种视觉导航姿态估计方法;首先提取图像的局部特征,分别对SURF(speeded up robust features)、SIFT (scale-invariant featuretransform)及GPU-SIFT特征提取算法进行了比较;保证算法精度及实时性后,将实时图与基准图库进行局部特征匹配,并利用EPnP算法进行飞行器的六自由度参数解算;实验结果表明GPU-SIFT算法精度最高,且随着图像分辨率的提高,其计算速度相比SURF和SIFT算法有了显著提高,该方法在一定条件下具有较高的位姿精度和良好的实时性.     

基于道路动态视觉导航的控制策略与仿真

使车辆在自然环境中自动行驶，视觉导航方法受到了很大的重视。该文介绍了我们进行的研究工作，其中包括基于道路理解和目标检测的动态视觉导航控制策略，以及这一模拟显示系统的实现。     

视觉问答技术研究综述

视觉问答（visual question answering,VQA）是融合自然语言处理与计算机视觉技术的图-文跨模态热门任务。该任务以计算机智能识别与检索图像内容并给出准确答案为主要目标,融合应用了目标识别与检测、智能问答、图像属性分类、场景分析等多项技术,能够支撑许多前沿交互式人工智能高层任务,如视觉对话、视觉导航等,具有广泛的应用前景和极高的应用价值。近几年,计算机视觉、自然语言处理及图-文跨模态领域人工智能模型的发展为视觉问答任务的实现提供了许多新的技术和方法。主要对2019—2022年视觉问答领域的主流模型及专业数据集进行总结。首先,依据视觉问答任务实现的模块框架,对关键步骤中的主流技术方法进行综述讨论。其次,按照主流模型采用的技术方法,将该领域内各类模型进行细分,并简要介绍改进重点和局限性。随后,综述视觉问答常用数据集与评价指标,对几类典型模型性能进行对比阐述。最后,对现阶段视觉问答领域内亟待解决的问题进行重点阐述,并对视觉问答领域未来应用及技术发展进行预测和展望。     

计算机视觉导航综述

导航技术是移动机器人核心技术,移动机器人又有多种导航方式,本文对各种导航方式进行了分析比较,提出由于计算机视觉理论及算法的发展,又由于和激光、雷达和超声在导航方面相比,视觉导航具有很多优点,因此视觉导航被大量地采用。根据移动机器人是在导航过程中对图像进行处理,实时性差始终是一个非常棘手的问题,提出解决该问题的关键在于设计一种快速图像处理方法。     

移动机器人视觉导航控制研究

该文研究了移动机器人视觉导航的控制问题。针对导航中的图像畸变以及视野有限易造成导航线丢失等问题,提出了一种简单的单目视觉目标定位算法和一种新的控制策略。在导航时,首先利用定位算法精确地获取地面目标的深度信息,然后控制机器人沿一系列切线方向平滑接近导航线(或目标),并根据实施控制的时间间隔控制速度,以保证机器人视野中导航线(或目标)不丢失。实际的应用证明了该定位算法和策略的有效性。     

基于单目视觉的移动机器人导航算法研究进展

基于单目视觉的移动机器人导航的研究,涵盖了机器视觉、模式识别和多目标跟踪多个领域．其算法框架不仅成功应用于移动机器人导航,还为目标检测、识别与跟踪领域的研究提供了可供参考的模型．该综述将以算法发展历史为脉络,结合一些典型系统,通过对关键技术和算法结构的分析比较,总结算法本身的发展前景和由此发展起来的可供相关研究参考的算法框架．     

月球车的自主视觉导航

视觉导航是月球车的一项重要功能,本文首先介绍了国内外视觉导航的情况：在对视觉导航原理分析的基础上,提出了月球车的视觉导航实现方案,并进行了避障路径规划的实验。实验结果表明了方法的正确性。     

神经机器翻译前沿进展

机器翻译研究如何利用计算机实现自然语言之间的自动翻译,是人工智能和自然语言处理领域的重要研究方向之一.近年来,基于深度学习的神经机器翻译方法获得迅速发展,目前已取代传统的统计机器翻译成为学术界和工业界新的主流方法.首先介绍神经机器翻译的基本思想和主要方法,然后对最新的前沿进展进行综述,最后对神经机器翻译的未来发展方向进行展望.     

基于监督的室内机器人导航系统研究

针对室内光照多变对机器视觉带来的不良影响所造成的室内机器人定位难的问题，提出了一种基于监督的室内导航模型。将鱼眼相机固定在室内房顶的中心位置，并且进行多次拍照，拍照后的图片经过图像处理，即可以完成获取整个地图，以及可行驶区域的人工标定。以屋顶固定参照物灯管为中心，结合位于机器人上的移动设备在不同位置向房顶参照物拍摄的图像数据和实际坐标位置，组成了投影轮廓数据库。根据在移动过程中机器人上的移动设备对房顶参照物进行拍摄，并与数据库匹配，实现了当前机器人的位置信息的获取。经测试，本方法在中低精度下具有一定的可行性，并且具有速度快的优点。本次研究实现了在精度要求不高情况下室内的监督导航。     

算法作曲的研究进展

讨论了当今算法作曲这一研究领域中存在的一些主要问题.评述了这一领域所采用的一系列关键技术,包括Markov链、随机过程、基于音乐规则的知识库系统、音乐文法、人工神经网络技术以及遗传算法.得出的结论是,作曲系统可以朝着集多种方法为一体的混合型系统(hybrid system)的方向发展.系统应在音乐创作的各个层面上提供灵活的人机交互手段,以便提高系统的实用性和有效性.     

一种导航地图匹配算法

在分析影响地图匹配算法实时性、鲁棒性及匹配精度因素的基础上,依据车辆运动的连续性,引入道路网络的分块思想,并利用车辆行驶的位置和方向信息及实际道路网络的拓扑特性,提出一种时间复杂度为O(c)的新型快速地图匹配算法.对实际跑车数据的仿真结果表明:该算法的匹配正确率不低于95%,单点匹配时间不超过0.01 ms.     

车载地图匹配技术中GPS定位数据的研究

地图匹配是车辆导航系统的重要定位技术,GPS定位数据质量是地图匹配效果的关键因素.深入分析了影响GPS车载导航系统定位数据质量的各种误差,提出了鉴别GPS有效定位数据的判定算法.     

以数字图像为载体的隐写分析研究进展

隐写和反隐写的对抗是关系到信息安全的重要课题.文中针对常用隐写载体之一即数字图像,回顾反隐写技术的最新进展.根据隐写技术快速发展对反隐写研究提出的挑战,对近几年提出的新方法和新思路进行梳理和归纳.给出系统和扼要的评述,供隐写和反隐写研究者参考.重点围绕三方面展开讨论:对于克服了统计不对称性的LSB匹配嵌入法如何进行有效的检测或嵌入率估计;对于小嵌入率隐写进行分析的研究中有哪些进展;面对层出不穷的隐写新方法,如何实现不针对具体嵌入算法的通用隐写分析.对于反隐写研究的发展趋势和面临的新问题也作了讨论.     

一种用于辅助导航的快速图像匹配方法

为了提高辅助导航中多传感器图像匹配的精确性和实时性,首先提取图像的边缘特征,并用3-4距离变换(3-4DT)方法对边缘二值图像进行变换,以变换后的边缘距离图像为匹配特征;针对传统Hausdorff距离的局限性提出了一种融合点集重合数的Hausdorff距离,并以之为相似性度量;搜索策略根据人眼视觉系统的机制采用一种由远到近的分层匹配方法,同时使用一种改进的实数编码遗传算法来加快底层图像匹配的速度。实验结果为平均匹配时间为1283m s,平均误差值为1.036,表明匹配方法能满足导航要求。     

视觉导航特征点匹配及误匹配剔除算法

飞行器视觉导航中图像的复杂性对特征点匹配提出了很高的要求。根据图像HSV色彩空间各分量固有的稳定性提出了一种新的特征点不变向量生成方法,以基于欧氏距离的最近邻准则作为特征点的相似度量将该算法提取的特征应用于图像特征点匹配;为了降低特征点描述向量的维数,提高匹配的实时性,采用了主成分分析(PCA)方法。针对误匹配问题,提出了一种利用惯性导航系统的输出信息进行误匹配特征点检测的方法。最后,通过实验证明,所提出的色彩匹配方法可以提高匹配的准确率,并且通过将PCA方法与上述方法结合不仅可以保持匹配的准确性还能降低计算的复杂度;所提出的误匹配检测方法可以较好的剔除误匹配点并能满足实时性的要求,这为视觉导航提供了一种可靠性更高的特征点匹配方法。     

基于地图的移动机器人自定位与导航系统

针对地图已知情况下的移动机器人大范围导航问题,研制了一个由地图编辑器模块、地图匹配与定位模块以及多层递阶规划模块三部分组成的移动机器人导航系统．地图编辑器负责导航地图的编辑;地图匹配与定位模块利用里程计和激光雷达数据实现基于地图匹配的自定位;多层递阶规划模块将基于拓扑地图的全局规划、基于栅格地图的局部规划和底层的行为控制功能有机结合．通过室内定位和大范围导航实验评估了本系统的有效性和准确性．     

景像匹配辅助导航系统中的图像匹配算法研究

图像匹配算法是景像匹配辅助导航系统的核心，而且其性能决定了系统的总体性能，为了提高景像匹配辅助导航系统导航的实时性和精度，就必须选用合适的图像匹配算法，为此，给出了一种快速有效的基于图像特征的图像匹配算法，该算法选用部分Hausdorff距离作为图像匹配时的相似性度量，并利用图像特征提取后的二值化图像进行图像匹配，同时在联合了3种图像匹配加速技术的基础上，将邻域技术引入到图像匹配搜索终止条件中，从而大大提高了图像匹配效率。仿真结果表明，该算法可以保证图像匹配的鲁棒性和有效性，同时，能有效克服图像噪声和几何畸变的影响。该算法实施景像匹配能够在5s以内完成，并与GPS输出周期(1s)相当，可以满足景像匹配辅助导航系统匹配导航的准确性和实时性的性能要求。