强化学习的自动驾驶控制技术研究进展

自动驾驶车辆的本质是轮式移动机器人,是一个集模式识别、环境感知、规划决策和智能控制等功能于一体的综合系统。人工智能和机器学习领域的进步极大推动了自动驾驶技术的发展。当前主流的机器学习方法分为：监督学习、非监督学习和强化学习3种。强化学习方法更适用于复杂交通场景下自动驾驶系统决策和控制的智能处理,有利于提高自动驾驶的舒适性和安全性。深度学习和强化学习相结合产生的深度强化学习方法成为机器学习领域中的热门研究方向。首先对自动驾驶技术、强化学习方法以及自动驾驶控制架构进行简要介绍,并阐述了强化学习方法的基本原理和研究现状。随后重点阐述了强化学习方法在自动驾驶控制领域的研究历史和现状,并结合北京联合大学智能车研究团队的研究和测试工作介绍了典型的基于强化学习的自动驾驶控制技术应用,讨论了深度强化学习的潜力。最后提出了强化学习方法在自动驾驶控制领域研究和应用时遇到的困难和挑战,包括真实环境下自动驾驶安全性、多智能体强化学习和符合人类驾驶特性的奖励函数设计等。研究有助于深入了解强化学习方法在自动驾驶控制方面的优势和局限性,在应用中也可作为自动驾驶控制系统的设计参考。     

动态条件模仿学习自动驾驶算法研究

针对自动驾驶领域当前条件模仿学习模型在动态环境下表现较差的问题,提出了一种使用LSTM网络融合历史视觉信息的动态条件模仿学习模型DCIL(Dynamic Conditional Imitation Learning)。首先DCIL通过残差网络Resnet34进行环境感知得到图像特征,再将连续的4帧历史图像特征通过LSTM网络进行特征融合,得到动态环境的特征向量。针对不同的导航条件,使用不同的决策网络预测车辆速度和方向盘角度;最后使用比例积分控制模型控制车速。在自动驾驶仿真平台CARLA上的测试结果表明DCIL与经典模仿学习方法相比,自动驾驶水平大幅提高,动态环境下避障能力显著增强。     

重载货运列车自动驾驶控制技术研究

传统的重载铁路货物运输主要采用人工控车为主,司机控车难度大、工作强度高。为进一步提升线路运量、节约成本、降低司机工作强度,文章提出了一种融合线路、信号的重载货运列车自动驾驶控制方法,其基于列车多质点动力学模型、阻力模型与空气制动模型,研究了基于实际线路信息、信号信息与列车信息等多约束条件下的目标曲线动态规划与控制技术;采用本文所提方法在西康线铁路进行了货运列车自动驾驶试验,成功完成了包含零速起车、加速控制、减速控制、贯通试验、过分相、停车到零等各个运行场景的全程自动驾驶。试验结果表明,本文所提方法可以有效实现货运列车自动驾驶。     

基于贝叶斯网络构建RoboSim模型的自动驾驶行为决策

为汽车自动驾驶提供安全高效的自动驾驶行为决策,是汽车自动驾驶领域面临的挑战性问题之一.目前,随着自动驾驶行业的蓬勃发展,工业界与学术界提出了诸多自动驾驶行为决策方法,但由于汽车自动驾驶行为决策受环境不确定因素的影响,决策本身也要求实效性及高安全性,现有的行为决策方法难以完全支撑这些要素.针对以上问题,提出了一种基于贝叶斯网络构建RoboSim模型的自动驾驶行为决策方法.首先,基于领域本体分析自动驾驶场景元素之间的语义关系,并结合LSTM模型预测场景中动态实体的意图,进而为构建贝叶斯网络提供驾驶场景理解信息;然后,通过贝叶斯网络推理特定场景的自动驾驶行为决策,并使用RoboSim模型的状态迁移承载行为决策的动态执行过程,以减少贝叶斯网络推理的冗余操作,提高了决策生成的效率. RoboSim模型具有平台无关、能模拟仿真执行周期的特点,并支持多种形式化的验证技术.为确保行为决策的安全性,使用模型检测工具UPPAAL对RoboSim模型进行验证分析.最后,结合变道超车场景案例,进一步证实所提方法的可行性,为设计安全、高效的自动驾驶行为决策提供了一种可行的途径.     

汽车智能辅助驾驶系统中的单目视觉导航技术

在智能交通系统中，自动驾驶系统或许是最难于实现的技术之一．许多学者努力 想找到解决自动驾驶这个难题的方法．本文介绍了一种新的思想和一些新的算法，它立足于 单目视觉技术来实现车道保持和进行障碍物检测，进而力图解决视觉导航问题．首先运用多 阈值分割技术提取高速公路上当前车道的分道线，接着对分道线建立了圆锥曲线模型进行二 维重建．在道路模型的约束下，笔者提出方向分形维的算法确定前方车辆的位置，进而运用 旋转，平移和缩放中心不变矩（RTM）判断其真伪，最后采用有色噪声的卡尔曼滤波对真实 障碍物进行跟踪．本系统不但能根据分道线模型获得保持车道所需的方向信息，也能检测本 车道前方障碍物而防止碰撞．系统在四川和重庆的高速公路上以每小时100公里的速度进行 了试验，能圆满完成车道保持和障碍物检测的任务．     

温度检测系统的非线性动态补偿研究

在温度测控系统中,对于温度传感器在测量时存在较大非线性动态偏移误差,提出基于参考模型的利用扩展卡尔曼滤波算法设计温度传感器的动态补偿的方法.用扩展卡尔曼滤波进行补偿器的参数辨识,从而得到比较精确的补偿器,因此温度传感器的动态偏移误差得到自动补偿.本文所设计的系统可以对温度进行有效的控制,且具有一定的鲁棒性和较好的响应速度.     

基于神经网络的自动驾驶模型及其虚拟实现

文章提出了一种基于人工神经网络的自动驾驶控制模型,并利用计算机虚拟技术模拟实现车辆的运行环境及其运行行为,并对自动驾驶控制模型进行了测试。试验表明这种自动驾驶模型能有效地指挥车辆的驾驶。     

网络数据动态传输与存储安全自动监测系统设计

为了提高网络数据动态传输与存储安全自动监测能力,进行监测系统优化设计,提出基于负载均衡调度和嵌入式总线传输控制的网络数据动态传输与存储安全自动监测系统设计方法。构建网络数据动态传输的信道均衡调度模型,采用随机线性均衡控制方法进行网络数据动态传输与存储过程中的信道自适应调度,提取网络数据动态传输过程中的模糊关联规则,采用自适应的链路转发控制方法进行网络数据动态传输与存储的安全监测和负载均衡调度。在嵌入式总线协议下进行网络数据动态传输与存储安全自动监测系统的软件开发设计。仿真结果表明,采用该方法进行网络数据动态传输与存储安全自动监测的稳定性较好,自适应控制能力较强,降低了网络数据动态传输的误比特率。     

时空轨迹数据驱动的自动驾驶场景元建模方法

时空轨迹数据驱动的汽车自动驾驶场景建模,是当前汽车自动驾驶领域中驾驶场景建模、仿真所面临的关键问题,对于提高系统的安全性具有重要研究意义.近年来,随着时空轨迹数据建模及应用研究的快速发展,时空轨迹数据应用于特定领域建模的研究引起人们的广泛关注.但由于时空轨迹数据所反映现实世界的多元性和复杂性以及时空轨迹数据的海量、异构、动态等特点,基于时空轨迹数据驱动的安全攸关场景建模的研究仍面临着挑战,包括：统一的时空轨迹数据元模型、基于时空轨迹数据的元建模方法、基于数据分析技术的时空轨迹数据处理、数据质量评价等.针对汽车自动驾驶领域的场景建模需求,我们提出一种基于MOF元建模体系构建时空轨迹数据的元建模方法,根据时空轨迹数据的特征及自动驾驶的领域知识,构建了面向汽车自动驾驶的时空轨迹数据元模型;并基于此,提出基于时空轨迹数据元建模技术体系的自动驾驶安全场景建模方法,并使用场景建模语言ADSML实例化安全场景,构建安全场景库,旨在为此类系统的安全关键场景建模提供一种可行的方案.结合变道超车场景的案例,展示了时空轨迹数据驱动的自动驾驶安全场景元建模方法的可用性,为场景模型的构建、仿真、分析奠定了基础.     

一种集中式智能农机自动导航驾驶控制器的设计与实现

智能农机自动导航驾驶技术属于当前精准农业领域的研究热点,该技术在工程化应用过程中,需要根据不同的工况频繁升级和更新软件,传统农机自动导航驾驶系统进行分模块设计,导致系统升级维护繁杂,核心技术分散,限制了该技术的应用推广。本文提出一种集中式的自动导航驾驶控制ECU设计架构,将自动导航驾驶系统所涉及的核心关键技术,如组合导航、路径自适应跟踪控制、人机交互等集成融合到ECU中进行集中式设计。经过场地测试,相比传统采用分立式的自动导航驾驶系统,在保持作业精度2.5cm的输出约束下,降低了系统复杂度,可靠性和集成度得到大幅提升。     

基于时间序列模型的超声信号滤波算法研究

针对超声波测量油井液面深度系统中,现有降噪滤波算法复杂,效果差的缺点,提出了基于时间序列模型和新息卡尔曼滤波相结合的新方法。利用时间序列分析法对动液面测量系统建立ARMA模型;基于卡尔曼滤波实时在线消除随机噪声的特性,设计了新息自适应卡尔曼滤波算法,并结合ARIMA模型以消除模型误差,实现了基于时间序列系统模型对系统特征状态的最优估计目的。该新型滤波方法已经在油田现场测试和运用,测试结果表明,算法实时、高效,滤波效果好,精度高,能满足实际工程应用。     

动态捷联惯导/多卫星组合导航自适应联邦滤波算法研究

研究了一种基于动态扰动的滤波算法,用以提高动态扰动情况下捷联惯导/多卫星组合导航系统 的精度和可靠性．该算法采用几何精度因子（GDOP）对量测噪声进行自适应调节,利用卡尔曼滤波器的新息 量对状态噪声协方差阵进行整体控制,同时根据具有时变特性的各子系统误差协方差阵对信息分配系数进行 自适应调节．通过对SINS/GPS/Galileo/北斗组合导航系统的仿真,分析对比了常规联邦滤波、Sage 自适应联邦 滤波和本文所提自适应联邦滤波算法．结果表明,该自适应联邦滤波算法能够有效抑制动态扰动,提高组合 导航系统的精度和可靠性．     

Wavelet modeling of contour deformations in Sobolev spaces for fitting and tracking applications

This paper proposes a new model for contour deformations using wavelets. This model uses Sobolev spaces to control the smoothness of the contour deformation. This formulation defines a probabilistic model that induces a prior distribution for contour deformation. Based on this distribution, the fitting problem is solved in Bayesian terms. The deformation model is also used to generate a prior dynamic model for contour evolution in time. This probabilistic model is then applied to solve the tracking problem. Computational results for several real-image problems are given for both the Kalman and condensation filters.     

Kalman filter control embedded into the reinforcement learning framework

There is a growing interest in using Kalman filter models in brain modeling. The question arises whether Kalman filter models can be used on-line not only for estimation but for control. The usual method of optimal control of Kalman filter makes use of off-line backward recursion, which is not satisfactory for this purpose. Here, it is shown that a slight modification of the linear-quadratic-gaussian Kalman filter model allows the on-line estimation of optimal control by using reinforcement learning and overcomes this difficulty. Moreover, the emerging learning rule for value estimation exhibits a Hebbian form, which is weighted by the error of the value estimation.     

Dynamic multivariate statistical process control using subspace identification

In this article, the monitoring of continuous processes using linear dynamic models is presented. It is outlined that dynamic extensions to conventional multivariate statistical process control (MSPC) models may lead to the inclusion of large numbers of variables in the condition monitor. To prevent this, a new dynamic monitoring scheme, based on subspace identification, is introduced, which can (1) determine a set of state variables for describing process dynamics, (2) produce a reduced set of variables to monitor process performance and (3) offer contribution charts to diagnose anomalous behaviour. This is demonstrated by an application study to a realistic simulation of a chemical process.     

航空发动机控制系统多传感器软故障检测研究

一般认为两个以上传感器同时发生故障的概率较小,但实际上不能排除其发生的可能性;提出了一种改进的多重故障假设方法来解决航空发动机控制系统多传感器同时发生软故障的问题,这一方法采用一组卡尔曼滤波器,每个滤波器对应一个被检测传感器的故障模态;采用残差加权二乘方处理滤波残差并与门限值作比较来判断是否发生故障;仿真结果表明,所提出的方法能有效解决多传感器软故障的检测与隔离问题.     

A model identification scheme for driver-following dynamics in road traffic

The driver-following, or car-following, model is one of the most fundamental driver behavior models that are applied in intelligent transport applications. Its fidelity determines the applicability of microscopic traffic simulators, where the model is often implemented to mimic real traffic. Meanwhile, the behavioral model is fundamental to the development of advanced driving assistance systems (ADAS). This paper develops a dynamic model identification approach based on iterative usage of the extended Kalman Filtering (EKF) algorithm. Among other things, this allows to carry out model identification using a rather general optimization objective on the whole physical states of the following vehicle. In particular, the method is established on the basis of the equivalence between the Kalman filter and the recursive least squares (RLS) method in a specific context of parameter identification. To illustrate the method, two car-following models are studied in numerical experiments using real car-following data. The method has shown advantages in replication and prediction of vehicle dynamics in car-following over the conventional approaches. It has also the potential to be further extended for building tactical driving controllers in intelligent transportation applications.     

基于UKF滤波的测向定位算法及性能分析

基于传统的The Unscented Kalman Filter(UKF)滤波算法,提出了一种新的改良后的UKF滤波算法.该算法直接选用动态模型中的状态变量,并增加一个再抽样过程,使得计算量更小,实现更简单.将改良后的UKF滤波算法应用到单站无源定位的测向法中,得到优于The extended Kalman Filter(EKF)滤波的定位效果,大大提高了定位精度.计算机仿真实验表明,应用该改进后的UKF算法比以往EKF类算法在滤波性能上有明显的提高.但是由于测向法自身的局限性,即使应用改良后的UKF滤波,当方位角逐渐增大时,测向法的定位效果仍然会严重恶化.因此,所提出的新UKF算法适合在非线性估计等问题中广泛应用,但对于单站无源定位,则应探究更优越的定位算法来代替测向法.     

Real-time driving danger-level prediction

This paper introduces a driving danger-level prediction system that uses multiple sensor inputs and statistical modeling to predict the driving risk. Three types of features were collected for the research, specifically the vehicle dynamic parameter, the driver's physiological data and the driver's behavior feature. To model the temporal patterns that lead to safe/dangerous driving state, several sequential supervised learning algorithms were evaluated in the paper, including hidden Markov model, conditional random field and reinforcement learning. Experimental results showed that using reinforcement learning based method with the vehicle dynamic parameters feature outperforms the rest algorithms, and adding the other two features could further improve the prediction accuracy. Based on the result, a live driving danger-level prediction prototype system was developed. Compared to many previous researches that focused on monitoring the driver's vigilance level to infer the possibility of potential driving risk, our live system is non-intrusive to the driver, and hence it is very desirable for driving danger prevention applications. Subjective on-line user study of our prototype system gave promising results.     

应用轴距预描的主动悬架最优控制器设计

设计主动悬架的关键任务之一是寻找一个好的控制律，随机线性最优控制理论能为车辆提供良好的性能，得到了广泛的应用。轴距预描控制利用前轮处的路面信息作为预描变量对后轮进行控制，能充分发挥主动悬架的潜力。该文以悬架理论为基础，应用最优控制理论进行了结合轴距预瞄信息的主动悬架最优控制器的设计，并用一个卡尔曼滤波器估计系统状态。最后在MATLAB环境中建模和仿真，将有、无预描主动悬架系统的车身加速度、悬架动行程及车轮动位移3项指标进行了对比。仿真结果表明，采用轴距预描控制在低速情况下能较大改善后悬架系统的性能．验证了轴距预描控制的可行性。