复杂车路环境下自动驾驶车辆换道仿真研究

自动驾驶车辆换道决策的算法设计对确保自动驾驶车辆的安全平稳运行至关重要.在现有研究基础上,综合考虑了换道车辆与原车道、目标车道前后多辆车的冲突关系,通过引入车辆侵略系数建立复杂路况下的多人动态博弈模型,以寻找自动驾驶车辆在复杂车路环境下的换道决策以及轨迹线规划的最佳策略.随后,通过NGSIM(Next Generation Simulation)数据探究车辆行驶特性,得到车辆侵略系数的准确分布,搭建仿真环境,给出本模型下自动驾驶车辆在不同路况中的策略选择以及对应的轨迹线示意,并将结果与其它模型求得结果进行比较.根据仿真结果,上述算法有效地完成了自动驾驶车辆在复杂车路环境下换道的关键技术问题,可为自动驾驶车辆的换道决策提供一定的技术指导.     

自动驾驶车辆在无信号交叉口右转驾驶决策技术研究

利用深度强化学习（deep reinforcement learning,DRL）技术实现自动驾驶决策已成为国内外研究热点,现有研究中的车辆交通流缺乏随机性与真实性,同时自动驾驶车辆在环境中的有效探索具有局限性。因此利用TD3算法进行自动驾驶车辆在无信号交叉口下的右转驾驶决策研究,首先在Carla仿真平台中开发无信号交叉口的训练与测试场景,并添加交通流管理功能,提高系统训练和测试随机性。其次,为了提高自动驾驶车辆的探索性,对TD3算法中的Actor网络进行改进,为目标动作添加OU噪声。最后使用通行成功率和平均通行时间评估指标评价自动驾驶行为决策。结果表明,在不同交通流场景下,改进后的TD3算法通行成功率与基于DDPG算法控制的车辆相比平均提升6.2%,与基于规则的AEB模型相比平均提升23%。改进后的TD3算法不仅能够探索更多可能,而且其通行决策表现更加突出。     

自动驾驶安全挑战：行为决策与运动规划

在自动驾驶技术发展中，安全性一直作为首要因素被业界重视.行为决策与运动规划系统作为该技术的关键环节，对智慧属性具有更高要求，需要不断地随着环境变化做出当前的最优策略与行为，确保车辆行驶过程中的安全.文中分别对行为决策和运动规划系统进行深层次阐述，首先，介绍行为决策中基于规则的决策算法、基于监督学习的决策算法、基于强化学习的决策算法的算法理论及其在实车中的应用.然后，介绍运动规划中基于采样的规划算法、基于图搜索的规划算法、基于数值优化的规划算法和基于交互性的规划算法，并对算法的设计展开讨论，从安全角度分析行为决策和运动规划，对比各类方法的优缺点.最后，展望自动驾驶领域未来的安全研究方向及挑战.     

基于深度强化学习的无信号灯交叉路口车辆控制

利用深度强化学习技术实现无信号灯交叉路口车辆控制是智能交通领域的研究热点。现有研究存在无法适应自动驾驶车辆数量动态变化、训练收敛慢、训练结果只能达到局部最优等问题。文中研究在无信号灯交叉路口,自动驾驶车辆如何利用分布式深度强化方法来提升路口的通行效率。首先,提出了一种高效的奖励函数,将分布式强化学习算法应用到无信号灯交叉路口场景中,使得车辆即使无法获取整个交叉路口的状态信息,只依赖局部信息也能有效提升交叉路口的通行效率。然后,针对开放交叉路口场景中强化学习方法训练效率低的问题,使用了迁移学习的方法,将封闭的8字型场景中训练好的策略作为暖启动,在无信号灯交叉路口场景继续训练,提升了训练效率。最后,提出了一种可以适应所有自动驾驶车辆比例的策略,此策略在任意比例自动驾驶车辆的场景中均可提升交叉路口的通行效率。在仿真平台Flow上对TD3强化学习算法进行了验证,实验结果表明,改进后的算法训练收敛快,能适应自动驾驶车辆比例的动态变化,能有效提升路口的通行效率。     

基于强化学习的自动驾驶汽车路径规划方法研究综述

路径规划作为自动驾驶的关键技术,具有广阔的应用前景和科研价值。探索解决自动驾驶车辆路径规划问题的方法,着重关注基于强化学习的路径规划方法。在阐述基于常规方法和强化学习方法的路径规划技术的基础上,重点总结了基于强化学习和深度强化学习来解决自动驾驶车辆路径规划问题的算法,并将算法按照基于值和基于策略的方式进行分类,分析各类算法的特点、优缺点及改进措施。最后对基于强化学习的路径规划技术的未来发展方向进行了展望。     

基于改进DDPG算法的车辆低速跟驰行为决策研究

车辆跟驰行为决策研究对于车辆跟驰驾驶技术的发展至关重要,以深度强化学习方法研究车辆低速跟驰场景,提出了一种改进型DDPG决策算法,该算法在DDPG算法的基础上,结合了CBF控制器以进行安全补偿控制与策略探索指导;同时,设计了符合低速跟驰期望目标的奖励函数。在对比实验中,通过高斯过程模型模拟跟驰车队系统,分别用DDPG算法和DDPG-CBF改进算法控制其中一辆车的跟驰行为,实验结果表明,相比于DDPG算法,DDPG-CBF改进算法可以更有效地保证跟驰决策的安全性,同时具有更高的学习效率,能够应用于车辆低速跟驰场景。     

强化学习的自动驾驶控制技术研究进展

自动驾驶车辆的本质是轮式移动机器人,是一个集模式识别、环境感知、规划决策和智能控制等功能于一体的综合系统。人工智能和机器学习领域的进步极大推动了自动驾驶技术的发展。当前主流的机器学习方法分为：监督学习、非监督学习和强化学习3种。强化学习方法更适用于复杂交通场景下自动驾驶系统决策和控制的智能处理,有利于提高自动驾驶的舒适性和安全性。深度学习和强化学习相结合产生的深度强化学习方法成为机器学习领域中的热门研究方向。首先对自动驾驶技术、强化学习方法以及自动驾驶控制架构进行简要介绍,并阐述了强化学习方法的基本原理和研究现状。随后重点阐述了强化学习方法在自动驾驶控制领域的研究历史和现状,并结合北京联合大学智能车研究团队的研究和测试工作介绍了典型的基于强化学习的自动驾驶控制技术应用,讨论了深度强化学习的潜力。最后提出了强化学习方法在自动驾驶控制领域研究和应用时遇到的困难和挑战,包括真实环境下自动驾驶安全性、多智能体强化学习和符合人类驾驶特性的奖励函数设计等。研究有助于深入了解强化学习方法在自动驾驶控制方面的优势和局限性,在应用中也可作为自动驾驶控制系统的设计参考。     

基于深度强化学习的无信号灯路口决策研究

无信号灯左转路口是自动驾驶场景中最为危险的场景之一,如何实现高效安全的左转决策是自动驾驶领域的重大难题。深度强化学习(DRL)算法在自动驾驶决策领域具有广阔应用前景。但是,深度强化学习在自动驾驶场景中存在样本效率低、奖励函数设计困难等问题。提出一种基于专家先验的深度强化学习算法(CBAMBC SAC)来解决上述问题。首先,利用SMARTS仿真平台获得专家先验知识;然后,使用通道-空间注意力机制(CBAM)改进行为克隆(BC)方法,在专家先验知识的基础上预训练模仿专家策略;最后,使用模仿专家策略指导深度强化学习算法的学习过程,并在无信号灯路口左转决策中进行验证。实验结果表明,基于专家先验的DRL算法比传统的DRL算法更具优势,不仅可以免去人为设置奖励函数的工作量,而且可以显著提高样本效率从而获得更优性能。在无信号灯路口左转场景下,CBAM-BC SAC算法与传统DRL算法(SAC)、基于传统行为克隆的DRL算法(BC SAC)相比,平均通行成功率分别提高了14.2和2.2个百分点。     

动态条件模仿学习自动驾驶算法研究

针对自动驾驶领域当前条件模仿学习模型在动态环境下表现较差的问题,提出了一种使用LSTM网络融合历史视觉信息的动态条件模仿学习模型DCIL(Dynamic Conditional Imitation Learning)。首先DCIL通过残差网络Resnet34进行环境感知得到图像特征,再将连续的4帧历史图像特征通过LSTM网络进行特征融合,得到动态环境的特征向量。针对不同的导航条件,使用不同的决策网络预测车辆速度和方向盘角度;最后使用比例积分控制模型控制车速。在自动驾驶仿真平台CARLA上的测试结果表明DCIL与经典模仿学习方法相比,自动驾驶水平大幅提高,动态环境下避障能力显著增强。     

城市交叉口车辆速度与交通信号协同优化控制

为了降低城市交通中的行车延误与燃油消耗,针对人类驾驶车辆与自动驾驶车辆混合交通环境,提出一种基于交通信息物理系统(TCPS)的车辆速度与交通信号协同优化控制方法.首先,综合考虑路口交通信号、人类驾驶车辆、自动驾驶车辆三者之间的相互影响,设计一种适用于自动驾驶车辆与人类驾驶车辆混合组队特性的过路口速度规划模型;其次,针对车辆速度规划单一应用时的局限性,即无法减少车辆路口通行延误且易出现无解情况,提出一种双目标协同优化模型,能够综合考虑车辆速度规划与路口交通信号控制,同时降低车辆燃油消耗与路口平均延误.由于双目标优化问题求解的复杂性,设计一种遗传算法-粒子群算法混合求解策略.基于SUMO的仿真实验验证了所提出方法的有效性.     

基于多目标协同演化算法的大规模自动驾驶策略

目前无人驾驶技术领域的研究重点主要集中在单车层面的感知、决策与控制,而缺少对多车 之间交互及博弈的研究,因此无法有效降低交通系统整体事故率并提升通行效率。该文提出一种基于 合作博弈理论的大规模自动驾驶策略涌现方法。通过建立面向网联汽车、多目标优化决策的合作博弈 演化平台,并构造了一种网格道路模型和车辆运动学模型,使得系统中各车辆之间以近邻博弈的方式 进行交互;同时系统采用分布式算法并具有间接交互的特点,最终模型计算复杂度与模拟车辆规模呈 线性关系。实验结果表明,最佳策略涌现后,事故率和平均速度均取得明显改善,其中事故率降低了 90%,模型计算速度提升了 30%。该方法可应用于包含数百万辆自动驾驶汽车的城市级智能交通规划 系统中。     

基于深度学习的智能车辆辅助驾驶系统设计

为帮助驾驶员在夜间行车时确认前方路况,设计了保证自己及他人出行安全的车载夜视辅助驾驶系统。通过构建深度学习神经网络算法,将经预处理得到的车辆周围图像作为神经网络的输入数据,经逐层训练与调参得到离线网络运算,从实时图像数据中提取障碍物的特征信息与运动情况。通过驾驶车辆上采集设备探测反馈行车轨迹环境,正确识别车辆所处的环境状态,进而提醒驾驶员,并帮助车辆面对突如其来的危险时采取正确行驶决策,避免事故的发生。     

基于模糊神经元网络的智能车辆个性自动驾驶系统的设计与实现

介绍了一种利用模糊神经元网络实现车辆自动驾驶的设计方案.其基本设计思想 是首先通过模糊逻辑描述驾驶者的驾驶行为,然后利用驾驶者实际驾驶时采集的车辆运行情 况作为训练数据,通过神经元网络的自学习功能修改和改进模糊控制所需的输入/输出信 号的隶属度函数以及模糊推理的运算关系,做到简单控制实现与复杂学习算法的有效结合, 从而实现模糊神经元控制.本方案为智能车辆实现个性化自主或辅助自动驾驶提供了一种非 常有效的机制.     

基于深度递归强化学习的无人自主驾驶策略研究

提出了一种基于递深度递归强化学习的自动驾驶策略模型学习方法,并在TORCS虚拟驾驶引擎进行仿真验真。针对Actor-Critic框架过估计和更新缓慢的问题,结合clipped double DQN,通过取最小估计值的方法缓解过估计的情况。为了获取多时刻状态输入以帮助智能体更好的决策,结合递归神经网络,设计出包含LSTM结构的Actor策略网络的Critic评价网络。在TORCS平台仿真实验表明,所提算法相对与传统DDPG算法能有效提高训练效率。     

一种自动驾驶车的环境感知系统

我们提出了一种自动驾驶车辆环境感知方案,此方案支持车辆在特定路况的自动驾驶功能,方案中采用毫米波雷达实现障碍物距离、速度及方位探测;采用摄像头实现车道线及车辆识别;应用激光雷达实现道路边沿及其他障碍物目标探测,通过超声波雷达感知车辆近距离目标,通过GPS/IMU实现车辆的精准定位,此方案通过实车验证,满足实际自动驾驶环境感知应用需求。     

D-S证据理论在驾驶行为决策中的应用

利用仿生学原理、D-S证据理论、模糊数学知识和产生式规则,研究了一种决策级多传感器信息融合算法。经仿真验证,此算法实时性好,能表示驾驶员的不确定性经验知识,克服其认知局限性,模拟其驾驶行为决策,快速、准确地确定车辆的运行模式,在一个或多个传感器失效的情况下也能保证一定的综合性能,具有良好的容错能力。同时,该研究也为智能车辆自动驾驶系统的仿真及实现提供了基础性理论依据。     

虚拟驾驶员决策行为模型研究

驾驶决策行为是驾驶行为研究的重要内容.为提高驾驶决策行为建模与仿真的可信度,提出了基于分层的驾驶员决策行为模型.将驾驶决策分为策略层、方法层、行动层和车辆控制层四个层次.重点对驾驶员行动层的决策行为进行实现.使用两点法和PID方法相结合,计算车辆转向角度,使用反应点跟车模型计算车辆纵向行驶速度.通过驾驶员跟车行为仿真,分析了跟车行为模型的稳定性和逼真性,说明了驾驶员决策行为模型的可信性,使驾驶行为模型的输出更加真实.     

V2X异构车载网络下智能任务卸载策略研究

随着自动驾驶技术的迅速发展,车辆日益增长的处理需求与资源受限的车载处理器之间的矛盾日渐突出.车载边缘计算的出现解决了车载资源的物理限制,增强了单个车辆的计算能力.然而,由于车载服务通常具有时延敏感性,如何选择合适的通信接入技术,更好地满足自动驾驶场景中时延要求便成为一个挑战性难题.鉴于此,综合考虑两种V2X通信接入技术,即短距通信(DSRC)和基于蜂窝网的车载通信(C-V2X),提出一种V2X异构车载网络任务卸载模型.首先分析车辆移动性特征,并对车载资源进行虚拟化处理;然后基于半马尔科夫决策过程原理对任务卸载问题进行建模,分别制定状态、动作、奖励和转移概率;最后基于强化学习智能算法获取最优任务卸载策略,并通过大量数值仿真实验验证其任务卸载性能优于贪婪算法.     

自动驾驶的自适应解析模糊控制方法研究

该文在Michael等人提出的车辆系统动力学模型犤7犦的基础上进行自动驾驶的仿真研究,提出了基于模糊控制的车辆驾驶算法。通过构造自适应的解析模糊控制器,空旷道路的汽车自动驾驶问题得到了较好的解决。该控制算法具有收敛快、超调小,准确调整定位巡航速度并根据路况信息自动矫正方向、沿指定路线前进等特点。这种算法不但可以应用于车辆辅助安全驾驶系统,也可以应用于机器人的自主导航等方面。     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。