开环端到端自动驾驶中自车状态是你所需要的一切吗？

---

原标题：is ego status all you need for open-loop end-to-end autonomous driving?

论文链接：https://arxiv.org/abs/2312.03031

代码链接：https://github.com/NVlabs/BEV-Planner

作者单位：南京大学 NVIDIA

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文思路：

端到端自动驾驶最近作为一个有前景的研究方向浮现出来，以全栈视角为目标寻求自动化。沿这条线，许多最新的工作遵循开环评估设置在 nuScenes 上研究规划行为。本文通过进行彻底的分析并揭示更多细节中的难题，更深入地探讨了这个问题。本文最初观察到，以相对简单的驾驶场景为特征的 nuScenes 数据集，导致在整合了自车状态(ego status)的端到端模型中感知信息的利用不足，例如自车的速度。这些模型倾向于主要依赖自车状态进行未来路径规划。除了数据集的局限性之外，本文还注意到当前的指标并不能全面评估规划质量，这导致从现有基准中得出的结论可能存在偏见。为了解决这个问题，本文引入了一个新的指标来评估预测的轨迹是否遵循道路。本文进一步提出了一个简单的基线，能够在不依赖感知标注的情况下达到有竞争力的结果。鉴于现有基准和指标的局限性，本文建议学术界重新评估相关的主流研究，并谨慎考虑持续追求最先进技术是否会产生令人信服的普遍结论。

主要贡献：

基于 nuScenes 的开环自动驾驶模型受到自车状态（速度、加速度、偏航角）的显著影响，这些因素在规划性能中起着关键作用。当自车状态参与其中时，模型的轨迹预测主要受其控制，可能导致对感知信息的利用减少。

现有的规划指标可能无法全面评估模型的实际表现。不同指标下模型的评估结果可能存在明显差异。因此，建议引入更多多样化和全面的指标来评估模型的性能，避免模型只在某些指标下表现优异而忽视其他潜在风险。

相较于在现有的 nuScenes 数据集上取得最先进性能，开发更适用的数据集和指标被认为是一项更为关键和紧迫的挑战。

论文设计：

端到端自动驾驶的目标是综合考虑感知和规划，以全栈方式实现[1, 5, 32, 35]。其基本动机在于将自动驾驶车辆（*）的感知视为实现目标（规划）的手段，而非过度依赖某些感知度量标准进行拟合。

与感知不同，规划通常更加开放式且难以量化[6, 7]。理想情况下，规划的开放式特性将支持闭环评估设置，在该设置中，其他代理可以对自车的行为做出反应，原始传感器数据也可以相应地变化。然而，到目前为止，在闭环模拟器中进行代理行为建模和真实世界数据模拟[8, 19]仍然是具有挑战性的未解决问题。因此，闭环评估不可避免地引入了与现实世界相当大的域差距(domain gaps)。

另一方面，开环评估旨在将人类驾驶视为真实情况，并将规划表述为模仿学习[13]。这种表述允许通过简单的日志回放，直接使用现实世界的数据集，避免了来自模拟的域差距(domain gaps)。它还提供了其他优势，例如能够在复杂和多样的交通场景中训练和验证模型，这些场景在模拟中经常难以高保真度生成[5]。因为这些好处，一个已经建立的研究领域集中于使用现实世界数据集的开环端到端自动驾驶[2, 12, 13, 16, 43]。

目前流行的端到端自动驾驶方法[12, 13, 16, 43]通常使用 nuScenes[2] 来进行其规划行为的开环评估。例如，UniAD[13] 研究了不同感知任务模块对最终规划行为的影响。然而，ADMLP[45] 最近指出，一个简单的MLP网络也能仅依靠自车状态(ego status) 信息，就实现最先进的规划结果。这激发了本文提出一个重要问题：

开环端到端自动驾驶是否只需要自车状态(ego status) 信息？

本文的答案是肯定的也是否定的，这考虑到了在当前基准测试中使用自车状态(ego status) 信息的利弊：

是。自车状态(ego status) 中的信息，如速度、加速度和偏航角，显然应有利于规划任务的执行。为了验证这一点，本文解决了AD-MLP的一个公开问题，并移除了历史轨迹真实值(GTs)的使用，以防止潜在的标签泄露。本文复现的模型，Ego-MLP（图1 a.2），仅依赖自车状态(ego status) ，并且在现有的L2距离和碰撞率指标方面与最先进方法不相上下。另一个观察结果是，只有现有的方法[13, 16, 43]，将自车状态(ego status) 信息纳入规划模块中，才能获得与 Ego-MLP 相当的结果。尽管这些方法采用了额外的感知信息（追踪、高清地图等），但它们并未显示出比 Ego-MLP 更优越。这些观察结果验证了自车状态(ego status) 在端到端自动驾驶开环评估中的主导作用。

不是。很明显，作为一个安全至关重要的应用，自动驾驶在决策时不应该仅仅依赖于自车状态(ego status) 。那么，为什么仅使用自车状态(ego status) 就能达到最先进规划结果的现象会发生呢？为了回答这个问题，本文提出了一套全面的分析，涵盖了现有的开环端到端自动驾驶方法。本文识别了现有研究中的主要缺陷，包括与数据集、评估指标和具体模型实现相关的方面。本文在本节的其余部分列举并详细说明了这些缺陷：

数据集不平衡。NuScenes 是一个常用的开环评估任务的基准[11–13, 16, 17, 43]。然而，本文的分析显示，73.9%的 nuScenes 数据涉及直线行驶的场景，如图2所示轨迹分布反映的那样。对于这些直线行驶的场景，大多数时候保持当前的速度、方向或转向率就足够了。因此，自车状态(ego status) 信息可以很容易地被作为一种捷径来适应规划任务，这导致了 Ego-MLP 在 nuScenes 上的强大性能。

现有的评估指标不全面。NuScenes 数据中剩余的26.1%涉及更具挑战性的驾驶场景，可能是规划行为更好的基准。然而，本文认为广泛使用的当前评估指标，如预测与规划真实值之间的L2距离以及自车与周围障碍物之间的碰撞率，并不能准确衡量模型规划行为的质量。通过可视化各种方法生成的众多预测轨迹，本文注意到一些高风险轨迹，如驶出道路可能在现有指标中不会受到严重惩罚。为了回应这一问题，本文引入了一种新的评估指标，用于计算预测轨迹与道路边界之间的交互率(interaction rate)。当专注于与道路边界的交汇率(intersection rates) 时，基准将经历一个实质性的转变。在这个新的评估指标下，Ego-MLP 倾向于预测出比 UniAD 更频繁偏离道路的轨迹。

Machine Translation

聚合多个来源的AI翻译

49 查看详情

自车状态(ego status)偏见与驾驶逻辑相矛盾。由于自车状态(ego status) 可能导致过拟合，本文进一步观察到一个有趣的现象。本文的实验结果表明，在某些情况下，从现有的端到端自动驾驶框架中完全移除视觉输入，并不会显著降低规划行为的质量。这与基本的驾驶逻辑相矛盾，因为感知被期望为规划提供有用的信息。例如，在 VAD [16] 中屏蔽所有摄像头输入会导致感知模块完全失效，但如果有自车状态(ego status) 的话，规划的退化却很小。然而，改变输入的自身速度可以显著影响最终预测的轨迹。

总之，本文推测，最近在端到端自动驾驶领域的努力及其在 nuScenes 上的最先进成绩很可能是由于过度依赖自车状态(ego status) ，再加上简单驾驶场景的主导地位所造成的。此外，当前的评估指标在全面评估模型预测轨迹的质量方面还不够。这些悬而未决的问题和不足可能低估了规划任务的潜在复杂性，并且造成了一种误导性的印象，那就是在开环端到端自动驾驶中，自车状态(ego status) 就是你所需要的一切。

当前开环端到端自动驾驶研究中自车状态(ego status) 的潜在干扰引出了另一个问题：是否可以通过从整个模型中移除自车状态(ego status) 来抵消这种影响？然而，值得注意的是，即使排除了自车状态(ego status) 的影响，基于 nuScenes 数据集的开环自动驾驶研究的可靠性仍然存疑。

图1。(a) AD-MLP 同时使用自车状态(ego status) 和过去轨迹的真实值作为输入。本文复现的版本（Ego-MLP）去掉了过去的轨迹。(b) 现有的端到端自动驾驶流程包括感知、预测和规划模块。自车状态(ego status) 可以集成到鸟瞰图（BEV）生成模块或规划模块中。(c) 本文设计了一个简单的基线以便与现有方法进行比较。这个简单的基线不利用感知或预测模块，而是直接基于 BEV 特征预测最终轨迹。

图2。(a) nuScenes 数据集中的自车轨迹热图。(b) nuScenes 数据集中的大多数场景由直行驾驶情况组成。

图3。当前方法[12, 13, 16]忽略了考虑自车的偏航角变化，始终保持0偏航角（由灰色车辆表示），从而导致假阴性（a）和假阳性（b）的碰撞检测事件增加。本文通过估计车辆轨迹的变化来估计车辆的偏航角（由红色车辆表示），以提高碰撞检测的准确性。

图4。本文展示了 VAD 模型（在其规划器中结合了自车状态(ego status) ）在各种图像损坏情况下的预测轨迹。给定场景中的所有轨迹（跨越20秒）都在全局坐标系统中呈现。每个三角形标记代表自车的真实轨迹点，不同的颜色代表不同的时间步。值得注意的是，即使输入为空白图像，模型的预测轨迹仍保持合理性。然而，红色框内的轨迹是次优的，如图5中进一步阐述的。尽管对所有环视图像都进行了损坏处理，但为了便于可视化，只显示了初始时间步对应的前视图像。

图5。在开环自动驾驶方法中，从自车的起始位置预测未来轨迹。在模仿学习范式内，预测轨迹理想情况下应该与实际的真实轨迹密切对齐。此外，连续时间步预测的轨迹应保持一致性，从而保证驾驶策略的连续性和平滑性。因此，图4 中红色框显示的预测轨迹不仅偏离了真实轨迹，而且在不同的时间戳上显示出显著的分歧。

图6。对于在其规划器中结合了自车状态(ego status) 的基于VAD的模型，本文在视觉输入保持恒定的情况下，向自车速度引入噪声。值得注意的是，当自车的速度数据被扰动时，结果轨迹显示出显著的变化。将车辆的速度设置为零会导致静止的预测，而速度为100米/秒会导致预测出不切实际的轨迹。这表明，尽管感知模块继续提供准确的周围信息，模型的决策过程过分依赖于自车状态(ego status) 。

图7。BEVFormer在 BEV查询的初始化过程中结合了自车状态(ego status) 信息，这是当前端到端自动驾驶方法[13, 16, 43]未曾涉及的细节。

图8。在 BEV-Planner++ 中引入自车状态(ego status) 信息使得模型能够非常快速地收敛。

图9。比较本文基线的 BEV特征与相应的场景。

实验结果：

论文总结：

本文深入分析了当前开环端到端自动驾驶方法固有的缺点。本文的目标是贡献研究成果，促进端到端自动驾驶的逐步发展。

引用：

Li Z, Yu Z, Lan S, et al. Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?[J]. arXiv preprint arXiv:2312.03031, 2025.

以上就是开环端到端自动驾驶中自车状态是你所需要的一切吗？的详细内容，更多请关注其它相关文章！

# 偏航  # 怎么入驻图库网站推广  # 配饰设计师网站建设  # 获客网站建设选择  # 营销推广中心效果图  # 天津网站推广简介报价  # 北京测量网站建设口碑好  # 长沙网站的优化  # seo怎么阻止长尾词  # 秦皇岛智能网站建设材料  # 小额信贷营销推广计划书  # 移除  # 自动驾驶  # 万元  # 华为  # 闭环  # 情况下  # 的是  # 最先进  # 你所  # 端到  # 模拟器  # 端到端 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 微软向美国政府提供GPT大模型，如何保证安全性？  零AI含量！纯随机数学无限生成逼真3D世界火了，普林斯顿华人一作  海南省公安机关警用无人机培训班结业并举行警航比武演练  学生作文评分的新趋势：教师与AI的合作模式  微软更新服务协议，以防止通过AI服务进行逆向工程和数据抓取  人工智能和神经网络有什么联系与区别？  AI 作画工具 Midjourney 推出“pan”功能，可平移扩展图片外场景  “思享荟”沙龙热议AIGC与元宇宙 复旦大学赵星畅谈深度数字化  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手  探索AI前沿理念 2025全球人工智能技术大会在杭州开幕  WPS AI 官网上线：可申请体验官资格，支持 Windows、安卓端下载  甲骨文与Cohere合作为企业提供生成式人工智能服务  人工智能驱动艺术，打开达利的超现实想象  【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  30+大模型齐聚，大模型成世界人工智能大会“顶流”  热点 | 人工智能黄金时代开启  周鸿祎：360智脑开放API接口 AI大模型将赋能百行千业  谷歌将使用公开信息训练 AI 模型，构建更强大的自家产品  新华社联合北大发布AI大模型评测：安全可靠成重点，360智脑表现优异  人工智能快速发展 打开就业新空间  美图秀秀发布7款AI产品：支持用户创作、商业创作  Moka发布AI原生HR SaaS产品“Moka Eva”，布局AGI时代  AI 冥想应用 Ogimi.ai 推出，可为用户提供教练级个性化指导  零数科技CTO兰春嘉：区块链与人工智能的结合点在数据  阿里云连续两年进入Gartner云AI开发者“挑战者象限”  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  Stability AI 推出文生图模型 SDXL0.9，GPU要求下探至消费级水平  Meta Connect 2025已确定时间为9月27-28，主题涵盖Quest 3与AI技术  AI教父Bengio：我感到迷失，对AI担忧已成「精神内耗」！  小艺主导智慧交互升级，借助AI大模型增强能力  WHEE网页地址入口  央广车联网亮相2025世界人工智能大会  前特斯拉总监、OpenAI大牛Karpathy：我被自动驾驶分了心，AI智能体才是未来！  聚焦人工智能大模型、AIGC 徐汇十余场重磅论坛等你来  映宇宙集团执行总编辑：元宇宙还是要以人为媒介  2025世界人工智能大会前沿科技共绘“未来”图景， 这家这家独角兽企业的通用大脑将在AI领域大放异彩  选对AI智能写作软件，让创作游刃有余！  最大助力35公斤 外骨骼机器人或在养老、医疗领域“大展身手”  “长沙造”无人机，领先的不止植保  Meta发布音频AI模型，仅需2秒片段模拟真人语音  提升工作效率的智能工具：Zapier 让工作变得更简单！  美图第二届影像节发布七款AI影像创作工具  阿里云全面支持Llama2训练部署，助力企业快速构建自有大型模型  金山办公：AI是重要的产品战略之一  AI 大模型重塑软件开发，有哪些落地前景和痛点？| ArchSummit  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  物联网和人工智能的协同作用：释放预测性维护的潜力  ChatGPT大更新！OpenAI奉上程序员大礼包：API新增杀手级能力还降价，新模型、四倍上下文都来了  百度举办AIGC创作沙龙，现场传授AI绘画“咒语”技巧  推动企业数字化转型升级！“松江智造”摘世界人工智能大会重磅奖项 

 2024-03-07