LimSim++：多模态大模型在自动驾驶中的新舞台

---

论文名称：limsim++: a closed-loop platform for deploying multimodal llms in autonomous driving

项目主页：https://pjlab-adg.github.io/limsim_plus/

*器简介

随着多模态大语言模型（(M)LLM）在人工智能领域掀起研究热潮，其在自动驾驶技术中的应用逐渐成为关注的焦点。这些模型通过强大的广义理解和逻辑推理能力，为构建安全可靠的自动驾驶系统提供了有力支持。虽然已有闭环*平台如HighwayEnv、CARLA和NuPlan等，能够验证LLM在自动驾驶中的表现，但用户通常需要自行适配这些平台，这不仅提高了使用门槛，也限制了LLM能力的深入挖掘。

为了克服这一挑战，上海人工智能实验室的智能交通平台组推出了**LimSim++**，这是一款专为(M)LLM设计的自动驾驶闭环*平台。LimSim++的推出，旨在为自动驾驶领域的研究者提供一个更加适宜的环境，以全面探索LLM在自动驾驶技术中的潜力。该平台能够提取并处理来自SUMO和CARLA等*环境的场景信息，将其转化为LLM所需的多种输入形式，包括图像信息、场景认知和任务描述。此外，LimSim++还具备运动原语转换功能，能根据LLM的决策快速生成合适的行驶轨迹，实现闭环*。更重要的是，LimSim++为LLM创造了一个持续学习的环境，通过评估决策结果并提供反馈，帮助LLM不断优化驾驶策略，提高Driver Agent的驾驶性能。

*器特点

LimSim++在自动驾驶*领域具有显著特点，为(M)LLM驱动的Driver Agent提供了理想的闭环*和持续学习环境。

• LimSim++支持多种驾驶场景的模拟，如十字路口、匝道和环岛等，确保Driver Agent能够在各种复杂路况下接受挑战。这种多样化的场景设置有助于LLM获取更丰富的驾驶经验，提高其在真实环境中的适应能力。
• LimSim++支持多种模态输入的大语言模型。LimSim++不仅提供基于规则的场景信息生成，同时可以与CARLA联调，能够提供丰富的视觉输入，满足(M)LLM在自动驾驶中的视觉感知需求。
• LimSim++注重持续学习能力。LimSim++集成了评估、反思和记忆等模块，帮助(M)LLM在*过程中不断积累经验，优化决策策略。

创建属于自己的Driver Agent

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

SCISPACE

AI论文研究助手，探索和解释论文的平台

65 查看详情

LimSim++为用户提供了丰富的接口，可以满足Driver Agent的定制需求，提高了LimSim++开发的灵活性，并且降低了使用门槛。

1. Prompt构建

• LimSim++支持用户自定义prompt，从而改变输入给(M)LLM的文本信息，包括角色设置、任务要求、场景描述等信息。
• LimSim++提供了基于json格式的场景描述模板，支持用户零代码进行prompt的修改，无需考虑信息提取的具体实现。

2. 决策评估模块

• LimSim++提供了对(M)LLM决策结果进行评估的baseline，用户可以通过改变权重参数来调节评价偏好。

3. 框架的灵活性

• LimSim++支持用户为(M)LLM添加自定义的工具库，例如感知工具、数值处理工具等等。

快速上手

• Step 0:安装SUMO（Version≥v1.15.0,  ubuntu）

sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc

• Step 1：下载LimSim++源码压缩包，解压后切换到正确分支

git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus

• Step 2:安装依赖 (要求装有conda)

cd LimSimconda env create -f environment.yml

• Step 3: 运行*

• 单独运行*

python ExampleModel.py

• 使用LLM进行自动驾驶

export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py

• 使用VLM进行自动驾驶

# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py

更多内容请查看LimSim++的github：https://github.com/PJLab-ADG/LimSim/tree/LimSim_plus，如有其他疑问请在GitHub的Issues中提出或直接邮件联系我们！

欢迎学术界和工业界小伙伴共同开发LimSim++，共建开源生态！

以上就是LimSim++：多模态大模型在自动驾驶中的新舞台的详细内容，更多请关注其它相关文章！

# 的是  # 境外营销推广公司排名榜  # 安丘网站优化工具哪家好  # 乐陵高端网站建设  # 颠覆式seo下载  # 全网推广出名乐云seo  # 黄浦网站推广有哪些  # 网站推广软件推 荐乐云seo  # 佛山营销网站建设咨询  # 地域词seo  # 关于门户网站建设的通知  # 这是  # 智能  # 自己的  # 自定义  # 开源  # 丰田  # 上海  # 中国科学院  # 多模  # 闭环  # fig  # 驾驶 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 羊驼家族大模型集体进化！32k上下文追平GPT-4，田渊栋团队出品  传Meta 2025年推出首款AR眼镜，采用军用级别材料，计划生产1000台  美图公司影像节或发布AI设计新品  广州团建公司方案 | 绝密飞行 → X-PLANE无人机团建主题团建  探索人工智能在物联网领域的影响与改变  AMD在AI方面奋起直追，与英伟达的差距缩小了吗？  DreamAvatar数字人在哪里下载  昇腾AI大模型训推一体化解决方案将在WAIC发布  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  AI 助手 Copilot 上线，微软 Win11 Dev 预览版 Build 23493 发布  今年，全球客服中心支出将增长 16.2%，迎接对话式 AI 的浪潮，根据 Gartner 报告  科普：什么是AI大模型  华为云天筹AI求解器荣获世界人工智能大会最高奖  OpenAI 向所有付费 API 用户开放 GPT-4  新华社联合北大发布AI大模型评测：安全可靠成重点，360智脑表现优异  开创全新虚拟现实体验的Pimax Crystal VR头显  AI行业盛会大咖云集！Sam Altam、“AI教父”......一文看懂最新观点  IBM CEO克里希纳：人工智能潜在创新无法被监管  英特尔张宇：边缘计算在整个AI生态系统中扮演重要角色  OpenAI宣布在伦敦设立海外分部，要招揽“世界级人才”  上影节直击 | AI技术降低了短片拍摄门槛？金爵奖评委不赞同  大模型的“黄金搭档”来了！腾讯云正式发布AI原生向量数据库，提供10亿级向量检索能力  抛媚眼给瞎子看？微软、谷歌的AI广告被广告主抵制  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  Meta推出VR订阅服务Quest +：每月免费玩两款游戏，7.99美元/月  一文读懂自动驾驶的激光雷达与视觉融合感知  全媒封面丨⑤商汤科技：原创AI算法“发电厂”  V社谈AI制作游戏被ban：为确保开发者有素材所有权  组建团队，字节跳动要造机器人？  DreamAvatar数字人使用教程  马斯克讽刺人工智能炒作：什么“机器学习”，其实就是统计  一图速览 | 十大脑机接口关键技术发布  图灵奖得主Hinton：我已经老了，如何控制比人类更聪明的AI交给你们了  人工智能助力精准学习，猿辅导小猿学练机满足学生个性化学习需求  生成式AI对云运维的3大挑战  优地网络助力新媒体拥抱人工智能时代  Stability AI 推出文生图模型 SDXL0.9，GPU要求下探至消费级水平  加州用AI监测野火：1032个摄像头联网扫描森林异常  映宇宙集团执行总编辑：元宇宙还是要以人为媒介  微盟宣布联合腾讯云共建行业大模型：加快激活AI大模型智能应用  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  西班牙小鲜肉*视频在网上疯传，本人发文澄清：是AI换脸的假视频！  昇思开源社区理事会成立，基于昇思AI框架的全模态大模型“紫东.太初2.0”发布  微软和谷歌面临的人工智能困境：需要投入大量资金才能获得盈利  清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！  MiracleVision视觉大模型  猿编程参加人工智能高峰论坛，推动人工智能教育解决方案在千所学校推行  “智能体动作生成技术”现身WAIC：游戏AI技术为机器人科创注入新动力  AMD称下半年AI显卡供应充足，不需要像NVIDIA那样加价抢购  NTU、上海AI Lab整理300+论文：基于Transformer的视觉分割最新综述出炉 

 2024-03-12