真实、可控、可拓展，自动驾驶光照*平台LightSim上新了

---

最近，waabi ai、多伦多大学、滑铁卢大学和麻省理工的研究者们在neurips 2025上提出了一个全新的自动驾驶光照*平台lightsim。研究者们提出了一种从真实数据中生成配对光照训练数据的方法，解决了数据缺失和模型迁移损失的问题。lightsim利用神经辐射场（nerf）和基于物理的深度网络渲染车辆驾驶视频，首次在大规模真实数据上实现了动态场景的光照*

Scenario

一个AI生成游戏资产的工具

56 查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 项目网站：https://waabi.ai/lightsim
• 论文链接：https://openreview.net/pdf?id=mcx8IGneYw

为什么需要自动驾驶光照*？

在机器人技术中，相机*是非常重要的，特别是对于自动驾驶车辆感知室外场景来说。然而，现有的相机感知系统在遇到未经训练的室外照明条件时表现不佳。通过使用相机模拟来生成多样的室外照明变化数据集，可以提升自动驾驶系统的稳定性

常见的相机*方法一般基于物理引擎。这种方法通过设定 3D 模型和照明条件来渲染场景。但往往*效果缺乏多样性且不够逼真。此外，由于高质量的 3D 模型数量有限，并且物理渲染结果与真实世界场景不完全匹配。这导致训练模型在真实数据上的泛化能力较差。

另一种方法是基于数据驱动的*方法。这种方法利用神经渲染技术重构真实世界的数字孪生，以复制传感器观测到的数据。通过这种方法，我们可以更加灵活地创建场景并提高真实感。然而，目前的技术将场景的照明信息嵌入到3D模型中，这样就限制了对数字孪生的编辑，比如改变照明条件或添加、删除物体等操作

在 NeurIPS 2025 的一篇工作中，来自 Waabi AI 的研究者们展示了一个基于物理引擎和神经网络的光照*系统 LightSim: Neural Lighting Simulation for Urban Scenes.

与以往工作不同，LightSim能够同时实现以下几点：

1. 真实（realistic）: 首次做到对大规模室外动态场景进行光照*，并且可以较为准确地模拟阴影、物体间的光照效果等。

2. 可控（controllable）：支持动态驾驶场景的编辑（增添、删除物体、相机位置和参数、改变光照、生成安全关键场景等），从而生成更逼真且一致性更强的视频来提升系统对于光照和边缘情况的鲁棒性。

3. 可扩展 (scalable): 方便扩展到更多的场景和不同数据集中，只需要采集一次数据（single pass), 就能重新建构并进行真实可控的*测试。

*系统的搭建

第一步：构建真实世界的可重新照明数字孪生体

为了在数字世界中重建自动驾驶场景，LightSim 首先从采集的数据中划分动态物体和静态场景。这一步使用了 UniSim 来重建场景，并在网络中移除了相机视角依赖。再使用 marching cube 得到 geometry, 并进一步转换为带有基本材料的 mesh。

除了材料和几何，LightSim 还能够根据室外白天场景的主要光源太阳和天空，估算室外照明，得到高动态范围的环境图（HDR Sky dome）。借助传感器数据和提取的几何体，LightSim 可以估算出一个不完整的全景图像，然后补全它，获得一个全方位 360° 的天空视图。从而利用这个全景图像和 GPS 信息生成 HDR 环境图，准确估算出太阳强度、太阳方向和天空外观。

重述内容：第二步骤是进行动态城市场景的神经照明*

在得到数字孪生体后，可以进一步对其进行修改，例如增加或移除物体，改变车辆轨迹或更改照明等，以生成增强现实的表征。LightSim 将执行基于物理的渲染，生成有关修改场景的照明相关数据，如基本色彩、深度、法向量和阴影。利用这些与照明相关的数据以及对场景源和目标照明条件的估算，LightSim 的工作流程如下所示。

尽管基于物理的渲染图像能够很好地重建场景中的照明效果，但由于几何形状的不完美以及材料/照明分解中的误差，渲染结果往往缺乏真实感，例如模糊、不真实的表面反射和边界伪影。因此，研究人员提出了增强真实感的神经延迟渲染。他们引入了一个图像合成网络，该网络利用预计算缓冲区中的源图像和渲染引擎生成的照明相关数据，生成最终的图像。同时，论文中的方法还为网络提供了环境图，以增强照明上下文，并通过数字孪生体生成了成对图像，提供了一种新颖的成对*和真实数据训练方案

*能力展示

改变场景的光照 (Scene Relighting)

LightSim 可以在新的光照条件下以时间一致的方式渲染同一场景。如视频所示，新的太阳位置和天空外观会导致场景的阴影和外观发生变化。

LightSim可以自动对场景进行批量重新照明。它可以从估计和真实的HDR环境图中生成与原场景相同的新的、时间一致的、3D感知的照明变化

影像修正 (Image Correction)

LightSim的照明表示是可编辑的，可以改变太阳的方向，从而更新与太阳光方向相关的照明变化和阴影。通过旋转HDR环境图并将其传递给神经延迟渲染模块，LightSim生成以下视频

LightSim还支持批量编辑阴影功能

光照感知角色插入 (Lighting-Aware Character Insertion)

除了修改照明之外，LightSim 还可以对不常见的对象（例如建筑障碍物）执行照明感知的添加。这些添加的对象可以更新物体的照明阴影、做到准确遮挡物体以及与整个相机配置的空间适配。

*迁移 (Generalization to nuScenes)

由于LightSim的神经延迟渲染网络是在多个驾驶视频上进行训练的，所以LightSim可以推广到新场景中。以下视频展示了LightSim在nuScenes中驾驶场景的泛化能力。LightSim可以为每个场景构建照明感知数字孪生，然后应用于在PandaSet上预训练的神经延迟渲染模型。LightSim的迁移性能良好，并且可以为场景重新照明提供较为鲁棒的解决方案

真实可控的相机*

综合以上展示的所有功能，LightSim 实现了可控、多样化且逼真的相机模拟。以下视频展示了 LightSim 的场景*性能。在视频中，一辆白色的车紧急变道至 SDV 车道，引入了新的路障，这使得白色车辆进入了产生一个全新的场景，在新场景的多种照明条件下 LightSim 生成的效果如下所示。

在下面的视频中，演示了一个新的实例。在现有的道路障碍中插入了新的障碍，并增加了一组新的车辆。通过使用LightSim进行*光照，使得新加入的车辆能够完美地融入到场景中

总结和展望

LightSim是一個可感知光照的相機模擬平台，提供處理大規模動態駕駛場景的服務。它能夠根據現實世界的數據構建可感知照明的數字孿生體，並對其進行修改，以創建具有不同物體布局、自動駕駛車視角的新場景。LightSim能夠模擬新的照明條件，實現多樣化、真實且可控的相機模擬，從而生成時間/空間一致的視頻。值得注意的是，LightSim還可以結合逆向渲染、天氣模擬等技術，進一步提升模擬性能

以上就是真实、可控、可拓展，自动驾驶光照*平台LightSim上新了的详细内容，更多请关注其它相关文章！

# 训练  # 上新  # 室外  # 提出了  # 所示  # 首次  # 重构  # 模型  # 这种方法  # 鞍山seo优化哪个便宜  # OK卡网站建设游戏推荐  # 珠海传媒推广招聘网站大全  # 做搜狗pc网站优化软件  # 海淀区常规网站建设指导  # 团队小型seo  # 长治网站外包建设费用  # 网站建设的理念是什么  # 做网站推广有必要吗  # 一言  # 排在  # 景中  # 高端时尚网站建设 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 联想首发AI PC于今年秋季，英特尔CEO确认AI PC时代来临  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  抢占新赛道 加快机器人产业集聚发展  “三夏”农忙保障用电，无人机高空巡视高压线  推动企业数字化转型升级！“松江智造”摘世界人工智能大会重磅奖项  国内首款大尺寸仿鸵双足机器人“大圣”亮相，穿戴红色战袍  Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码  人工智能大胆预测：银河系至少有2万个地球，36种外星文明  陈根：ChatGPT和人类合作开发机器人  人工智能和神经网络有什么联系与区别？  给小朋友最好的科技礼物：乐天派桌面机器人  国宝级文物“铜兽驮跪坐人顶尊铜像”完成模拟拼接，腾讯AI立功  ​日媒：AI高效解析纳斯卡地画  人工智能正在弥合认知和表达之间的鸿沟  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  静安大宁功能区企业云天励飞亮相2025世界人工智能大会，秀出AI硬实力！  湖北科技职业学院举行工业机器人及智能制造技术专精特新产业学院建设启动仪式  2025VR&AR显示技术峰会视频解析： 歌尔光学展示最新一代VR/AR光学模组  到中国科技馆体验“一滴油的奇妙旅行”，线上元宇宙展厅同步开启  助力人工智能产业高质量发展 龙岗区算法训练基地正式启用  阿里大文娱CTO郑勇：生成式AI将引发内容行业巨变，*制作机会挑战并存  复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐  标小智LOGO推出AI公司起名生成器“Name.GPT”  微软向美国政府提供GPT的大模型，安全性如何保证？  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景  美图秀秀发布7款AI产品：支持用户创作、商业创作  Meta 为打造元宇宙不惜下血本：VR 开发者年薪高达百万美元  Valve Index VR 头显销量下滑，上市四年的长青树渐失光彩  企业软件行业更将被AI全面重构！Moka李国兴：未来优秀组织和个人将一定是善于使用AI生产力的  「电子果蝇」惊动马斯克！背后是13万神经元全脑图谱，可在电脑上运行  优傲机器人的人机协作技术 助力中小企发展  马克龙密会AI专家，法国加入全球人工智能竞赛  用人工智能技术，亚马逊为用户生成产品评论摘要，帮助他们轻松选购  AI生成新闻网站数量激增，正在疯狂赚取广告收入  大语言模型的视觉天赋：GPT也能通过上下文学习解决视觉任务  用AI升级会议体验！思必驰多款会议产品亮相全球智博会！  两小时就能超过人类！DeepMind最新AI速通26款雅达利游戏  XREAL发布新款硬件XREAL Beam投屏盒子：可悬停AR空间屏  央视报道车载人机交互技术！MWC上海魅族表现亮眼，现场热火朝天  选对AI智能写作软件，让创作游刃有余！  清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳  国网辉南供电：无人机空中巡检 全力护航端午佳节  小米发布CyberDog2 - 他们的第二代仿生四足机器人展示  生成式AI引路产业加速来袭，微美全息探索“AIGC+虚拟人”融合应用  DeepMind推惊世排序算法，C++库忙更新！  游族AI创新院揭牌成立 推进AI赋能游戏业务  中兴通讯无人机高空基站助力北京门头沟受灾乡镇保障应急通信  AI绘画，还需要懂数学？  Moka AI产品后观察：HR SaaS迈进AGI时代  IBM将模拟计算用于人工智能，重塑AI计算 

 2023-12-15