SurroundOcc：环视三维占据栅格新SOTA！

---

在这个工作中，我们通过多帧点云构建了稠密占据栅格数据集，并设计了基于transformer的2d-3d unet结构的三维占据栅格网络。很荣幸地，我们的文章被iccv 2025收录，目前项目代码已开源，欢迎大家试用。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

arXiv：https://arxiv.org/pdf/2303.09551.pdf

代码：https://github.com/weiyithu/SurroundOcc

主页链接：https://weiyithu.github.io/SurroundOcc/

最近一直在疯狂找工作，没有闲下来写，正好最近提交了camera-ready，作为一个工作的收尾觉得还是写个知乎总结下。其实文章部分的介绍各个公众号写的已经很好了，也感谢他们的宣传，大家可以直接参考自动驾驶之心的自动驾驶之心：nuScenes SOTA！SurroundOcc：面向自动驾驶的纯视觉3D占据预测网络（清华&天大）。总的来说，contribution分为两块，一部分是如何利用多帧的lidar点云构建稠密occupancy数据集，另一部分是如何设计occupancy预测的网络。其实两部分的内容都比较直接易懂，大家有哪块不理解的也可以随时问我。那么这篇文章我想讲点论文之外的事情，一个是如何改进当前方案使其更加易于部署，另一个是未来的发展方向。

部署

一个网络是否易于部署，主要看其中有没有比较难在板端实现的算子，SurroundOcc这个方法里比较难搞的两个算子是transformer层以及3D卷积。

transformer的主要作用是将2D feature转换到3D空间，那么其实这部分也可以用LSS，Homography甚至mlp来实现，所以可以根据已实现的方案去修改这部分的网络。但据我所知，transformer的方案在几个方案里对calibration不敏感并且性能也比较好，建议有能力实现transformer部署的还是利用原有方案。

对于3D卷积来说，可以将其替换成2D卷积，这里需要将原来 (C, H, W, Z) 的3D feature reshape成（C* Z, H, W）的 2D feature，然后就可以用2D卷积进行特征提取了，在最后occupancy预测那步再把它reshape回(C, H, W, Z)，并进行监督。另一方面，skip connection由于分辨率比较大所以比较吃显存，部署的时候可以去掉只留最小分辨率那一层。我们实验发现3D卷积中的这两个操作在nuscenes上都会有些许掉点，但业界数据集规模要远大于nuscenes，有时候有些结论也会改变，掉点应该会少甚至不掉。

Narration Box

Narration Box是一种语音生成服务，用户可以创建画外音、旁白、有声读物、音频页面、播客等

68 查看详情

在数据集构建方面，最耗时的一步是泊松重建。我们使用的是nuscenes数据集，其中采用了32线激光雷达进行采集。即使使用了多帧拼接技术，我们发现拼接后的点云仍然存在许多洞。因此，我们采用了泊松重建来填补这些洞。然而，目前业界使用的许多激光雷达点云都比较密集，例如M1、RS128等。因此，在这种情况下，可以省略泊松重建这一步，以加快数据集构建的速度

另一方面，SurroundOcc里是利用nuscenes中标注好的三维目标检测框将静态场景和动态物体分离的。但实际应用过程中，可以利用autolabel，也就是三维目标检测&跟踪大模型去得到每个物体在整个sequence中的检测框。相较于人工标注的label，利用大模型跑出来的结果肯定会存在一些误差，最直接的体现就是多帧的物体拼接后会有重影的现象。但其实occupancy对于物体形状的要求没有那么高，只要检测框位置比较准就能满足需求。

未来方向

当前方法还是比较依赖lidar提供occupancy的监督信号的，但很多车上，尤其是一些低阶辅助驾驶的车上没有lidar，这些车通过shadow模式可以传回来大量的RGB数据，那么一个未来方向是能不能只利用RGB进行自监督学习。一个自然的解决思路就是利用NeRF进行监督，具体来说，前面backbone部分不变，得到一个occupancy的预测，然后利用体素渲染得到每个相机视角下的RGB，和训练集中的真值RGB做loss形成监督信号。但很可惜的是这一套straightforward的方法我们试了试并不是很work，可能的原因是室外场景range太大，nerf可能hold不住，但也可能我们没有调好，大家也可以再试试。

另一个方向是时序&occupancy flow。其实occupancy flow对于下游任务的用处远比单帧occupancy大。ICCV的时候没来得及整occupancy flow的数据集，而且发paper的话还要对比很多flow的baseline，所以当时就没搞这块。时序网络可以参考BEVFormer和BEVDet4D的方案，比较简单有效。难的地方还是flow数据集这一部分，一般的物体可以用sequence的三维目标检测框算出来，但异型物体例如小动物塑料袋等，可能需要借助场景流的方法进行标注。

需要进行改写的内容是：原文链接：https://mp.weixin.qq.com/s/_crun60B_lOz6_maR0Wyug

以上就是SurroundOcc：环视三维占据栅格新SOTA！的详细内容，更多请关注其它相关文章！

# 采用了  # 自贡营销推广预算  # seo高级搜索命令  # seo实战密码第五  # 网站建设论坛网站  # 北海网站建设银行工作  # 如何做好网站基础优化  # ai seo 工具  # 广东网站建设方案优化  # 铁岭seo入门如何获客  # 哈尔滨seo计费管理  # 技术  # 这部  # 腾讯  # 万元  # 这一  # 华为  # 中国科学院  # 的是  # 可以用  # 开源  # 自动驾驶 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 第 66 届格莱美奖规定，AI 作品将无法获得评奖资格  成功孵化首个大型模型解决方案的重庆人工智能创新中心  “长沙造”无人机，领先的不止植保  AI教父Bengio：我感到迷失，对AI担忧已成「精神内耗」！  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  智能机器人正在彻底改变客户服务  能走、能飞、能游泳，科学家打造全能 M4 机器人  人工智能行业急缺人 AI人才年薪能达近42万元  Hugging Face发布了基于NASA卫星数据构建的AI地理空间基础模型  百度创始人、董事长兼首席执行官李彦宏：AI原生应用比大模型数量更重要  彬州市第三届青少年机器人创新大赛成功举办  南京制造的国产工业机器人：在外资品牌竞争中突围，年销售1.8万台  美图第二届影像节发布七款AI影像创作工具  论文插图也能自动生成了，用到了扩散模型，还被ICLR接收  盘古大模型3.0正式发布 AI开发正走向新“工业化开发模式”  视觉中国推出付费AI绘图功能：无版权可用  携程发布旅游行业垂直大模型 梁建章：AI策略是做可靠的内容 放心的推荐  五项人工智能尚未能够实现的任务  即将到来：AI婚纱设计软件实际测试，人工智能即将开创婚纱设计新纪元  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  机器人 展才能  生成式AI对云运维的3大挑战  AI立法迫在眉睫，如何看对行业影响？  微幼科技推出全自动晨检机器人，助力幼儿园校园健康检测  AI大模型时代，数据存储新基座助推教科研数智化跃迁  WPS AI 官网上线：可申请体验官资格，支持 Windows、安卓端下载  2025VR&AR显示技术峰会展示歌尔光学最新一代光学模组  Meta推出VR订阅服务Quest +：每月免费玩两款游戏，7.99美元/月  第四范式“式说”大模型入选《2025年通用人工智能创新应用案例集》  田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘  视觉中国推出AI灵感绘图功能  李开复官宣新公司「零一万物」，进军 AI 2.0  AI 助手 Copilot 上线，微软 Win11 Dev 预览版 Build 23493 发布  抛媚眼给瞎子看？微软、谷歌的AI广告被广告主抵制  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  实践J*a开发，构建高性能的MongoDB数据迁移工具  埃森哲俞毅：AI时代我们需要新的“摩尔定律”  数据显示：人工智能相关专业热度上升最快 考古、美术、生物医学工程等小众专业火了  普林斯顿大学推出 Infinigen AI 模型，生成真实自然环境 3D 场景  “苏南 vs 苏北” AI 分胜负，娱乐性比较工具 EitherChoice 上线  无需照相馆，AI证件照生成软件即将推出  新华三集团总裁兼首席执行官于英涛：人工智能时代需要想象力，更需要精耕务实  亲身体验鸿蒙4：AI大模型带来的便利，告别单纯的旁观者状态  张朝阳陆川谈AI：大数据模型大幅提升工作效率，ChatGPT冲击最大的是内容创作领域  联想戴炜：以全栈AI加速CT与IT融合，共建高质量算力网络  OpenAI CEO 阿尔特曼到访日本，对全球 AI 协调合作表示乐观  AI拉动PCB发展|行业发现  百度文心一言App上架苹果商店，人工智能创作引发热议  AI和ML推动联网设备的增长  华为AI大模型将融入HarmonyOS 4 

 2023-09-18