ECCV 2025 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景

---

数据空间研究中心是中国科学技术大学网络空间安全学院布局建设的创新型科研平台。中心于 2025 年 9 月 20 日正式揭牌成立，由吴曼青院士领衔、中青年教师为骨干，聚焦从数据到网络空间（from data to cyberspace），以数据重构网络空间为使命，瞄准网络空间、智能感知、大数据等领域的前沿问题，探索打造一支结构合理、优势互补的科技力量，服务国家重大需求。

来自中国科学技术大学数据空间研究中心、香港科技大学、香港理工大学以及奥胡斯大学的研究者们提出一种新的场景生成方法 DreamScene，只需要提供场景的文本就可以生成高质量，视角一致和可编辑的 3D 场景。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 项目主页：https://dreamscene-project.github.io/ 
• 论文地址：https://arxiv.org/abs/2404.03575
• 代码开源：https://github.com/DreamScene-Project/DreamScene

关键问题

基于蒸馏的文本生成 3D 方法通常采用预训练的 2D 文本到图像模型如 Stable Diffusion 作为先验，通过朝向物体中心的相机渲染优化生成物体的可微分 3D 表示。而文本生成 3D 场景方法需要从预定义的相机位置向外渲染，以生成这些有限视角的场景。

目前的文本生成 3D 场景方法（如下图所示）面临几个关键挑战，包括：

• 低效的生成过程，常导致低质量的生成和较长的生成时间。
• 不一致的 3D 场景视角，仅在有限视角下有着良好的渲染结果。
• 无法将物体与环境分离，无法对单个物体进行灵活编辑。

技术方案

DreamScene 主要由形成模式采样（Formation Pattern Sampling）和相机采样 (Camera Sampling) 两部分组成，其中形成模式采样根据 3D 模型生成的规律由多时间步采样（Multi-timestep Sampling）、3D 高斯过滤（3D Gaussian Filtering）以及重建式生成（Reconstructive Generation）三种操作组成；

相机采样通过三阶段的策略逐步生成 3D 环境，保证场景全局的视角一致性。总体的算法流程如图所示，DreamScene 首先利用大语言模型（LLM）根据文本描述（prompt）分离出场景中的物体描述和环境描述。首先生成场景中的单个物体，DreamScene 利用 Point-E 得到相应的初始化点云，之后使用形成模式采样方法生成对应文本的 3D 表示；再将生成的物体根据布局放置在对应的位置上；最后对四周环境进行生成，DreamScene 将室内场景初始化为长方体，将室外场景初始化为半球体，通过三阶段优化，逐步优化远处环境，近处地面和整体的场景。

形成模式采样（Formation Pattern Sampling）主要使用多时间步采样（Multi-timestep Sampling），多时间步采样每次迭代过程中混合了多个 2D 扩散模型时间步长提供的指导信息，而这些时间步长通过在一个线性递减的滑动窗口上进行分层抽样得到，这种优化策略不仅保证了在优化过程中对 3D 内容的形状约束，同时可以丰富语义信息。

此外，生成的过量 3D 高斯会阻碍优化过程，因此 DreamScene 使用 3D 高斯过滤（3D Gaussian Filtering）在优化过程中过滤掉冗余的 3D 高斯，保留距离渲染平面较近且体积较大的 3D 高斯。在优化的后期阶段，使用较小步长 t 的信息可以提供一致但是精细纹理的信息，所以 DreamScene 使用重建式生成（Reconstructive Generation）方法来加速生成 3D 内容的合理表面纹理。

对于场景中的环境，DreamScene 使用一个渐进式的三阶段相机采样（Camera Sampling）策略优化环境生成。在相机采样的第一阶段，DreamScene 在场景中心的一定范围内进行相机位姿采样以生成周围环境（室内的墙壁、室外远处环境）的粗略表示（MTS 指导优化）；在第二阶段，DreamScene 通过采样一些特定区域的相机位姿来生成粗糙的地面，并且会尽可能保证地面与周围环境接触部分的连贯性；在第三阶段，DreamScene 使用在前两阶段中所有的相机位姿来优化所有的的环境元素（MTS 指导优化），之后使用 3D 重建的方法以获得更合理的纹理和细节。

实验评估

对比试验  下图展示了 DreamScene 场景生成的定性对比实验，上半部分图像采用生成时出现的相机位姿渲染的，下图是在场景中随机选择的相机位姿渲染的。我们可以看到，Text2Room 和 Text2NeRF 只能在生成过程中遇到的相机位姿下生成令人满意的结果，DreamScene 实现了最佳的 3D 一致性，同时有着很高的生成质量。

Remover

几秒钟去除图中不需要的元素

304 查看详情

下图展示了形成模式采样可以在短时间内根据文本提示生成高质量的 3D 表示，DreamGaussian 的速度更快但生成质量太低。

作者计算了环境生成阶段的生成时间。如下表的左侧显示，具有编辑功能的环境生成方法中 DreamScene 的时间最短，右侧显示了用户研究，其中 DreamScene 在一致性和合理性方面明显优于其他 SOTA 方法，生成质量最高。

一致性 如下图所示 DreamScene 的生成结果在较高生成质量的同时，保证了较好的 3D 一致性。

编辑性 DreamScene 可以添加或删除对象或者通过调整对象的仿射变量的值来重新设计其在场景中的位置。在进行这些编辑时，用户需要在物体的原始位置和新位置重新采样相机姿势，重新优化地面和周围方向。此外，用户还可以改变文本提示来改变场景中的环境或对象的样式。

消融实验 在 “A DSLR photo of Iron Man” 提示下，经过 30 分钟优化后的结果。如下图所示，与 DreamTime 和 DreamFusion 中提到的分数蒸馏采样 (SDS) 相比，多时间步采样形成了更好的几何结构和纹理。形成模式采样是在多时间步采样的基础上建立起来的，采用重建式生成的方法来创建更加合理的纹理结构，在指导 3D 内容优化方面十分具有优越性。

总结

本文介绍了一种新颖的文本到 3D 场景生成策略 DreamScene。通过生成模式采样和相机采样策略，将物体和环境整合在一起，解决了目前文本到 3D 场景生成方法中存在的低效、不一致和可编辑性有限等问题。广泛的实验证明，DreamScene 是三维场景生成领域的一项里程碑式成就，在众多领域，如游戏、*和房屋设计中有着巨大的应用潜力。

以上就是ECCV 2025 | 新梦幻场景生成方法，高质量、视角一致、可编辑3D场景的详细内容，更多请关注其它相关文章！

# 过程中  # 动态网站建设及推广  # 西宁网站优化公司  # 微信营销的模式推广方式  # 啥是口碑营销推广活动  # 龙华网站建设制作中心  # 网站建设短视频运营方案  # 秭归网站推广代理商  # 化妆品营销怎么引流推广  # 千享传媒seo网站推广优化  # seo培训课霸屏推广  # 方法来  # 香港  # 重构  # 理论  # 如下图  # 开源  # 所示  # 高斯  # 景中  # 高质量  # type  # stable diffusion  # follow  # git  # 场景生成  # 3d 场景编辑 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  「社交达人」GPT-4！解读表情、揣测心理全都会  万兴播爆桌面端上线，支持AI数字人搜索、视频编辑等功能  上影节直击 | AI技术降低了短片拍摄门槛？金爵奖评委不赞同  日本学校探索引入 AI 和无人机：提高安保效率，节省劳动力  曝光HarmonyOS 4的重要新能力：全面升级AI大模型，小艺实现全面进化  7大探索区域打造沉浸式玩乐“元宇宙” 昆明京东MALL未来科技探索官全城招募中  马斯克：将来机器人比人类多！特斯拉机器人亮相人工智能大会  1.6亿美元收购Singularity AI，昆仑万维布局通用人工智能  6月14日《星空下的对话》 张朝阳陆川将畅聊人生、电影、心理学与AI  美图吴欣鸿：希望更多人用上AI时代的影像生产力工具  卫星通信牵引物联网竞争升维，模组厂商如何决胜百亿市场？  从谷歌到亚马逊，科技巨头们的AI痴迷  人工智能大胆预测：银河系至少有2万个地球，36种外星文明  尼康尼克尔 Z 180-600mm f/5.6-6.3 VR 镜头发布，12499 元  自己动手使用AI技术实现数字内容生产  华为云天筹AI求解器荣获世界人工智能大会最高奖  Meta 人工智能业务落后竞争对手，研究人员大量离职成重要原因  比尔盖茨：AI确实存在风险，但可控  朱民：普通人炒股炒不过机器人是很正常的 AI已经能理解市场情绪  OpenOOD更新v1.5：全面、精确的分布外检测代码库及测试平台，支持在线排行榜、一键测试  【原创】奥比中光：与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  水路两栖艇、消防灭火机器人……这个展览“黑科技”抢眼  无人机自主巡检为高海拔输电线路运维添“新彩”  生成式人工智能如何改变云安全的游戏规则  清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！  套娃不可取：研究人员证实用AI生成的结果训练AI将导致模型退化  如何用户外电源给无人机实现持久续航  AIGC 风潮刮到游戏产业，巨人网络与阿里云达成“游戏 +AI ”合作  干货满满，2025昆山元宇宙国际装备展等你来打卡！  DragGAN开源三天Star量23k，这又来一个DragDiffusion  映宇宙集团执行总编辑：元宇宙还是要以人为媒介  腾讯企点客服接待与营销分析能力升级！企业操作更高效、人机交互更智能  科普：什么是AI大模型  走进首家“元宇宙”未来工厂，卡奥斯探知工业之旅出发！  AI 作画工具 Midjourney 推出“pan”功能，可平移扩展图片外场景  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  微盟宣布联合腾讯云共建行业大模型：加快激活AI大模型智能应用  时隔 4 年：谷歌更新安卓机器人 LOGO，形象更立体  微幼科技推出全自动晨检机器人，助力幼儿园校园健康检测  云米Smart 2E AI立式空调开启预售：新三级能效，到手价3899元  马斯克嘲讽人工智能：机器学习本质就是统计学  《自然》杂志拒绝刊登人工智能生成的图片和视频  OpenAI宣布组建新团队 以控制“超级智能”人工智能  联合国秘书长称支持建立全球人工智能监管机构  人工智能如何与智能家居集成  微软大牛加入ZOOM，AI人才大战打响  Meta 推出 Quest 超级分辨率技术，让 VR 画面更清晰  从GOXR到PartyOn，XRSPACE致力打造多元共赢的元宇宙世界  如布科技发布新产品AI口袋学习机S12 

 2024-10-08