让3D编辑像PS一样简单，新算法GaussianEditor在几分钟内完成3D场景增删改

3D 编辑在游戏和虚拟现实等领域中发挥着至关重要的作用，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到实际场景。近日，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完成对 3D 场景可控的多样化的编辑，全面超越了之前的 3D 编辑工作。

近年来，3D编辑领域的研究重点普遍集中在神经辐射场（NeRF）上。这是因为NeRF不仅可以高度真实地进行3D场景建模，而且其隐式特性极大地提升了可扩展性，相较于传统的点云和网格等方法，具有显著优势。然而，NeRF依赖于高维多层感知网络（MLP）对场景数据进行编码，这也带来了一定的限制。它难以直接修改场景的特定部分，并且增加了图像修复和场景组合等任务的复杂性。这种复杂性不仅影响了训练过程，也限制了其在实际应用中的使用

GaussianEditor 为了解决上述问题，另辟蹊径，选择了高斯溅射（Gaussian Splatting）作为其 3D 表示。Gaussian Splatting 是半年前提出的一种新型 3D 表示，该表示已经在 3D，4D 重建等多项 3D 任务上超越了 NeRF，刚面世就引发了 3D 领域广泛的关注，是今年 3D 领域最大的突破之一。Gaussian Splatting 表示具有极好的前景和潜力， GaussianEditor 更是首个实现了对这种 3D 表示完成编辑的工作。该项目已开源，并提供了 WebUI 界面，便于学习和使用。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文地址：https://arxiv.org/abs/2311.14521
• 主页地址：https://buaacyw.github.io/gaussian-editor/

尽管高斯喷洒（Gaussian Splatting）具有高效的渲染算法，但其作为显示表示的编辑存在不小的挑战。一个主要问题是缺乏有效的方法来准确识别编辑目标，这对于精确可控的编辑至关重要。此外，已有研究表明，使用高度随机的生成指导（例如 Stable Diffusion 等生成扩散模型）来优化高斯喷洒（GS）会遇到重大挑战。这可能是因为GS直接受到损失中随机性的影响，与神经网络缓冲的隐式表示不同。这种直接暴露导致更新不稳定，训练过程中高斯点的属性直接改变。此外，GS的每个训练步骤可能涉及大量高斯点的更新，而这一过程没有神经网络风格的缓冲机制。这些问题会导致GS的过度流动性阻碍了其在训练中向隐式表示那样的精细结果收敛

为了解决上述问题，团队首先引入了高斯语义追踪来完成对 Gaussian Splatting（GS）的精确控制。高斯语义追踪在训练过程中始终能够识别出需要编辑的高斯点。这与传统的 3D 编辑方法不同，后者通常依赖于静态的 2D 或 3D 掩码。随着 3D 模型的几何形状和外观在训练中的变化，这些掩码的会逐渐失效。高斯语义追踪则是通过将 2D 分割掩码投影到 3D 高斯点上并为每个高斯点分配语义标签来实现训练全程的追踪。随着训练过程中高斯点的变化，这些语义标签使得能够追踪到特定的目标高斯点。高斯语义追踪算法能确保只有目标区域被修改，从而实现精确和可控的编辑。

下图中红色区域为被追踪的目标区域，语义追踪的区域会随着训练过程动态更新来确保其有效性。

此外，为了应对高斯溅射（Gaussian Splatting，GS）在高度随机生成的情况下难以实现精细结果的重大挑战，GaussinEditor采用了一种新的GS表示方式：层次化高斯溅射（Hierarchical Gaussian Splatting，HGS）。在HGS中，高斯点根据它们在训练过程中的稠密化顺序被组织成不同的世代。较早的稠密化过程中形成的高斯点被视为较老的世代，它们受到更严格的约束，目的是保持它们的原始状态，减少它们的流动性。相反，后期阶段形成的高斯点被视为较年轻的世代，受到较少或没有约束，以提高其适应性。HGS的设计有效地调节了GS的流动性，通过对较老的世代施加限制同时保持了较新世代的灵活性。这种方法使得持续优化朝向更好的结果成为可能，模拟了通过神经网络实现的隐式表示中的缓冲功能

GaussianEditor 在此基础上提出了高斯溅射表示的增、删算法。在删除目标方面，该团队开发了一种专门的局部修复算法，能有效地消除了对象与场景交界处的伪影。在添加目标方面，GaussianEditor 能根据用户提供一个的文本提示和 2D 掩码来为指定区域添加指定目标。GaussianEditor 先借助 2D 图像 Inpainting 算法生成要添加的对象的单视图图像。然后，通过 Image to 3D 的算法将该图像转换成一个 3D GS。最后将该目标并入到高斯场景中。

在对比实验中，GaussianEditor在视觉质量、量化指标、可控性和生成速度方面都显著超过了之前的工作

团队还通过消融实验验证了他们提出的高斯语义追踪和层次化高斯表示的有效性

GaussianEditor 作为一种先进的 3D 编辑算法，重点在于灵活和快速地编辑 3D 场景，并首次实现了对高斯溅射的编辑。

该算法的关键特点包括：

1. Gaussian 语义追踪：它能在训练过程中持续识别需要编辑的高斯点，确保只有目标区域被编辑。 
2. 层次化 Gaussian Splatting（HGS）：这是一种新的 GS 表示方式，通过在不同训练阶段形成的高斯点之间建立层次结构，以有效管理 GS 场景的流动性，并模拟隐式表示中神经网络的缓冲功能。
3. 3D 场景的增加和删除算法：GaussianEditor 专为 GS 开发设计了 3D 场景的增删算法，能够高效地从场景中移除或添加特定对象。

以上就是让3D编辑像PS一样简单，新算法GaussianEditor在几分钟内完成3D场景增删改的详细内容，更多请关注其它相关文章！

# 首次  # 梦幻网站建设银行  # 石首网站优化推广公司  # 网络营销推广彩票  # 漳州网站推广营销  # seo会失业吗  # 柳江区热门seo有哪些  # 网站开发建设培训  # 物流企业网站建设技术  # 凯里抖音seo能行吗  # 营销推广公司简介怎么写  # 提出了  # 数据  # 开源  # 万元  # 掩码  # 别克  # 隐式  # 过程中  # 几分钟内  # 高斯  # stable diffusion  # 训练 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 衡水市冀州中学机器人社团在世界机器人大赛中斩获佳绩  华为4G5G通信物联网收费标准公布，多年研发成果，十年花费近万亿  【趋势周报】全球元宇宙产业发展趋势：ChatGPT的出现，将元宇宙实现至少提前了10年  人形机器人概念集体爆发，能买吗？  百度创始人、董事长兼首席执行官李彦宏：AI原生应用比大模型数量更重要  网易易盾 AI Lab 论文入选 ICASSP 2025！黑科技让语音识别越“听”越准  “无人驾驶船”将首次亮相世界人工智能大会，下半年或开进上海迪士尼  研究表明 GPT-4 模型具备自我纠错能力，有望推动 AI 代码进一步商业化  “木头姐”：特斯拉的人工智能训练——“赢家通吃”的机会  标小智LOGO推出AI公司起名生成器“Name.GPT”  脑机接口产业联盟发布十大脑机接口关键技术  Zoom远程会议应用：AI培训需经用户授权  物联网“僵尸网络DDos攻击”增长惊人，威胁全球电信网络  BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」  商汤科技：元萝卜 AI 下棋机器人新品发布会 6 月 14 日举行  清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳  消息称 Meta Quest 将推 VR 游戏订阅：每月 7.99 美元，任选两款  大疆 Air 3 无人机售价和实物照片曝光  AI 大模型重塑软件开发，有哪些落地前景和痛点？| ArchSummit  技术如何使人变得懒惰？  复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐  挤爆服务器，北大法律大模型ChatLaw火了：直接告诉你张三怎么判  OpenOOD更新v1.5：全面、精确的分布外检测代码库及测试平台，支持在线排行榜、一键测试  “直击”AI新世界，智能机器人再次“火出圈”了  利亚德加码AI战略，与光年无限图灵机器人全面开展AI研发业务合作  人工智能进入绿植界，智能庭院市场初具规模  Dubbo负载均衡策略之 一致性哈希  人工智能正在弥合认知和表达之间的鸿沟  AI室内设计软件流行，室内设计行业如何应对效率变革  定义人工智能的十个关键术语  《上古卷轴5》AI高清材质包优化游戏中所有怪物  全国青少年无人机大赛重庆市选拔赛开赛 1252名中小学生参加  V社回应拒绝上架含 AI 生成内容的游戏：审核政策正在调整中  从谷歌到亚马逊，科技巨头们的AI痴迷  引领AI变革，九章云极DataCanvas公司重磅发布AIFS+DataPilot  2025“春晖杯”人工智能专场对接活动举办  揭晓2025年玻尔兹曼奖：Hopfield网络创始人荣获奖项  即时 AI再次升级 30秒生成自带动效的网页 生成速度提升100%  特斯拉人形机器人将亮相 预计售价不超过15万元  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  OpenAI 引入个性化指令功能，消除对话中的重复偏好与信息  央视报道车载人机交互技术！MWC上海魅族表现亮眼，现场热火朝天  2025年的网络分区：人工智能和自动化如何改变事物  食品分销跨国企业Sysco CIDO：我们的增长秘诀是以IT为中心  IBM CEO克里希纳：人工智能潜在创新无法被监管  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景  AI时代，企业需要什么样的员工？  日新月异，脑机接口技术都有哪些新应用？  亲身体验鸿蒙4：AI大模型带来的便利，告别单纯的旁观者状态  XREAL Beam 投屏盒子正式发布：支持“可悬停 AR 空间屏” 

 2023-12-05