美图AI局部重绘技术大揭秘！想怎么改，就怎么改！美图局部重绘让你随心所欲

---

最近，“ai扩图”功能以其突如其来的扩大效果引发了轰动，其滑稽而又有趣的自动填充结果频频走红，在网络上掀起了热潮。用户们积极尝试这一功能，其180度的巨大转变也让人们感叹不可思议，话题热度持续攀升。

在引发笑声和热情的同时，也意味着人们不断关注着AI是否能够真正帮助他们解决现实问题并改进用户体验。随着AIGC技术的迅猛发展，AI应用场景正在加速实现落地，这预示着我们将迎来一场全新的生产力变革。

近日，美图公司旗下WHEE等产品上线AI扩图及AI改图功能，只需简单的提示性输入，用户就可以任意修改图像、移除画面元素、扩充画面，凭借便捷的操作与惊艳的效果，大大降低工具使用门槛，为用户带来高效、优质的图像创作体验。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

MiracleVision（奇想智能）消除结果

MiracleVision（奇想智能）替换效果前

MiracleVision（奇想智能）替换效果后

MiracleVision（奇想智能）AI改图效果

强大模型能力，让图像编辑随心所欲

美图AI局部重绘模型基于扩散模型（Diffision Model）技术构建了完整的inpaint & outpaint模型框架，将内部区域重绘、前景目标消除以及外部区域扩展等任务统一到同一个方案中进行解决，并针对一些特定的效果问题做了专门的优化设计。

MiracleVision（奇想智能）模型属于文生图模型，虽然可以通过改造第一卷积层，并将unet整体微调的方式，使其适应inpaint任务，但这样需要修改unet原有的权重，在训练数据量不足时可能会导致模型性能的下降。

因此，为了充分利用MiracleVision（奇想智能）已有的生成能力，团队在局部重绘模型中不对MiracleVision（奇想智能）的unet模型进行直接微调，而是使用controlnet的方式增加一个mask的输入分支进行控制。

同时，为了节约训练成本，加快推理速度，使用压缩后的controlnet模块进行训练，尽可能地减少计算量。在训练的过程中，unet模型的参数会被固定，只有controlnet模块会进行更新，最终使整个模型获得inpaint的能力。

美图AI局部重绘模型架构图

outpaint任务则是crop任务的反向操作。crop任务是沿着图像边界对原图像进行剪裁，只保留需要的部分，是一种图像内容的减法操作；而outpiant任务则是沿着图像边界向外进行扩展，借助模型的生成能力来凭空创造出原本不存在的内容，是一种图像内容的加法操作。

本质上，outpaint任务也可以看作是一种特殊的inpaint任务，只不过mask区域位于图像的外围。

MiracleVision（奇想智能）AI扩图效果

由于outpaint任务中的mask区域只能从图像内部获取引导信息，其他的方向上都是图像边界，因此生成的内容更加具有随机性，会更加的发散。为了填补图像外围的空白区域，同时保证画面拓展的准确性，团队依托场景识别算法对图像风格及内容进行推断，并充分利用图像内容的相关性，通过在扩展边缘处镜像复制原图中的像素并叠加随机噪声，为模型提供适合的初始先验，从而保证生成内容的合理性，并使得边界过渡更加平滑。

通过多种训练策略，自由控制物体生成与消除

一般的扩散模型在执行inpaint任务时更擅长替换而不是消除，当需要消除某一目标时，模型很容易在mask区域中绘制出一些原本不存在的新前景目标，特别是当mask区域的面积比较大的时候这一现象尤为明显，即使这些目标并没有出现在prompt中。究其原因，主要是以下3个方面：

Machine Translation

聚合多个来源的AI翻译

49 查看详情

1.训练集的prompt中，一般只描述了图像中有什么，而不会描述图像中没有什么，因此让训练后的模型根据提示生成某一目标很容易，但是不让它生成目标却很难。即便有Classifier-Free Guidance策略，可以通过把不想要的物体添加到负词中的方式来抑制该目标的生成，但始终无法将所有可能的目标全部写到负词中，因此模型还是会倾向于生成一些意想不到的目标；

2.从训练数据的分布来看，由于大规模图像训练集中的绝大部分图像都是由前景和背景组合而成的，纯背景的图像占比较小，这意味着扩散模型在训练时就已经学习到了一种潜在的规律，即一幅图像中大概率存在着某一个目标前景（即使prompt中并没有提到它），这也导致模型在执行inpaint任务时更倾向于在mask区域中生成些什么，从而使输出图像更接近于训练时的分布；

3.待填充的mask区域的形状有时也会包含一定的语义信息，比如在没有其他引导的情况下，模型会更倾向于在一个形状为猫的mask区域内填充一只新的猫，从而导致消除任务失败。

为了使MiracleVision（奇想智能）同时具备目标生成以及目标消除的能力，团队采用了多任务的训练策略：

1.在训练阶段，当mask区域落在纹理较少的纯背景区域上时，增加一个特定的prompt关键词作为触发引导词，并在模型推理阶段，将这个关键词作为正向引导词加入到prompt embedding 中，促使模型更多地生成背景区域。

2.由于纯背景图像在整个训练集中占比较小，为了提高其对于训练的贡献程度，在每个训练batch中，手动采样一定比例的背景图像加入到训练，使背景图像在训练样本中的占比总体保持稳定。

3.为了降低模型对于mask形状的语义依赖，在训练阶段还会随机生成各种不同形态mask，增加mask形状的多样性。

高精度纹理生成，融合更自然

由于训练集中高清的纹理数据只占全部训练数据的一小部分，因此在执行inpaint任务时，通常不会生成纹理非常丰富的结果，导致在原图纹理比较丰富的场景中，容易出现融合不自然、存在边界感的情况。

为了解决这个问题，团队基于自研纹理细节模型作为引导模型，以此来辅助MiracleVision（奇想智能）提高生成质量，抑制过拟合，使得生成区域和原图的其他区域之间能够更好地贴合在一起。

原图v.s未增加纹理细节v.sMiracleVision扩图效果

速度更快、效果更优、交互更高效！

扩散模型类方案在推理时通常需要进行多步逆扩散过程，导致单张图片的处理耗时过长。为了在保持生成质量的同时优化用户体验，美图影像研究院（MT Lab）团队为AI局部重绘技术打造了专项调优方案，最终达到性能与效果的最佳平衡。

首先，将MiracleVision（奇想智能）前后处理与推理过程中大量的矩阵计算，尽可能地移植到GPU上并行计算，从而有效地加快了计算速度，并减少CPU端的负载。同时，在组图的过程中，尽可能的对layer进行fuse，使用FlashAttention来降低显存占用，提升推理性能，并对Kernel实现进行Tuning，针对NVIDIA不同的显卡最大化GPU算力使用。

除此之外，依托自研的模型参数量化方法，将MiracleVision量化至8bit而不明显损失精度。由于不同的GPU显卡对8bit量化的支持存在差异性，因此创新性采用混合精度策略，在不同的服务器资源环境下自适应地选取最优算子，从而实现总体加速的最优解。

而对于分辨率较高的用户输入图像，由于受限于服务器资源与时间成本，很难在原始分辨率情况下直接进行推理。对此，团队通过先压缩图像分辨率至合适的大小，再基于MiracleVision（奇想智能）进行推理，其后使用超分算法复原图像至初始分辨率下，再与原图进行图像融合，从而既保持生成图像的清晰效果，又节约推理过程中的显存占用和执行时间。

美图与三星深度合作，以AI打造手机图像编辑新体验

1月25日，三星电子举办Galaxy S24系列中国新品发布会。美图公司深化与三星合作，为三星新品Galaxy S24系列手机相册打造全新的AI图像编辑体验，美图影像研究院（MT Lab）自主研发的生成式编辑——AI扩图与AI改图功能也已正式上线，助力手机图像编辑创作打开新空间。

通过AI改图功能，用户只需长按要编辑的图像，即可轻松移动、消除或调整图像大小。此外，在画面水平线不垂直时，AI扩图功能可以在用户调整角度后，智能填充照片的缺失区域，修正画面构图。

基于MiracleVision（奇想智能）带来的AI功能，美图不仅助力用户在手机端轻松实现专业级的编辑效果，创造出更具个性的照片作品，也将持续推动和提升整个手机行业的AI图像处理能力。

依托美图影像研究院（MT Lab）强大的技术能力，MiracleVision(奇想智能)在不到半年时间已经迭代至4.0版本。未来，美图将持续致力于提升在电商、广告、游戏等行业的用户体验，助力不同场景的从业者工作流提效。

以上就是美图AI局部重绘技术大揭秘！想怎么改，就怎么改！美图局部重绘让你随心所欲的详细内容，更多请关注其它相关文章！

# 过程中  # 好翻译网站建设论文  # 电商网站制作推广方案  # seo哪家厉害  # 樟木头抖音seo系统  # 淮南抖音seo系统  # 网站建设适用税种  # 桂林seo优化费用  # 网站数据库搜索优化  # 网站推广与营销的关系是  # 贵阳怎样网络推广营销  # 这一  # 本田  # 产业  # 是一种  # 大揭秘  # 随心所欲  # 让你  # 怎么改  # 美图  # 关键词  # controlnet  # mira  # whee  # 重绘 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 商业智能决策技术助力降本增效，世界人工智能大会举办商业AI高峰论坛  Meta发布"类人"AI图像创建模型，能解决多出手指等Bug  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  【|直播|预告】人工智能高峰论坛将于7月2日13:30准时开播！  借力AI！PCB全球巨头，有爆发潜质吗？  人工智能写作检测工具不靠谱，美国宪法竟被认为是机器人写的  Bing 聊天机器人现支持在桌面端用语音提问  Meta发布语音AI模型 Voicebox 助虚拟助手与NPC对话  陈根：AI工具为游戏软件实时3D内容助力  无需标注数据，「3D理解」进入多模态预训练时代！ULIP系列全面开源，刷新SOTA  物联网和人工智能的协同作用：释放预测性维护的潜力  张朝阳陆川谈AI：大数据模型大幅提升工作效率，ChatGPT冲击最大的是内容创作领域  马斯克回应人工智能拯救世界：人类已处于“半机器人”状态  人工智能和神经网络有什么联系与区别？  人工智能正在弥合认知和表达之间的鸿沟  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  世界水下机器人大赛：9国青年携手逐梦深蓝  “世界上最像人的机器人”接入 Stable Diffusion ，现场完成作画  云南首例达芬奇机器人微创心脏手术成功开展  AI拉动PCB发展|行业发现  AI时代，企业需要什么样的员工？  利亚德加码AI战略，与光年无限图灵机器人全面开展AI研发业务合作  机智云AI离线语音识别模组，让家电变得更加智能便捷  OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  Win11 的画图应用将包含 Windows Copilot 的 AI 工具整合  Valve Index VR 头显销量下滑，上市四年的长青树渐失光彩  黄仁勋：5年前，我们对AI抱有巨大期望  软通动力多项AI创新产品及应用亮相2025世界人工智能大会  AI技术改变*，新骗局来袭，*成功率接近100%  Moka发布AI原生HR SaaS产品“Moka Eva”，布局AGI时代  Meta 为打造元宇宙不惜下血本：VR 开发者年薪高达百万美元  Intel酷睿Ultra发布会官宣！迈向全新的AI时代  Yann LeCun团队新研究成果：对自监督学习逆向工程，原来聚类是这样实现的  百度创始人、董事长兼首席执行官李彦宏：AI原生应用比大模型数量更重要  尼康尼克尔Z 180-600mm f/5.6-6.3 VR镜头发布：12499元 拍鸟神器  如布科技发布新产品AI口袋学习机S12  真全息产品，亮相深圳文博会——dipal数伴拓展元宇宙非沉浸式体验  OpenAI 引入个性化指令功能，消除对话中的重复偏好与信息  首个算网生态体！中国移动元宇宙产业联盟正式成立  6月14日《星空下的对话》 张朝阳陆川将畅聊人生、电影、心理学与AI  阿里云AI绘画创作大模型通义万相发布 已开启定向邀测  羚客系统即将升级，推出全新的AI数字化工具  跟着AI大热的“光模块”到底是什么？  助力人工智能产业高质量发展 龙岗区算法训练基地正式启用  微幼科技推出全自动晨检机器人，助力幼儿园校园健康检测  换流站无线物联网络为新型电力系统铺设“数字之路”  百度举办AIGC创作沙龙，现场传授AI绘画“咒语”技巧  微软和谷歌面临的人工智能困境：需要投入大量资金才能获得盈利  ​布局智能物联新时代,中国移动“5G+物联网”亮相2025 MWC 

 2024-03-02