达摩院发布一站式AI视频创作平台"寻光",打造全新AI工作流


今年是 AI 视频生成爆发的元年,以 Sora 为代表的算法模型和产品应用不断涌现。短短几个月内,我们目睹了几十种视频生成工具的问世,基于 AI 的视频创作方式开始流行起来。

但新技术也引发更多的挑战与质疑,除了大家熟知的 “开盲盒” 现象,AI 所生成的视频内容也因可控性差、处理工作流繁琐而频频被诟病。

OpenAI 曾经邀请专业视频制作团队对 Sora 进行了测试,其中来自于多伦多的 Shy Kids 团队,利用 Sora 制作了一个气球人主题的短片,把创意和 AI 技术进行了完美的结合,让人印象深刻。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

达摩院发布一站式ai视频创作平台\

整个短片其实并不是 Sora 直接输出的结果,而是由多个视频片段组成,且 Sora 在生成不同视频时,很难保证主角的一致性。因此,在引入了大量的人工后期编辑,他们才呈现出最终的短片效果。Shy Kids 的主创们总结,“Sora 的技术很酷,但是它的生成过程很难控制。”

对生成内容的精准可控,是 AI 视频创作中的重要需求,也是今天算法面临的一大挑战。

达摩院发布一站式AI视频创作平台\

为此,在刚结束的上海世界人工智能大会(WAIC)上,达摩院发布了一站式 AI 视频创作平台 “寻光”。

其定位为 PUGC 一站式 AI 视频创作平台,可辅助用户创作剧本、分镜图等,并通过工作流整合提升创作全流程的效率,支持对生成及上传素材进行丰富的 AI 编辑,提供人物控制、场景控制、风格迁移、运镜控制、目标新增 / 消除 / 修改等十多种 AI 编辑功能,让视频中的元素和对象精准可控。

达摩院希望借由寻光平台进一步提升 AI 视频创作的效率,目标是用 AI 能力重塑传统视频制作的整个流程,打造 AI 时代的全新视频工作流。

业界首次落地
基于图层的视频编辑

在寻光研发的初期,达摩院还与*传媒从业者及创作者进行了广泛且密集调研,了解其对于视频 AIGC 创作的需求与痛点。他们发现,视频图层几乎是所有视频创作者们提到频次最高、最迫切的需求。

基于此,寻光平台首次在行业推出系统性的视频图层编辑功能。用户通过文本输入,即可生成符合文本描述且具有透明背景的视频,并且一键将其融合到其他背景视频当中。在传统视频生成能力的基础上,用图层这样一种更灵活的形式来产生内容。

达摩院发布一站式AI视频创作平台\

寻光更提供图层拆解功能,轻轻一圈,选定目标立刻拆解为单独的图层视频,再丝滑嵌入不同的背景视频。

达摩院发布一站式AI视频创作平台\

用户可以将不同的前景图层跟不同的背景进行图层融合,组合出更多新的视频。图层融合的能力进一步激发 AI 创作力和想象力,同时能够保持多个分镜头之间的场景和人物的一致性。
达摩院发布一站式AI视频创作平台\
在达摩院看来,AI 不会取代创作者的工作,而是会优化视频创作的工作流,成为创意驱动的新引擎。

一站式 AI 创作平台
更简洁的交互,更丰富的编辑能力

剧本创作、分镜设计、素材编辑…… 传统的视频创作步骤分工明晰、周期冗长。在 AI 技术的加持下,原本分散在不同制作流程中的创作步骤,如今都可以在寻光平台上流畅完成。

“我们希望让视频编辑像操作 ppt 一样简洁直观,容易上手。” 达摩院视觉技术实验室高级算法专家陈威华在现场介绍,寻光平台的一大亮点在交互方面。

寻光平台在设计时便充分考虑到 AI 视频创作的特点,将每个视频项目抽象为多个分镜头画面,用户可根据剧本自动生成一组分镜头,也可以自己上传原始视频素材,由算法切分成多个分镜头。

在创作空间里,用户可以很方便的查看每一个分镜头,一个场景内的多个分镜头可以收起或者展开,场景之间可以通过拖拽来调整顺序,场景内的分镜头也可以进行拖拽。用户也可以在任意位置上进行分镜头的添加和新建,可调用图片生成或者视频生成能力去产生内容,也可以添加自己已有的各种素材。

达摩院发布一站式AI视频创作平台\

对于每个分镜头,寻光提供完整且智能的 AI 视频编辑能力进行处理,可依据用户意图,在语义层面而不是像素层面实现编辑。分镜头里的人体、人脸、前景、背景等任意局部目标,都可以进行精细化的编辑和修改。

比如,理解空间景深的运镜控制;

达摩院发布一站式AI视频创作平台\

码上飞 码上飞

码上飞(CodeFlying) 是一款AI自动化开发平台,通过自然语言描述即可自动生成完整应用程序。

码上飞 430 查看详情 码上飞
又比如,能够理解物体相对关系的目标消除 / 修改。

达摩院发布一站式AI视频创作平台\

在对视频全局元素的编辑上,寻光平台提供了超过 20 种的风格迁移。

达摩院发布一站式AI视频创作平台\

寻光也提供帧率控制、视频超分等实用的视频编辑功能。

达摩院发布一站式AI视频创作平台\

“我们希望一个视频里的所有元素都是可编辑、可修改的,这样可以给用户的创作提供最大的自由度”,陈威华说。

写在最后

今天,我们正处在 AIGC 的变革浪潮之中,AI 有可能催生出新的视频工作流。无论是专业的*从业者还是热爱创作的 UGC 用户,都将从中获益。

“工欲善其事,必先利其器”,达摩院希望寻光视频创作平台能够成为每一位创作者的专属视频工作室,实现 AI 与创作者之间更紧密、高效的协作,真正释放 AI 的生产力。

为此,达摩院视觉技术实验室已做了大量技术储备。该实验室致力于多模态视觉信号的理解与生成技术研究,当前的重点研究方向包括更加精准的图像 / 视频 / 3D 内容生成,更加可控的图像 / 视频 / 3D 内容编辑,更加高效的生成框架,多模态的理解 - 生成框架等。

陈威华表示,“寻光”将于近期开放内测,持续迭代,优化交互,欢迎创作者们来定制属于自己的 AI 工作流。

内测申请地址:
https://xunguang.damo-vision.com/

以上就是达摩院发布一站式AI视频创作平台"寻光",打造全新AI工作流的详细内容,更多请关注其它相关文章!


# 达摩院  # 很难  # 首次  # 进行了  # 丰田  # 多个  # 图层  # 工作流  # 达摩  # sora  # 视频编辑  # 寻光  # 世界人工智能大会  # 产业  # 一站式  # 视频模板无水印网站推广  # seo优化价格  # 天津网站建设北路小学  # 网站建设过程详细  # 潍坊建设银行网站  # 寻找网站优化公司  # 合肥好的seo网站排名  # 网站怎么seo上首页  # 济宁怎么建设自己网站  # 安徽企业营销型网站优化 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894


相关推荐: 人工智能即将进入Windows:企业准备好安全策略设置了吗?  第二届光合组织AI解决方案大赛赛果揭晓  谷歌内部正在测试代号为Genesis的AI新闻写作产品  用AI升级会议体验!思必驰多款会议产品亮相全球智博会!  DeepMind用AI重写排序算法;将33B大模型塞进单个消费级GPU  美图公司影像节或发布AI设计新品  南京制造的国产工业机器人:在外资品牌竞争中突围,年销售1.8万台  WAIC 2025|云深处科技绝影Lite3与X20四足机器人亮相  AI遇上大运丨热身拉伸、娱乐K歌……AI智能健身镜将亮相成都大运会  GPT-4最全攻略来袭!OpenAI官方发布,六个月攒下来的使用经验都在里面了  AI大模型产品集体奔赴高考考场,教育赛道的讯飞星火能赢吗?  360发布认知型通用大模型“360智脑4.0” 全面接入360全家桶  AIGC 风潮刮到游戏产业,巨人网络与阿里云达成“游戏 +AI ”合作  Zoom远程会议应用:AI培训需经用户授权  Meta 开源 AI 语言模型 MusicGen,可将文本和旋律转化为完整乐曲  羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品  元宇宙技术带你穿梭“大运河”,江苏书展上的数字阅读馆吸睛小读者  当TS遇上AI,会发生什么?  昆仑万维与全球领先的元宇宙公司Meta达成商务合作,共同认可昆仑万维在XR领域的技术实力  独家视角:首次展示有人与无人协同打击的7000米高空察打一体无人机  Meta Quest订阅服务每月7.99美元畅玩两款VR游戏应用  AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑  当科幻走进现实 脑机接口新技术能为生活带来哪些惊喜?  谷歌在人工智能领域没有“护城河”?  英伟达首席执行官黄仁勋:生成式 AI 时代「人类」会是新的编程语言  机器人加速!稀土永磁也被带火,持续性如何?  马斯克反讽人工智能AI炒作:“机器学习”本质就是统计  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  如何利用AI工具写好本科论文:科技助你一臂之力  DragGAN开源三天Star量23k,这又来一个DragDiffusion  昇思开源社区理事会成立,基于昇思AI框架的全模态大模型“紫东.太初2.0”发布  零AI含量!纯随机数学无限生成逼真3D世界火了,普林斯顿华人一作  人工智能和你聊天 成本有多高  无人机自主巡检为高海拔输电线路运维添“新彩”  选对AI智能写作软件,让创作游刃有余!  Unity发布Sentis和Muse AI工具,助力创作游戏和3D内容  特斯拉机器人面世 未来将大幅提振磁材需求,引领人工智能时代  五个IntelliJ IDEA插件,高效编写代码  拓普龙7188ML:轻便壁挂式工控机箱,为人工智能应用场景提供有力保障  农业产业升级:AI驱动的“崃·见田”开启农田未来展望  在这里见未来!杭州未来科技城全球AI盛会邀您共探最前沿  陈根:ChatGPT和人类合作开发机器人  AI大举入侵内容行业,哪些上市*及动漫公司进行了布局?  商业智能决策技术助力降本增效,世界人工智能大会举办商业AI高峰论坛  郭帆导演成功利用AI技术制作的《流浪地球3》预告片在央视热播,引发巨大反响  马斯克的幽默“现实”:AR眼镜与20美元“增强现实”哪个真实?  国内AI大模型“安卓时刻”到来!阿里云通义千问免费、开源、可商用  优地网络助力新媒体拥抱人工智能时代  陈根:AI冥想教练为用户提供个性化指导  喜马拉雅在国际会议挑战赛中突破语音重叠难题斩获第一 加速AI创新 

 2024-07-09

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.