AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑


文生图模型stable diffusion开源后,将「ai艺术」彻底平民化,只需一张消费级显卡即可制作出非常精美的图片。

而文本转视频领域,目前质量较高的只有Runway前不久推出的商用Gen-2模型,开源界还没有一个能打的模型。

最近,Huggingface上有作者发布了一个文生视频模型Zeroscope_v2,基于17亿参数量的ModelScope-text-to-video-synthesis模型进行二次开发。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

模型链接:https://huggingface.co/cerspense/zeroscope_v2_576w

相比于原版本,Zeroscope生成的视频没有水印,并且流畅度和分辨率都得到了提升,适配16:9的宽高比。

开发者cerspense表示,他的目标就是和Gen-2进行开源较量,即提高模型质量的同时,还能免费供大众使用。

Zeroscope_v2包括两个版本,其中Zeroscope_v2 567w可以快速生成576x320像素分辨率、帧率为30帧/秒的视频,可用于视频概念的快速验证,只需要约7.9GB的显存即可运行。

使用Zeroscope_v2 XL生成高清视频,分辨率为1024x576,占用约15.3GB的显存。

Zeroscope还可以与音乐生成工具MusicGen一起使用,快速制作一个纯原创短视频。

Zeroscope模型的训练用到了9923个视频片段(clip)以及29769个标注帧,每个片段包括24帧。偏移噪声包括视频帧内对象的随机移位、帧定时(frame timings)的轻微变化或微小失真。

训练期间引入噪声可以增强模型对数据分布的理解,从而可以生成更多样化的逼真视频,并更有效地解释文本描述中的变化。

使用方法

使用stable diffusion webui

在Huggingface上下载zs2_XL目录下的权重文件,然后放到stable-diffusion-webui\models\ModelScope\t2v目录下即可。

在生成视频时,推荐的降噪强度值为0.66到0.85

使用Colab

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑

ChatGPT Writer ChatGPT Writer

免费 Chrome 扩展程序,使用 ChatGPT AI 生成电子邮件和消息。

ChatGPT Writer 106 查看详情 ChatGPT Writer

笔记链接:https://colab.research.google.com/drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing

先点击Step 1下的运行按钮,等待安装,大约需要3分钟;

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

当按钮旁边出现绿色复选标记时,继续执行下一步。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

点击想要安装模型附近的运行按钮,为了能够在Colab中快速获得3秒左右的剪辑视频,更推荐使用低分辨率的ZeroScope模型(576或448)。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

需要在执行更高分辨率模型(如Potat 1或ZeroScope XL)时,权衡执行时间会更长。

再次等待复选标记出现,继续执行下一步。

选择在Step2中安装并希望使用的模型型号,对于更高分辨率的模型,推荐下面的配置参数,不需要太长的生成时间。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

接下来,您可以输入目标视频的提示词来改变效果,并且还可以输入否定提示词(negative prompts),然后点击运行按钮。 

等待一会后,生成的视频就会被放置在outputs目录下。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

「文生视频」开源竞赛

目前来说,文生视频领域仍处于起步阶段,即便是最好的工具也只能生成几秒钟的视频,并且通常存在较大的视觉缺陷。

但其实文生图模型最初也面临着类似的问题,但仅仅几个月后就实现了照片级真实感。

不过与文生图模型不同的是,视频领域在训练和生成期间所需要的资源都要更比图像更多。

虽然谷歌已经研发出了Phenaki和Imagen Video模型,可以生成高分辨率、更长、逻辑连贯的视频片段,但公众无法使用到这两个模型;Meta的Make-a-Video模型也同样没有发布。

目前可用的工具仍然只有Runway的商用模型Gen-2,此次Zeroscope的发布也标志着文生视频领域第一个高质量开源模型的出现。

以上就是AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑的详细内容,更多请关注其它相关文章!


# 目录下  # 谷歌SEO流量秘籍  # 怎样避免网站优化  # 全球知名网站建设案例  # c2c网站建设方案  # 定州视频推广招聘网站  # 衢州网站营销策划推广  # 江安县推广营销中心电话  # 保山企业seo推广  # 视频营销推广案例分析  # 网站建设模板费用  # 上海  # ai  # 谁能  # 更高  # 只需  # 还可以  # 首个  # 高质量  # 显存  # phenaki  # stable diffusion  # runway  # 开源 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894


相关推荐: 李开复:未来几年,人工智能会革了所有人的命,除非你这么做  AI赋能艺术 超现实达利奇幻之旅在沪开启  AI教父Bengio:我感到迷失,对AI担忧已成「精神内耗」!  “思享荟”沙龙热议AIGC与元宇宙 复旦大学赵星畅谈深度数字化  「电子果蝇」惊动马斯克!背后是13万神经元全脑图谱,可在电脑上运行  WHEE使用教程  再度重仓 AI 赛道,SaaS 巨头 Salesforce 扩大 AIGC 风投基金规模  Snow Kylin登陆中国列车,打造全球首条元宇宙专列  全媒封面丨⑤商汤科技:原创AI算法“发电厂”  2025年贵州省青少年机器人竞赛在安举行  美踏控股推出创新人工智能大数据模型“心乐舞河”:虚拟人音舞社交的新体验  ​布局智能物联新时代,中国移动“5G+物联网”亮相2025 MWC  生活垃圾智能分类机器人社区展“才能”,征求居民意见  AI创作广告文案等同2.47年工作经验,且消费者无法区分|AI营销前沿  Bing Chat 和 Bing Search 正式引入深色模式  成功孵化首个大型模型解决方案的重庆人工智能创新中心  工业机器人及非标自动化设备集成服务提供商  报告称 70% 程序员已使用各种 AI 工具编程  英伟达的AI领域垄断地位:一直无法撼动吗?  选对AI智能写作软件,让创作游刃有余!  人工智能和你聊天 成本有多高  热点资讯:家乐福推出聊天机器人;米哈游2025年营收273.4亿元…  【原创】奥比中光:与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术  上海发布大模型政策 打造AI“模”都  GPT-4是如何工作的?哈佛教授亲自讲授  以计算机视觉技术为基础的库存管理如何改革零售行业  一图速览 | 十大脑机接口关键技术发布  国内首款大尺寸仿鸵双足机器人“大圣”亮相,穿戴红色战袍  智能手机应用中的人工智能的重要性  昇腾AI大模型训推一体化解决方案将在WAIC发布  百度文心一言App上架苹果商店,人工智能创作引发热议  旷视入选北京市通用人工智能产业创新伙伴计划  人工智能驱动艺术,打开达利的超现实想象  大语言模型的视觉天赋:GPT也能通过上下文学习解决视觉任务  从数据中心到发电站:人工智能对能源使用的影响  微软最新推出的NaturalSpeech2语音合成模型:提供更准确的语音重构,避免棒读效果  利好来了,AI再起一波?  《爱康未来之夜嘉宾官宣,携手共赴AI未来》  当科幻走进现实 脑机接口新技术能为生活带来哪些惊喜?  数据科学,解码智能未来——Altair首次提出“Frictionless AI”概念  微软商店 AI 摘要功能开启预览,帮助用户迅速了解应用评价  2025智源大会AI安全话题备受关注,《人机对齐》新书首发  首部国内AI辅助动画片《魔游纪:人工智能辅助篇》预告发布  万魔推出AI主攻的运动耳机,开启十年研发新纪元  首个算网生态体!中国移动元宇宙产业联盟正式成立  即时 AI再次升级 30秒生成自带动效的网页 生成速度提升100%  不到2S创作AI图像!Snap发布图像生成器SnapFusion  行业首发「超级智绘」AI故事集,TCL实业推进AI技术应用  亚马逊确认今年不会举办 re:MARS 机器人和人工智能大会 

 2023-07-09

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司


运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。

 8156699

 13765294890

 8156699@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.