7B最强长视频模型！ LongVA视频理解超千帧，霸榜多个榜单

---

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文主要作者来自 lmms-lab 团队与新加坡南洋理工大学。共同一作中，张培源是南洋理工大学研究助理，张恺宸是南洋理工大学四年级本科生，李博为南洋理工大学三年级博士生，指导教师为 mmlab@ntu 刘子纬教授。lmms-lab 是一个由学生、研究人员和教师组成的团队，致力于多模态模型的研究，主要研究方向包括多模态模型的训练与全面评估，此前的工作包括多模态测评框架 lmms-eval 等。

为什么说理解长视频难如 “大海捞针”？

现有的 LMMs 在处理长视频时面临的一个主要挑战是视觉 token 数量过多。比如，LLaVA-1.6 对单张图片就能生成 576 到 2880 个视觉 token。视频帧数越多，token 数量也就更多。虽然 BLIP2,LLaMA-VID, Chat-UniVI 等工作 通过改动 ViT 和语言模型之间的连接层来减少视觉 token 数量，但仍然不能处理特别多的帧数。

此外，缺乏高质量的长视频数据集也是一大瓶颈。现有训练数据集大多是 1 分钟内的短视频，即使有长视频，标注的文本对仅限于视频的几个帧，缺乏密集的监督信号。

近日 LMMs-Lab, 南洋理工大学等机构的研究团队推出了 LongVA 长视频模型， 它可以理解超过千帧的视频数据，超越了当前一众开源视频多模态模型的性能！

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文链接：https://arxiv.org/abs/2406.16852

• 演示地址：https://longva-demo.lmms-lab.com/

• 代码地址：https://github.com/EvolvingLMMs-Lab/LongVA

作者团队首次在多模态领域提出长上下文迁移（Long Context Transfer），这一技术使得多模态大模型（LMMs）能够在不进行长视频训练的情况下，处理和理解超长视频。他们的新模型 LongVA 能够处理 2000 帧或者超过 20 万个视觉 token, 在视频理解榜单 Video-MME 上实现了 7B 规模的 SoTA。在最新的长视频 MLVU 榜单上， LongVA 更是仅次于 GPT4-o 的最强模型！

LongVA 的作者总结了下面这张图， 可以看到，目前的多模态大模型在长视频理解上还不尽如人意，能够处理的帧数限制了长视频的处理和理解。为了处理更多的帧，LLaMA-VID 等工作不得不急剧压缩单张帧对应的 token 数量。

长上下文迁移

针对处理长视频面临的挑战，研究团队提出了 “长上下文迁移” 这一全新思路。他们认为， 目前长视频大模型的多帧瓶颈不在如如何从 Vision Encoder 抽取压缩的特征上面（下图(a)）， 而在于扩展模型的长上下文能力上。

他们发现，通过简单地扩展语言模型的在文字上的上下文长度，他们能成功地将这种能力传递到视觉模态上，而无需进行任何长视频训练。具体做法是，首先通过长文本数据训练语言模型，然后利用短图像数据进行模态对齐。他们发现在这样训练的模型在测试时就可以直接理解多帧的视频， 省去了长视频训练的必要性。

在长语言模型训练过程中，作者团队使用了 Qwen2-7B-Instruct 作为底座，并通过长上下文训练将其文本上下文长度扩展到 224K。训练过程中使用了 FlashAttention-2、Ring Attention、activation checkpoint 和 parameter offload 等多种优化策略，以提高训练效率和内存利用率。

在模态对齐阶段，作者设计了一个名为 “UniRes” 的统一编码方案，用于同时处理图像和视频。UniRes 方案与 LLaVA-1.6 中的 AnyRes 编码方案类似，但去处了 base image 部分，针对每个 grid 分别一维化，并在每个网格内进行了 2x2 特征池化。这种方法确保了在将图像数据扩展到视频时，能够保持一致的表示形式。

码上飞

码上飞（CodeFlying） 是一款AI自动化开发平台，通过自然语言描述即可自动生成完整应用程序。

430 查看详情

LongVA 采用了 “短上下文训练，长上下文测试” 的策略，也就是让模型在模态对齐阶段仅使用图像 - 文本数据进行训练，而在测试直接利用长视频进行处理测试。这种策略有效地展示了长上下文迁移的现象，使得模型能够在未进行长视频训练的情况下，可以获得理解和处理长视频的能力。

LongVA 的超强性能

目前还没有评估 LMMs 长视频视觉上下文长度的基准测试。为了解决这一问题，LongVA 团队将大海捞针测试从文本扩展到视觉，并提出了 Visual Needle-In-A-Haystack (V-NIAH) 基准测试。

在 V-NIAH 测试中，团队设计了 5 个图像问答问题，将每个问题作为单帧插入到数小时的电影中，并以 1 帧 / 秒的频率采样视频作为视觉输入。这些 “针” 的图像来源于现有的视觉问答数据集或 AI 生成的图像，这样是为了确保模型无法仅通过语言知识来回答问题。每个问题都包含一个 “定位提示”，使得正确的系统或人类能够从视频中定位 “针” 帧并回答问题。

V-NIAH 测试结果显示，LongVA 在 2000 帧（每帧 144 个 token）以内的视觉大海捞针测试几乎全对， 在 3000 帧的尺度上也保持了不错的正确率 。有趣的是，和语言模型类似， 他们发现 LongVA 在 V-NIAH 上也存在一定程度的 Lost-In-The-Middle 现象。

在最近腾讯，中科大等机构提出的 Video-MME 榜单上， LongVA 排名第七并且达到了 7B 模型的 SoTA。

                               ^{https://video-mme.github.io/home_page.html#leaderboard}

在智源联合北邮、北大和浙大等多所高校推出的 MLVU 基准测试中， LongVA 更是仅次于 GPT-4o， 位列最强的开源模型。

                                                                ^{https://github.com/JUNJIE99/MLVU/}

作者团队在论文中也附上了一些效果展示。

更多细节， 感兴趣的读者可以查看原论文。

以上就是7B最强长视频模型！ LongVA视频理解超千帧，霸榜多个榜单的详细内容，更多请关注其它相关文章！

# 扩展到  # 网站推广类的书籍怎么做  # 大朗分类网站推广  # cf的dns对seo  # 大亚湾百度网络推广营销  # 老河口免费外贸网站推广  # 网站建设公司后期维护  # 照明网站seo优化团队  # firefox seo 插件  # 黄冈市seo关键词优化排名  # 商场新媒体营销推广案例  # 量产  # 模态  # 产业  # 丰田  # 大海捞针  # 这一  # 多模  # 南洋  # 榜单  # 多个  # type  # llama  # qwen  # git  # longva 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： Gartner预测：到2025年，全球对话式人工智能支出预计将达到1860亿美元  鸿蒙生态带来了哪些新的流量可能性，包括AI、服务分发和原生智能等方面？  马斯克的幽默“现实”：AR眼镜与20美元“增强现实”哪个真实？  尼康尼克尔 Z 180-600mm f/5.6-6.3 VR 镜头发布，12499 元  人工智能的变革之路：通过OpenAI的GPT-4漫游  微软 GitHub Copilot 编程助手被投诉：换口吻改写公共代码来躲版权  脑虎科技：奔跑在“脑机接口”最前沿 跨界融合取得阶段性成果  插画师对AI绘画软件的态度是怎样的？  V社谈AI制作游戏被ban：为确保开发者有素材所有权  好莱坞面临全面停摆 好莱坞大罢工抵制“AI入侵”  普渡机器人与变形金刚品牌合作，特别活动爆火，商品售罄！  人工智能在服务优化方面优缺点有哪些  AI无法对传统文化符号进行解构和创新  传Meta 2025年推出首款AR眼镜，采用军用级别材料，计划生产1000台  三星加速AR眼镜进程，预计明年上半年亮相  MetaGPT开源框架爆红 GitHub，达到1.1万星，模拟软件开发流程  25个AI智能体源码现已公开，灵感来自斯坦福的「虚拟小镇」和《西部世界》  2025世界人工智能大会（上海）开幕式纪要  云深处与昇腾CANN携手合作：开设ROS四足机器狗开发训练营  学而思网校推出首个基于自研大模型的《人工智能第一课》  Xbox游戏工作室负责人：VR/AR领域的用户规模还不足够  探索AI前沿理念 2025全球人工智能技术大会在杭州开幕  美图秀秀“AI 扩图”功能上线，可根据图像生成更大画幅  2025“春晖杯”人工智能专场对接活动举办  ​布局智能物联新时代,中国移动“5G+物联网”亮相2025 MWC  360发布AI数字人广场，可同孙悟空、爱因斯坦等古今中外角色对话  人工智能正在弥合认知和表达之间的鸿沟  五个IntelliJ IDEA插件，高效编写代码  码刻 | 48小时Hackathon，源码见证新生代AI创新的发生  中科院自研新一代 AI 大模型“紫东太初 2.0”问世  Meta 发布 Voicebox AI 模型：可生成音频信息，用于 NPC 对话等  测试框架-安全和自动驾驶  软通动力天枢元宇宙研究院签约落户江宁高新区  中国最强AI研究院的大模型为何迟到了  石头扫拖机器人 G20 618 福利来袭：4999 元，超值配件领到手软  找对了风口想不火都难，乐天派机器人，安卓机器人的最终形态？  实践J*a开发，构建高性能的MongoDB数据迁移工具  Meta将VR头显最低年龄限制从13岁降至10岁  先进技术在防止全球数据丢失方面的作用  电力人工智能数据集目录首次发布  梦想实现！硬核科幻大片VR智能头盔即将问世  通用医疗人工智能如何革新医疗行业？  不到2S创作AI图像！Snap发布图像生成器SnapFusion  腾讯自主研发机器狗 Max 升级，可“奔跑跳跃”完成避障动作  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  “无人驾驶船”将首次亮相世界人工智能大会，下半年或开进上海迪士尼  谷歌借AI打破十年排序算法封印，每天被执行数万亿次，网友却说是最不切实际的研究？  2025 年开发者必须知道的六个 AI 工具  Win11 的画图应用将包含 Windows Copilot 的 AI 工具整合  靠游戏更靠AI 英伟达成唯一首季度两位数增长的公司 

 2024-07-15