谁说大象不能起舞! 重编程大语言模型实现跨模态交互的时序预测 | ICLR 2025

---

近期，来自澳大利亚蒙纳士大学、蚂蚁集团、ibm研究院等机构的研究人员探索了模型重编程（model reprogramming）在大语言模型（llms）上应用，并提出了一个全新的视角：高效重编程大语言模型进行通用时间序列预测系统，即time-llm框架。该框架无需修改语言模型即可实现高精度、高效率的预测，能够在多个数据集和预测任务中超越传统的时间序列模型，让llms在处理跨模态的时间序列数据时展现出色表现，如同大象起舞一般。

最近，大语言模型在通用智能领域的发展，“大模型 + 时间序列 / 时间数据”这个新方向展现出了许多相关进展。当前的LLMs 有潜力彻底改变时间序列 / 时间数据挖掘方式，从而促进城市、能源、交通、健康等经典复杂系统的决策高效制定，并朝着更普适的时间 / 空间分析智能形式迈进。

^{这篇论文提出了一个大型的基础模型，例如语言和其他相关的模型，可以训练，也可以巧妙地重新调整其用途，以处理一系列通用任务和专用领域应用的时间序列和时间空间数据。参考文献：https://arxiv.org/pdf/2310.10196.pdf。}

最近的研究将大型语言模型从处理自然语言拓展到时间序列和时空任务领域。这种新的研究方向，即“大模型 + 时序 / 时空数据”，产生了许多相关进展，例如 LLMTime 直接利用 LLMs 进行零样本时序预测推理。尽管 LLMs 具备强大的学习和表达能力，能够有效地捕捉文本序列数据中的复杂模式和长期依赖关系，但作为专注于处理自然语言的“黑盒子”，LLMs 在时间序列与时空任务中的应用仍面临挑战。相比于传统的时间序列模型如 TimesNet、TimeMixer 等，LLMs 以其庞大的参数和规模可与“大象”相提并论。

你问的是如何「驯服」这种在自然语言领域训练的大型语言模型（LLMs），使其能够处理跨越文本模式的数值型序列数据，在时间序列和时空任务中发挥出强大的推理预测能力，已成为当前研究的关键焦点。为此，需要进行更深入的理论分析，以探索语言和时间数据之间潜在的模式相似性，并有效地将其运用于特定的时间序列和时空任务。

LLM 重编程模型 (LLM Reprogramming) 是一种通用时序预测技术。它提出了两项关键技术，即 (1) 时序输入重编程 和 (2) 提示做前编程，将时序预测任务转换成一个可由 LLMs 有效解决的“语言”任务，成功激活了大语言模型做高精度时序推理的能力。

论文地址：https://openreview.net/pdf?id=Unb5CVPtae

论文代码：https://github.com/KimMeen/Time-LLM

1. 问题背景

时序数据在现实中广泛存储，在其中时序预测在许多现实世界里的动态系统中具有非常重要意义，同时也已得到广泛研究。与自然语言处理（NLP）和计算机视觉（CV）不同，其中单个大型模型可以处理多个任务，时序预测模型往往需要专门设计，以满足不同任务和应用场景的需求。最近的研究表明，大型语言模型（LLMs）在处理复杂的时序序列时也是可靠的，利用大语言模型本身的推理能力处理时序分析任务，仍然是一个挑战。

2. 论文概述

在这项工作中，作者提出了 Time-LLM，它是一个通用的大语言模型重编程（LLM Reprogramming）框架，将 LLM 轻松用于一般时间序列预测，而无需对大语言模型本身做任何训练。Time-LLM 首先使用文本原型（Text Prototypes）对输入的时序数据进行重编程，通过使用自然语言表征来表示时序数据的语义信息，进而对齐两种不同的数据模态，使大语言模型无需任何修改即可理解另一个数据模态背后的信息。

为了进一步增强 LLM 对输入时序数据和对应任务的理解，作者提出了提示做前缀（Prompt-as-Prefix，PaP）的范式，通过在时序数据表征前添加额外的上下文提示与任务指令，充分激活 LLM 在时序任务上的处理能力。在这项工作中，作者在主流的时序基准数据集上进行了充分的实验，结果表明 Time-LLM 能够在绝大多数情况下超越传统的时序模型，并在少样本（Few-shot）与零样本（Zero-shot）学习任务上获得了大幅提升。

这项工作中的主要贡献可以总结如下：

1. 这项工作提出了通过重编程大型语言模型用于时序分析的全新概念，无需对主干语言模型做任何修改。作者表明时序预测可以被视为另一个可以由现成的 LLM 有效解决的「语言」任务。

2. 这项工作提出了一个通用语言模型重编程框架，即 Time-LLM，它包括将输入时序数据重新编程为更自然的文本原型表示，并通过声明性提示（例如领域专家知识和任务说明）来增强输入上下文，以指导 LLM 进行有效的跨域推理。该技术为多模态时序基础模型的发展提供了坚实的基础。

3. Time-LLM 在主流预测任务中的表现始终超过现有最好的模型性能，尤其在少样本和零样本场景中。此外，Time-LLM 在保持出色的模型重编程效率的同时，能够实现更高的性能。大大释放 LLM 在时间序列和其他顺序数据方面尚未开发的潜力。

Machine Translation

聚合多个来源的AI翻译

49 查看详情

3. 模型框架

如上方模型框架图中 ① 和 ② 所示，输入时序数据先通过 RevIN 归一化操作，然后被切分成不同 patch 并映射到隐空间。

时序数据和文本数据在表达方式上存在显著差异，两者属于不同的模态。时间序列既不能直接编辑，也不能无损地用自然语言描述，这给直接引导（prompting）LLM 理解时间序列带来了重大挑战。因此，我们需要将时序输入特征对齐到自然语言文本域上。

对齐不同模态的一个常见方法就是 cross-attention，如模型框架图中 ③ 所示，只需要把所有词的 embedding 和时序输入特征做一个 cross-attention（其中时序输入特征为 Query，所有词的 embedding 为 Key 和 Value）。但是，LLM 固有的词汇表很大，因此无法有效直接将时序特征对齐到所有词上，而且也并不是所有词都和时间序列有对齐的语义关系。为了解决这个问题，这项工作对词汇表进行了线形组合来获取文本原型，其中文本原型的数量远小于原始词汇量，组合起来可以用于表示时序数据的变化特征，例如「短暂上升或缓慢下降」，如上图所示。

为了充分激活 LLM 在指定时序任务上的能力，这项工作提出了提示做前缀的范式，这是一种简单且有效的方法，如模型框架图中 ④ 所示。最近的进展表明，其他数据模式，如图像可以无缝地集成到提示的前缀中，从而基于这些输入进行有效的推理。受这些发现的启发，作者为了使他们的方法直接适用于现实世界的时间序列，提出了一个替代问题：提示能否作为前缀信息，以丰富输入上下文并指导重新编程时间序列补丁的转换？这个概念被称为 Prompt-as-Prefix (PaP) ，此外，作者还观察到它显著提高了 LLM 对下游任务的适应能力，同时补充了补丁的重新编程。通俗点说，就是把时间序列数据集的一些先验信息，以自然语言的方式，作为前缀 prompt，和对齐后的时序特征拼接喂给 LLM，是不是能够提升预测效果？

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

上图展示了两种提示方法。在 Patch-as-Prefix 中，语言模型被提示预测时间序列中的后续值，以自然语言表达。这种方法遇到了一些约束：（1）语言模型在无外部工具辅助下处理高精度数字时通常表现出较低的敏感性，这给长期预测任务的精确处理带来了重大挑战；（2）对于不同的语言模型，需要复杂的定制化后处理，因为它们在不同的语料库上进行预训练，并且可能在生成高精度数字时采用不同的分词类型。这导致预测以不同的自然语言格式表示，例如 [‘0’, ‘.’, ‘6’, ‘1’] 和 [‘0’, ‘.’, ‘61’]，表示 0.61。

在实践中，作者确定了构建有效提示的三个关键组件：（1）数据集上下文；（2）任务指令，让 LLM 适配不同的下游任务；（3）统计描述，例如趋势、时延等，让 LLM 更好地理解时序数据的特性。下图给出了一个提示示例。

4. 实验效果

我们在长程预测上经典的 8 大公开数据集上进行了全面的测试，如下表所示，Time-LLM 在基准比较中显著超过此前领域最优效果，此外对比直接使用 GPT-2 的 GPT4TS，采用 reprogramming 重编程思想以及提示做前缀（Prompt-as-Prefix）的 Time-LLM 也有明显提升，表明了该方法的有效性。

此外我们在跨领域适应的框架内评估重编程的 LLM 的零样本 zero-shot 的学习能力，得益于重编程的能力，我们充分激活了 LLM 在跨领域场景的预测能力，如下表所示，Time-LLM 在 zero-shot 场景中也展示出非凡的预测效果。

5. 总结

大型语言模型（LLMs）的快速发展极大地推动了人工智能在跨模态场景中的进步，并促进了它们在多个领域的广泛应用。然而，LLMs 庞大的参数规模和主要针对自然语言处理（NLP）场景的设计，为其在跨模态和跨领域应用中带来了不少挑战。鉴于此，我们提出了一种重编程大模型的新思路，旨在实现文本与序列数据之间的跨模态互动，并将此方法广泛应用于处理大规模时间序列和时空数据。通过这种方式，我们期望让 LLMs 如同灵活起舞的大象，能够在更加广阔的应用场景中展现其强大的能力。

欢迎感兴趣的朋友阅读论文 (https://arxiv.org/abs/2310.01728) 或者访问项目页面 (https://github.com/KimMeen/Time-LLM) 了解更多内容。

^{本项目获得了蚂蚁集团智能引擎事业部旗下 AI 创新研发部门 NextEvo 的全力支持，特别是得益于语言与机器智能团队以及优化智能团队的密切协作。在智能引擎事业部副总裁周俊与优化智能团队负责人卢星宇的带领和指导下，我们携手圆满完成了这项重要成果。}

以上就是谁说大象不能起舞! 重编程大语言模型实现跨模态交互的时序预测 | ICLR 2025的详细内容，更多请关注其它相关文章！

# 丰田  # 关键词排名甄选火29星  # SEO入门单反教程手机  # 千牛服务里面的推广营销在哪  # 电器网站推广找哪家  # 商丘网站优化技巧第一节  # 哈尔滨网站建设找资源  # 温江关于网站优化  # 滁州网站推广技巧电话  # 网站免费推广方式大全  # 旅行社seo 出差  # 图中  # 工程  # 中国科学院  # 出了  # 多个  # 所示  # 提出了  # 谁说  # 模态  # 自然语言  # type  # git  # 时序预测 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 首届亚太网络法实务大会召开 九位大咖探讨元宇宙与人工智能发展  「从未被制造出的最重要机器」，艾伦·图灵及图灵机那些事  尼康尼克尔Z 180-600mm f/5.6-6.3 VR镜头发布：12499元 拍鸟神器  AI框架生态峰会本周开幕 华为昇腾“朋友圈”再聚首 全球首个全模态大模型将登场  首部国内AI辅助动画片《魔游纪：人工智能辅助篇》预告发布  昇腾AI大模型训推一体化解决方案将在WAIC发布  中兴通讯无人机高空基站助力北京门头沟受灾乡镇保障应急通信  你大脑中的画面，现在可以高清还原了  Meta 发布 Voicebox AI 模型：可生成音频信息，用于 NPC 对话等  这效果能打几分？AI真人化《名侦探柯南》  世界人工智能大会机器人同台炫技！梳理A股相关业务营收占比超50%的个股名单  美图秀秀发布7款AI产品：支持用户创作、商业创作  全球首款AI裸眼3D平板 国产的售价破万  阿里云推出通义万相AI绘画大模型  如何提高集群协作效率？中外团队合作研发基于均值偏移的机器人队形控制策略  关于开展“与AI共创未来”——2025年全国青少年人工智能创新实践活动的通知  大模型新品出现井喷，AI产业迎来新时代  亲身体验鸿蒙4：AI大模型带来的便利，告别单纯的旁观者状态  2025“春晖杯”人工智能专场对接活动举办  飒智智能机器人核心技术与应用论坛暨一体化控制器发布会成功举办  谷歌推出新 AI 工具 Imagen Editor，一句话对图片二次创作  农业产业升级：AI驱动的“崃·见田”开启农田未来展望  第二届光合组织AI解决方案大赛赛果揭晓  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  警惕！AI或致虚假信息泛滥  实践J*a开发，构建高性能的MongoDB数据迁移工具  国内通用人形机器人将发布、产业加速突破  英伟达首席执行官黄仁勋：生成式 AI 时代「人类」会是新的编程语言  无人机协助盐城交通执法的协同训练  码刻 | 48小时Hackathon，源码见证新生代AI创新的发生  以分布式网络串联闲置GPU，这家创企称可将AI模型训练成本降低90%  生成式AI引路产业加速来袭，微美全息探索“AIGC+虚拟人”融合应用  云深处科技绝影 Lite3 与 X20 四足机器人亮相  中科院自研新一代 AI 大模型“紫东太初 2.0”问世  GPT-4最全攻略来袭！OpenAI官方发布，六个月攒下来的使用经验都在里面了  央广车联网亮相2025世界人工智能大会  探展WAIC |万向区块链杜宇：不存在单一技术的iPhone时刻，Web3.0核心将基于AI+区块链+物联网  掌阅科技申请阅爱聊商标 掌阅科技申请AI相关商标  【澎湃原动力】人工智能产业协同创新中心：全产业链资源在这里汇聚  清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！  人工智能大胆预测：银河系至少有2万个地球，36种外星文明  值得买科技入选“北京市通用人工智能产业创新伙伴计划”应用伙伴  利用AI探索抗体“钥匙”、加速药物研发——访百图生科团队  科技赋能司法执行 阿里资产免费为全国法院升级VR新服务  商业智能决策技术助力降本增效，世界人工智能大会举办商业AI高峰论坛  13 个提高生产力的 AI 工具  广州团建公司方案 | 绝密飞行 → X-PLANE无人机团建主题团建  机器人 展才能  无人机自主巡检为高海拔输电线路运维添“新彩”  1.6亿美元收购Singularity AI，昆仑万维布局通用人工智能 

 2024-04-15