稀疏注意力再添一员，华为诺亚推出高效选择注意力架构ESA

华为诺亚方舟实验室推出高效选择性注意力算法esa，攻克大模型长文本处理难题！deepseek和月之暗面在长序列技术领域取得突破后，华为诺亚方舟实验室紧随其后，发布了全新高效选择性注意力算法（esa）。该算法通过巧妙的稀疏注意力机制设计，有效解决了大模型处理长文本时面临的计算瓶颈。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文地址：https://www.php.cn/link/860df126db301831a32055bea29fb4da

ESA算法在显著提升计算效率的同时，保持了与全注意力方法相当甚至更高的准确率。它能够将大模型的上下文长度有效扩展至数倍，为长序列任务的应用开辟了新的可能性。

大语言模型的长序列推理一直是业界难题。模型训练需要巨大的算力和数据，而理想的方案是将短序列训练成果外推至长序列。然而，注意力计算复杂度随序列长度平方级增长，使得高效准确的长序列推理成为巨大挑战。

ESA算法正是针对这一挑战提出的创新解决方案。它通过对query和key进行低维压缩，大幅降低了token选择的计算复杂度。ESA算法灵活高效地选择关键token进行注意力计算，有效减轻了大模型处理长文本的计算负担。尤其是在高倍外推场景下，其性能甚至超越了全注意力算法。

ESA算法的核心：

高效选择: ESA采用基于query感知的token粒度选择机制，结合邻域影响力，避免了单纯选择top-ranked token导致的性能损失，精准定位关键信息。
注意力计算: ESA仅使用选择的关键token进行完整query和key的注意力计算，而非所有前序token，从而大幅降低计算复杂度。

ESA算法的创新之处在于其token粒度选择性注意力机制。不同于现有方法，ESA在预填充和解码阶段动态选择关键token，而非固定block选择或永久丢弃不重要token。它将query和key压缩至原维度的约3.2%，在低维空间计算重要性分数，显著降低计算复杂度。然后，选择topk token进行注意力计算，将复杂度从平方级降低至线性级。