「字少信息量大」，Salesforce、MIT 研究者教 GPT-4「改稿」，数据集已开源

---

近年来，自动摘要技术取得了长足的进步，这主要归功于范式的转变——从在标注数据集上进行有监督微调转变为使用大语言模型（LLM）进行零样本提示，例如GPT-4。无需额外训练，精心设计的提示就能实现对摘要长度、主题、风格等方面特征的精细控制

但一个方面常常被忽视：摘要的信息密度。从理论上讲，作为对另一个文本的压缩，摘要应该比源文件更密集，也就是包含更多的信息。考虑到 LLM 解码的高延迟，用更少的字数涵盖更多的信息非常重要，尤其是对于实时应用而言。

然而，信息量密度是一个开放式的问题：如果摘要包含的细节不足，那么相当于没有信息量；如果包含的信息过多，又不增加总长度，就会变得难以理解。要在固定的词汇预算内传递更多信息，就需要将抽象、压缩、融合三者结合起来

在最近的一项研究中，来自 Salesforce、MIT 等机构的研究者试图通过征求人类对 GPT-4 生成的一组密度越来越高的摘要的偏好来确定这一限制。对于提升 GPT-4 等大语言模型的「表达能力」，这一方法提供了很多启发。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文链接：https://arxiv.org/pdf/2309.04269.pdf

数据集地址：https://huggingface.co/datasets/griffin/chain_of_density

Narration Box

Narration Box是一种语音生成服务，用户可以创建画外音、旁白、有声读物、音频页面、播客等

68 查看详情

具体来说，他们的方法是将每个标记的平均实体数量作为密度的代表，生成一个初始的、实体稀少的摘要。然后，在不增加总长度（总长度为原摘要的5倍）的情况下，反复识别并融合前一个摘要中缺失的1-3个实体，使得每个摘要中实体与标记的比例都高于前一个摘要。通过人类偏好数据的分析，作者最终确定了一种几乎与人类编写的摘要一样密集的摘要形式，比普通 GPT-4 prompt 生成的摘要更加密集

该研究的总体贡献包括：

• 开发一种基于 prompt 的迭代方法 (CoD)，使得摘要的实体密度越来越高；
• 对 CNN/《每日邮报》文章中越来越密集的摘要进行人工和自动评估，以更好地了解信息量（倾向于更多实体）和清晰度（倾向于更少的实体）之间的权衡；
• 开源了 GPT-4 摘要、注释和一组 5000 篇未注释的 CoD 摘要，用于评估或提炼。

什么是 CoD

作者设定了一个名为"CoD"（密度链）的提示，用于生成初始摘要并逐渐增加其实体密度。具体而言，在固定的交互次数内，源文本中的一组独特突出实体被识别出来，并在不增加长度的情况下融合到之前的摘要中

在图2中，展示了Prompt和输出示例。作者并没有明确规定实体的类型，而是将缺失的实体定义为：

• 相关：与主要故事相关；
• 具体：描述性的但简洁（5 个字或更少）；
• 新颖：未出现在之前的摘要中；
• 忠实：存在于文章中；
• 任何地方：位于文章的任何地方。

作者从 CNN/DailyMail 摘要测试集中随机抽取了 100 篇文章，为其生成 CoD 摘要。为便于参考，他们将 CoD 摘要统计数据与人类撰写的要点式参考摘要以及 GPT-4 在普通 Prompt 下生成的摘要进行比较：「写一篇非常简短的文章摘要。请勿超过 70 个字。」

统计情况

在研究中，作者从直接统计数据和间接统计数据两方面进行了总结。直接统计数据（token、实体、实体密度）由 CoD 直接控制，而间接统计数据则是密集化的预期副产品。

重写后的内容如下：根据统计数据显示，通过删除冗长摘要中的不必要词语，第二步的平均长度减少了5个标记（从72个减少到67个）。初始实体密度为0.089，低于人类和Vanilla GPT-4（0.151和0.122），经过5个密集化步骤后，最终上升至0.167

间接统计。抽象度应该会随着每一步 CoD 的进行而增加，因为每增加一个实体，摘要就会被反复改写以腾出空间。作者用提取密度来衡量抽象性：提取片段的平均平方长度 (Grusky et al., 2018)。同样，随着实体被添加到固定长度的摘要中，概念融合度也应随之单调增加。作者用与每个摘要句子对齐的源句子的平均数量来表示融合度。在对齐上，作者使用相对 ROUGE 增益法 (Zhou et al., 2018),，该方法将源句与目标句对齐，直到额外句子的相对 ROUGE 增益不再为正。他们还预计内容分布（Content Distribution），也就是摘要内容所来源的文章中位置，会发生变化。

具体来说，作者预计《使命召唤》（CoD）摘要最初会表现出强烈的「引导偏向」，即在文章的开头部分会更多地引入实体。然而，随着文章的发展，这种引导偏向会逐渐减弱，开始从文章的中间和末尾引入实体。为了衡量这一点，研究者使用了融合中的对齐结果，并测量了所有对齐源句的平均句子等级

图 3 证实了这些假设：随着重写步骤的增加，抽象性也随之增加（左侧提取密度较低），融合率上升（中图），摘要开始纳入文章中间和末尾的内容（右图）。有趣的是，与人类撰写的摘要和基线摘要相比，所有 CoD 摘要都更具抽象性

结果

为了更好地理解CoD摘要的权衡，作者进行了一项基于偏好的人类研究，并利用GPT-4进行了基于评级的评估

人类偏好。具体来说，对于同样的 100 篇文章（5 个 step *100 = 总共 500 篇摘要），作者向论文的前四位作者随机展示了经过「重新创作」的 CoD 摘要以及文章。根据 Stiennon et al. (2025) 对「好摘要」的定义，每位注释者都给出了自己最喜欢的摘要。表 2 报告了各注释者在 CoD 阶段的第一名得票情况，以及各注释者的汇总情况。总的来说，61% 的第一名摘要（23.0+22.5+15.5）涉及≥3 个致密化步骤。首选 CoD 步数的中位数位于中间（3），预期步数为 3.06。

根据 Step 3 摘要的平均密度，可以大致推断出所有 CoD 候选者的首选实体密度为 ∼ 0.15。从表 1 中可以看出，这一密度与人类编写的摘要（0.151）相一致，但明显高于用普通 GPT-4 Prompt 编写的摘要（0.122）。

自动度量。作为人工评估的补充（如下），作者用 GPT-4 从 5 个维度对 CoD 摘要进行评分（1-5 分）：信息量、质量、连贯性、可归属性和整体性。如表 3 所示，密集度与信息量相关，但有一个限度，在步骤 4（4.74）时得分达到顶峰。

从各维度的平均得分来看，CoD 的第一个和最后一个步骤得分最低，而中间三个步骤得分接近（分别为 4.78、4.77 和 4.76）。

定性分析。摘要的连贯性 / 可读性与信息量之间存在明显的权衡。图4展示了两个CoD步骤：一个步骤的摘要因为更多细节而改善，而另一个步骤的摘要则受到了损害。总体而言，中间的CoD摘要能够实现这种平衡，但这种权衡仍需要在今后的工作中进行精确定义和量化

更多论文细节，可参考原论文。

以上就是「字少信息量大」，Salesforce、MIT 研究者教 GPT-4「改稿」，数据集已开源的详细内容，更多请关注其它相关文章！

# 个字  # seo具体优化流程图解  # 平谷小红书seo  # 珠海seo营销  # 玉林搜狗问答推广营销  # 密云seo按天扣费  # 滴鼻剂怎么营销推广文案  # 大理短视频营销推广方案  # 巩义网站推广优化多少钱  # 武汉网站建设优化企业  # 网站推广太过于广泛  # 数据  # 重写  # 要在  # 更少  # 进行了  # 就会  # 本田  # 这一  # 开源  # 量大  # 研究 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 人工智能在项目管理中的作用  AI大模型产品集体奔赴高考考场，教育赛道的讯飞星火能赢吗？  插画师对AI绘画软件的态度是怎样的？  三星加速AR眼镜进程，预计明年上半年亮相  视觉中国推出付费AI绘图功能：无版权可用  华为HarmonyOS 4：享流畅提升20%，AI大模型更智能一览无余  给小朋友最好的科技礼物：乐天派桌面机器人  彬州市第三届青少年机器人创新大赛成功举办  抛媚眼给瞎子看？微软、谷歌的AI广告被广告主抵制  十个AI算法常用库J*a版  第二届光合组织AI解决方案大赛赛果揭晓  李开复官宣新公司「零一万物」，进军 AI 2.0  爱设计 AI 一键生成 PPT 工具上线：输入标题即可生成 PPT  华为云天筹AI求解器荣获世界人工智能大会最高奖  英媒：硅谷有些人太鼓吹AI，宣扬“学习无用”  五款 AI 网站构建器，任何人都能快速构建网站  关于开展“与AI共创未来”——2025年全国青少年人工智能创新实践活动的通知  普渡机器人与变形金刚品牌合作，特别活动爆火，商品售罄！  上海发布“元宇宙关键技术攻关行动方案”，加快 AIGC 等突破  警惕！AI或致虚假信息泛滥  Meta Quest订阅服务每月7.99美元畅玩两款VR游戏应用  重磅！ 捷通华声灵云AICC荣获第二届光合组织AI解决方案大赛二等奖  探索人工智能在居家养老方面的应用  喜马拉雅在国际会议挑战赛中突破语音重叠难题斩获第一 加速AI创新  美图秀秀发布7款AI产品：支持用户创作、商业创作  智能化解决方案：保障数据安全阻击泄露和丢失  30+大模型齐聚，大模型成世界人工智能大会“顶流”  腾讯机器狗进化：通过深度学习掌握自主决策能力  科技有狠活｜时光修复师 ：用AI让昨日重现  当科幻走进现实 脑机接口新技术能为生活带来哪些惊喜？  田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘  美军AI无人机“误杀”操作员，人工智能要在军事领域毁灭人类？  2025“春晖杯”人工智能专场对接活动举办  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  海南省公安机关警用无人机培训班结业并举行警航比武演练  2025WRC世界机器人大赛锦标赛（烟台）收官！斯坦星球勇夺VEX赛项冠亚军！  无需标注数据，「3D理解」进入多模态预训练时代！ULIP系列全面开源，刷新SOTA  AI 模型 Stable Diffusion 升级：正常生成五指、图像更逼真  生成式AI对云运维的3大挑战  埃森哲俞毅：AI时代我们需要新的“摩尔定律”  Unity 推出面向开发者的 AI 软件市场 AI Hub，股价飙涨 15%  DreamAvatar数字人使用教程  北交大推出国内首个开源交通大模型TransGPT，可免费商用  沐曦首款AI推理GPU亮相：INT8算力达160TOPS！  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  小艺主导智慧交互升级，借助AI大模型增强能力  扎克伯格吐槽苹果Vision Pro：社交落后Meta太多，无法建设元宇宙  特斯拉门店可能启动机器人卖车？也许不是你想的那样  水路两栖艇、消防灭火机器人……这个展览“黑科技”抢眼  马斯克回应人工智能拯救世界：人类已处于“半机器人”状态 

 2023-09-20